Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással

    vissza a tantárgylistához   nyomtatható verzió    

    Zenei jelfeldolgozás

    A tantárgy angol neve: Musical Signal Processing

    Adatlap utolsó módosítása: 2018. március 6.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar
    Villamosmérnöki szak
    Mérnök Informatikus szak
    Szabadon választható tantárgy
    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VIMIJV31   4/0/0/v 4  
    3. A tantárgyfelelős személy és tanszék Dr. Bank Balázs Lajos,
    A tantárgy tanszéki weboldala http://www.mit.bme.hu/oktatas/targyak/vimijv31/
    4. A tantárgy előadója

     Név:

    Beosztás: 

    Tanszék, intézet: 

     dr. Bank Balázs

    docens

     BME MIT

    5. A tantárgy az alábbi témakörök ismeretére épít
    • Hálózatok és rendszerek, lineáris (diszkrét idejű) rendszerek elmélete
    • Programozási alapismeretek
    6. Előtanulmányi rend
    Kötelező:
    NEM ( TárgyTeljesítve("BMEVIMIAV31") )

    A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

    A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

    7. A tantárgy célkitűzése

    Napjainkban a zenészek és hangmérnökök által használt effektek és szintetizátorok túlnyomó része szoftveresen kerül megvalósításra, a digitális jelfeldolgozás eszköztárát alkalmazva. A tantárgy célja olyan elméleti és gyakorlati ismeretek átadása, amelyek birtokában a hallgatók képessé válnak zenei jelfeldolgozó algoritmusok (szintézismódszerek, effektek) kifejlesztésére és megvalósítására. A tantárgy szerves részét képezi a házi feladat, amelyben a hallgatók egy választott effekt vagy hangszintézis algoritmust implementálnak pl. VST plugin formájában.

    A tárgy keretén belül megismertetett jelfeldolgozási algoritmusok jó része túlmutat a zenei alkalmazásokon, így reményeink szerint a hallgatók olyan tudás birtokába jutnak, amely más területeken is jól alkalmazható (autóipar, ipari méréstechnika, távközlés, orvosi jelfeldolgozás, stb.).

    8. A tantárgy részletes tematikája

    Alapok

    • A tárgy célkitűzéseinek és követelményeinek ismertetése. Kedvcsináló demonstrációk. Jelfeldolgozási alapismeretek felfrissítése: lineáris, időinvariáns és kauzális rendszerek, rendszerjellemző függvények, impulzusválasz, konvolúció, átviteli függvény. Diszkrét idejű rendszer leírása: állapotváltozós alak, rendszeregyenlet, átviteli függvény tört alakban. FIR, all-pole és általános IIR rendszerek.
    • A folytonos idejű és diszkrét idejű jelek Fourier-transzformáltja és Fourier-sora, és ezek kapcsolatai. A DFT használata, koherens és nemkoherens mintavételezés, picket-fence és leakage, ablakozás. Kvantálás és dither.
    • Alap szűrőtípusok. Folytonos idejű átviteli függvény diszkrét idejű szimulációja. Impulzus invariáns transzformáció, előre- és hátralépő Euler-algoritmus, bilineáris transzformáció. IIR szűrő paramétereinek meghatározása optimalizációval. Az IIR szűrő megvalósítása: Direct Form I és II., Transposed Direct Form I. és II. Soros és párhuzamos realizáció.
    • Másodfokú rezonáns szűrő paraméterei és megvalósítása. Komplex állapotváltozós szűrő. Ugyanazon átviteli függvény különböző állapotváltozókkal történő megvalósítása és ennek hatása a paraméterváltásból következő tranziensre.
    • DSP követelmények: HW szorzó, MAC, HW ciklus, hatékony memóriahozzáférés. DSP architektúra. ALU, AGU, PCU, pipeline. Számábrázolás, szorzás előjeles törtaritmetikában, kerekítések. Az együtthatók skálázása törtaritmetikában. FIR szűrő megvalósítása.
    • A Steinberg VST fejlesztőkörnyezet bemutatása.

    Effektek

    • Mindentáteresztő szűrők. Alap szűrőtípusok megvalósítása mindentáteresztővel. Zenei szűrők: low shelf, high shelf, peak EQ. Többcsatornás parametrikus vagy grafikus EQ.
    • Mintavételi frekvencia konverzió, alkalmazások. Törtrészkésleltetés újramintavételezéssel, lineáris interpolációval, Lagrange-interpolációval, ill. elsőfokú mindentáteresztő szűrővel.
    • Késleltető alapú effektek: egyszerű késleltetés, előrecsatolt és visszacsatolt késleltetővonal. Általános fésűszűrő. Vibrato, Doppler effekt, flanger. Phaser elsőfokú és másodfokú mindentáteresztőkkel. Chorus-Choralizer. Standard effekt és paraméterei.
    • Zengetés: számításigény konvolúcióként és fizikai modellként. Érzeti (perceptual) megközelítés. Teremakusztikai alapok. Korai visszaverődések modellezése késleltetőkkel, térbeli zengetés (HRTF). Diffúz szakasz modellezése. Alapelemek, Moorer zengetője. Feedback Delay Network (FDN) struktúra. Az FDN paramétereinek meghatározása.
    • Konvolúciós zengetés: cirkuláris konvolúció DFT-vel. FFT algoritmus, decimation-in-time, Danielson-Lanczos lemma. Kisebb blokkokra particionált konvolúció, overlap-and-add algoritmus és valós idejű megvalósítása. Késleltetésmentes konvolúció (FIR + blokk konv.), változó méretű blokkokra particionált konvolúció. Két valós adatsor FFT-jének párhuzamos számítása.
    • Időszegmens-feldolgozás. Változó sebességű visszajátszás: újramintavételezés. Time stretching, Phonogene, SOLA, PSOLA. Pitch-detektálás, pitch shifting módszerek. Formánsmegőrző pitch shift a PSOLA algoritmussal. Pitch shift és time stretching egy lépésben. A formánsok frekvenciáinak skálázása.
    • Dinamikaprocesszálás, effekt típusok, tipikus felhasználásuk. A statikus nemlinearitás, a jelszintmérés és a gain-smoothing blokk megvalósítása. Tipikus paraméterek. Bendiksen-féle egyszerűsített kompresszor. Nemlineáris rendszerek modellezése. Volterra-sor, ill. egyszerűsített alakja. Statikus nemlinearitás: Taylor-sor. Átlapolódás a Taylor-soros karakterisztika esetében, túlmintavételezés. Nemlineáris áramkörök szimulációja: egyszerű torzítóáramkör diszkrét idejű modellezése előre- és hátralépő Euler-módszerekkel.

    Hangszintézis

    • A hangszintézis rövid története: Telharmonium, Theremin, Ondes Martenot, Music V. A hangszintézis eljárások csoportosítása Smith szerint. Felvett hangok feldolgozása: sampling (PCM), wavetable (group additive) és granular szintézis. Absztrakt módszerek: FM és Waveshaping szintézis.
    • Szubtraktív szintézis: virtual analog szintetizátorok. Fűrészjel sávkorlátozott generálása: "Buta" módszer, túlmintavételezés és szűrés, additív szintézis a Fourier-sor alapján, sampling alapú szintézis, Band-limited Impulse Train, Differentiated Parabolic Wave algoritmusok és továbbfejlesztett változataik. A Moog szűrő modellezése, a késleltetésmentes hurok eliminálása.
    • Fizikai modellezés. A lineáris hullámegyenlet, haladó hullám megoldás. A két végén lezárt húr rezgése, módusok. A modális szintézis. Véges differenciák módszere: az ideális húr egyenletének diszkretizációja. Stabilitásvizsgálat, numerikus diszperzió.
    • A digitális hullámvezető alapgondolata: az ideális húr hullámvezető modellje. A veszteséges és diszperzív húr hullámvezető modelljének származtatása, átviteli függvénye. A veszteségi, diszperziós, és törtrészkésleltető szűrők tervezése.
    • Gerjesztés modellezése: vonás, pengetés, kalapácsütés. A hangszertest modellezése digitális szűrővel, ill. a commuted synthesis módszer alkalmazásával.

    Lezárás

    • Termékfejlesztési tapasztalatok (vendégelőadó). Házi feladatok bemutatása kiselőadás formájában.
    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Előadás heti négy órában.
    10. Követelmények
    • A szorgalmi időszakban: Egy nagy házi feladat: egy választott algoritmus implementációja PC-n (Matlab vagy C++) vagy DSP-n (C és/vagy assembler). Feladatkiadás a 3. héten, beadás az utolsó héten
    • A vizsgaidőszakban:  Szóbeli vizsga.
    • Elővizsga: Nincs.
    11. Pótlási lehetőségek A házi feladat a különeljárási díj ellenében a pótlási időszakban pótolható.
    12. Konzultációs lehetőségek Házi feladat konzultáció a szorgalmi időszakban. Vizsga előtti konzultáció a vizsgaidőszakban.
    13. Jegyzet, tankönyv, felhasználható irodalom
    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontaktóra56
    Készülés előadásra12
    Házi feladat elkészítése20
    Készülés vizsgára32
    Összesen120
    15. A tantárgy tematikáját kidolgozta

     Név:

    Beosztás: 

    Tanszék, intézet: 

     dr. Bank Balázs

    docens

    BME MIT

     dr. Márkus Jánosadjunktus 

    BME MIT

     dr. Sujbert Lászlódocens BME MIT

     

    Egyéb megjegyzések A tantárgy angol neve: Musical signal processing