• Hálózatok és rendszerek, lineáris (diszkrét idejű) rendszerek elmélete
• Programozási alapismeretek

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

Napjainkban a zenészek és hangmérnökök által használt effektek és szintetizátorok túlnyomó része szoftveresen kerül megvalósításra, a digitális jelfeldolgozás eszköztárát alkalmazva. A tantárgy célja olyan elméleti és gyakorlati ismeretek átadása, amelyek birtokában a hallgatók képessé válnak zenei jelfeldolgozó algoritmusok (szintézismódszerek, effektek) kifejlesztésére és megvalósítására. A tantárgy szerves részét képezi a házi feladat, amelyben a hallgatók egy választott effekt vagy hangszintézis algoritmust implementálnak pl. VST plugin formájában.

A tárgy keretén belül megismertetett jelfeldolgozási algoritmusok jó része túlmutat a zenei alkalmazásokon, így reményeink szerint a hallgatók olyan tudás birtokába jutnak, amely más területeken is jól alkalmazható (autóipar, ipari méréstechnika, távközlés, orvosi jelfeldolgozás, stb.).

Alapok

• A tárgy célkitűzéseinek és követelményeinek ismertetése. Kedvcsináló demonstrációk. Jelfeldolgozási alapismeretek felfrissítése: lineáris, időinvariáns és kauzális rendszerek, rendszerjellemző függvények, impulzusválasz, konvolúció, átviteli függvény. Diszkrét idejű rendszer leírása: állapotváltozós alak, rendszeregyenlet, átviteli függvény tört alakban. FIR, all-pole és általános IIR rendszerek.
• A folytonos idejű és diszkrét idejű jelek Fourier-transzformáltja és Fourier-sora, és ezek kapcsolatai. A DFT használata, koherens és nemkoherens mintavételezés, picket-fence és leakage, ablakozás. Kvantálás és dither.
• Alap szűrőtípusok. Folytonos idejű átviteli függvény diszkrét idejű szimulációja. Impulzus invariáns transzformáció, előre- és hátralépő Euler-algoritmus, bilineáris transzformáció. IIR szűrő paramétereinek meghatározása optimalizációval. Az IIR szűrő megvalósítása: Direct Form I és II., Transposed Direct Form I. és II. Soros és párhuzamos realizáció.
• Másodfokú rezonáns szűrő paraméterei és megvalósítása. Komplex állapotváltozós szűrő. Ugyanazon átviteli függvény különböző állapotváltozókkal történő megvalósítása és ennek hatása a paraméterváltásból következő tranziensre.
• DSP követelmények: HW szorzó, MAC, HW ciklus, hatékony memóriahozzáférés. DSP architektúra. ALU, AGU, PCU, pipeline. Számábrázolás, szorzás előjeles törtaritmetikában, kerekítések. Az együtthatók skálázása törtaritmetikában. FIR szűrő megvalósítása.
• A Steinberg VST fejlesztőkörnyezet bemutatása.
  

Effektek

• Mindentáteresztő szűrők. Alap szűrőtípusok megvalósítása mindentáteresztővel. Zenei szűrők: low shelf, high shelf, peak EQ. Többcsatornás parametrikus vagy grafikus EQ.
  
• Mintavételi frekvencia konverzió, alkalmazások. Törtrészkésleltetés újramintavételezéssel, lineáris interpolációval, Lagrange-interpolációval, ill. elsőfokú mindentáteresztő szűrővel.
• Késleltető alapú effektek: egyszerű késleltetés, előrecsatolt és visszacsatolt késleltetővonal. Általános fésűszűrő. Vibrato, Doppler effekt, flanger. Phaser elsőfokú és másodfokú mindentáteresztőkkel. Chorus-Choralizer. Standard effekt és paraméterei.
• Zengetés: számításigény konvolúcióként és fizikai modellként. Érzeti (perceptual) megközelítés. Teremakusztikai alapok. Korai visszaverődések modellezése késleltetőkkel, térbeli zengetés (HRTF). Diffúz szakasz modellezése. Alapelemek, Moorer zengetője. Feedback Delay Network (FDN) struktúra. Az FDN paramétereinek meghatározása.
• Konvolúciós zengetés: cirkuláris konvolúció DFT-vel. FFT algoritmus, decimation-in-time, Danielson-Lanczos lemma. Kisebb blokkokra particionált konvolúció, overlap-and-add algoritmus és valós idejű megvalósítása. Késleltetésmentes konvolúció (FIR + blokk konv.), változó méretű blokkokra particionált konvolúció. Két valós adatsor FFT-jének párhuzamos számítása.
• Időszegmens-feldolgozás. Változó sebességű visszajátszás: újramintavételezés. Time stretching, Phonogene, SOLA, PSOLA. Pitch-detektálás, pitch shifting módszerek. Formánsmegőrző pitch shift a PSOLA algoritmussal. Pitch shift és time stretching egy lépésben. A formánsok frekvenciáinak skálázása.
• Dinamikaprocesszálás, effekt típusok, tipikus felhasználásuk. A statikus nemlinearitás, a jelszintmérés és a gain-smoothing blokk megvalósítása. Tipikus paraméterek. Bendiksen-féle egyszerűsített kompresszor. Nemlineáris rendszerek modellezése. Volterra-sor, ill. egyszerűsített alakja. Statikus nemlinearitás: Taylor-sor. Átlapolódás a Taylor-soros karakterisztika esetében, túlmintavételezés. Nemlineáris áramkörök szimulációja: egyszerű torzítóáramkör diszkrét idejű modellezése előre- és hátralépő Euler-módszerekkel.
  

Hangszintézis

• A hangszintézis rövid története: Telharmonium, Theremin, Ondes Martenot, Music V. A hangszintézis eljárások csoportosítása Smith szerint. Felvett hangok feldolgozása: sampling (PCM), wavetable (group additive) és granular szintézis. Absztrakt módszerek: FM és Waveshaping szintézis.
  
• Szubtraktív szintézis: virtual analog szintetizátorok. Fűrészjel sávkorlátozott generálása: "Buta" módszer, túlmintavételezés és szűrés, additív szintézis a Fourier-sor alapján, sampling alapú szintézis, Band-limited Impulse Train, Differentiated Parabolic Wave algoritmusok és továbbfejlesztett változataik. A Moog szűrő modellezése, a késleltetésmentes hurok eliminálása.
  
• Fizikai modellezés. A lineáris hullámegyenlet, haladó hullám megoldás. A két végén lezárt húr rezgése, módusok. A modális szintézis. Véges differenciák módszere: az ideális húr egyenletének diszkretizációja. Stabilitásvizsgálat, numerikus diszperzió.
• A digitális hullámvezető alapgondolata: az ideális húr hullámvezető modellje. A veszteséges és diszperzív húr hullámvezető modelljének származtatása, átviteli függvénye. A veszteségi, diszperziós, és törtrészkésleltető szűrők tervezése.
• Gerjesztés modellezése: vonás, pengetés, kalapácsütés. A hangszertest modellezése digitális szűrővel, ill. a commuted synthesis módszer alkalmazásával.

Lezárás

• Termékfejlesztési tapasztalatok (vendégelőadó). Házi feladatok bemutatása kiselőadás formájában.

• A szorgalmi időszakban: Egy nagy házi feladat: egy választott algoritmus implementációja PC-n (Matlab vagy C++) vagy DSP-n (C és/vagy assembler). Feladatkiadás a 3. héten, beadás az utolsó héten
• A vizsgaidőszakban:  Szóbeli vizsga.
• Elővizsga: Nincs.

• Az előadás anyagához írásos segédanyagok a tárgy honlapján (http://www.mit.bme.hu/oktatas/targyak/vimiav31/) találhatók.
• Julius O. Smith III. Physical audio signal processing (for virtual musical instruments and audio effects) On-line kiadás, http://ccrma.stanford.edu/~jos/pasp/.
• Udo Zölzer (szerk.): DAFX – Digital Audio Effects, John Wiley and Sons, 2002. Matlab példaprogramok: http://www.dafx.de/.