A multimédia technológiák alapjai.  

A tárgy célkitűzései közé tartozik a digitális multimédia tartalomkezelés és -elemzés legfontosabb fogalmainak ismertetése, megoldásainak és technikáinak oktatása. A hallgatók megismerik a multimédia állományok jellemzésének, felismerésének, kategorizálásának, keresésének és információ-kivonatolásának elveit és szabványos előírásait. A kurzust elvégző hallgatók a félév végére képessé válnak az médiainformatikai rendszerek mérnöki feladatainak megértésére, elvégzésére, és a kapcsolódó feladatkörök ellátására, elsajátítva az ehhez szükséges technológiákat és eszközöket.

1.     hét

Alapfogalmak. Médiatartalom kezelésének folyamata.  Feladatkörök és alrendszerek. A multimédia (hang, kép, videó) állományok kezelésének fő területei.

2.     hét

Audio adatok feldolgozása. Időben (lényegileg) nem változó hangrészletek detekciójának alapjai. Short Time Fourier Spectrum, ablakozás, spektrogram. Szignálkeresés.

3.     hét

Zeneszámok felismerése. A valós idejű mintaillesztés kihívásai, additív zaj, lineáris és nemlineáris torzítás hatásai, interferencia-jellegű zavarás és ezek kezelésének lehetőségei. Akusztikai ujjlenyomat (Acoustic Fingerprint) fogalma és módszerei. Esettanulmány: Shazam.

4.     hét

Variábilis hang- és képjelek felismerése: általános osztályozási feladatok statisztikai alapon, likelihood, sűrűségfüggvény, tanítás-tesztelés. Bayes-formula.

5.     hét

Multimédia osztályozási feladatok többváltozós Gaussian Mixture Model (GMM) alapokon.

6.     hét

Maximum Likelihood vs. Discriminative Training - elméleti és gyakorlati megfontolások hang- és képi adatokon. Multi Layer Perceptron hálózatok alkalmazása médiainformatikai problémákra.

7.     hét

Időben változó multimédia jelek kezelése: dinamikus idővetemítés (Dynamic Time Warping), rejtett Markov-modellek (Hidden Markov Models) és változataik. A beszédfelismerés alapjai.

8.     hét

Korszerű beszédfelismerési technológiák, akusztikai, kiejtési és nyelv-modellek. Feliratozási módszerek és szabványok. Esettanulmány: MTVA és BBC feliratozás.

9.     hét

Mély tanulás: előrecsatolt, konvolúciós és rekurrens mély neuronhálók alkalmazása média adatok (szöveg, hang, kép, videó) automatikus annotálására.

10.    hét

Multimédia technológiákon alapuló komplex feladatok: Alakzat felismerés képeken, objektum követés videókon. Arcdetektálási és arcfelismerési megoldások. Videó feldolgozási módszerek a gyakorlatban: Videó alapú gesztusfelismerés kéz általi gesztusok felismerésére.

11.    hét

Metaadatok: szemantikus metaadatok. multimédia metaadat szabványok. EBU/SMPTE metaadatok, Dublin Core, Material Exchange Format (MXF).

12.   hét

Multimédiás adatbázisok. Multimédia visszakeresés. Keresési módok, típusok, algoritmusok. A visszakereső rendszer jóságának mérése.

13.   hét

Digital Media Management Systems (DMMS) / Multimedia Asset Management rendszerek felépítése: gyűjtő, tároló, megjelenítő alrendszer. Életciklus tulajdonságok, integrációs eszközök. Tartalomkezelő rendszerek architektúrája, típusai: DAM, DM, KM, Web CMS, ECM. A rendszerek átfogó modellje

14.    hét

Digitális archiválás: feladata, lehetőségei, technikái. Archiválási stratégiák. On-line, near-line, off-line, off-site hozzáférhetőség. A folytonossági szintek. Rekordmenedzsment.

Gyakorlatok az alábbi témakörökből (nem kizárólagosan és nem teljes körűen) kerülnek megtartásra: audio lényegkiemelés, audio fingerprint, GMM, beszédfelismerés, nyelvmodellezés, alkalmazott mély neuronhálók Kerasban, annotálási feladat képeken,  multimédia visszakeresés, vizualizációs eszközök, videó feldolgozás.

Heti 2 óra előadás, 1 óra gyakorlat

A zárthelyi pótlására a szorgalmi időszakban egy lehetőséget biztosítunk. Azok számára, akiknek nem sikerült sem a zárthelyi, sem a pótzárthelyi: a pótlási időszakban 1 alkalmat biztosítunk egy újabb zárthelyi dolgozatra. Az aláírás feltétele valamelyik zárthelyi (első vagy a pót- vagy a pótpót-zárthelyi) legalább elégséges szintre történő megírása.

A tárgy előadójával személyesen, vagy e-mailben egyeztetett időpontban.