Belépés címtáras azonosítással
magyar nyelvű adatlap
angol nyelvű adatlap
Médiainformatikai rendszerek
A tantárgy angol neve: Media Informatics Systems
Adatlap utolsó módosítása: 2018. július 6.
Villamosmérnöki szak, MSc képzés Multimédia rendszerek és szolgáltatások főspecializáció
Név:
Beosztás:
Tanszék, Int.:
Dr. Magyar Gábor PhD
egyetemi docens
BME-TMIT
Dr. Mihajlik Péter PhD
egyetemi adjunktus
Dr. Szűcs Gábor PhD
A multimédia technológiák alapjai.
A tárgy célkitűzései közé tartozik a digitális multimédia tartalomkezelés és -elemzés legfontosabb fogalmainak ismertetése, megoldásainak és technikáinak oktatása. A hallgatók megismerik a multimédia állományok jellemzésének, felismerésének, kategorizálásának, keresésének és információ-kivonatolásának elveit és szabványos előírásait. A kurzust elvégző hallgatók a félév végére képessé válnak az médiainformatikai rendszerek mérnöki feladatainak megértésére, elvégzésére, és a kapcsolódó feladatkörök ellátására, elsajátítva az ehhez szükséges technológiákat és eszközöket.
1. hét
Alapfogalmak. Médiatartalom kezelésének folyamata. Feladatkörök és alrendszerek. A multimédia (hang, kép, videó) állományok kezelésének fő területei.
2. hét
Audio adatok feldolgozása. Időben (lényegileg) nem változó hangrészletek detekciójának alapjai. Short Time Fourier Spectrum, ablakozás, spektrogram. Szignálkeresés.
3. hét
Zeneszámok felismerése. A valós idejű mintaillesztés kihívásai, additív zaj, lineáris és nemlineáris torzítás hatásai, interferencia-jellegű zavarás és ezek kezelésének lehetőségei. Akusztikai ujjlenyomat (Acoustic Fingerprint) fogalma és módszerei. Esettanulmány: Shazam.
4. hét
Variábilis hang- és képjelek felismerése: általános osztályozási feladatok statisztikai alapon, likelihood, sűrűségfüggvény, tanítás-tesztelés. Bayes-formula.
5. hét
Multimédia osztályozási feladatok többváltozós Gaussian Mixture Model (GMM) alapokon.
6. hét
Maximum Likelihood vs. Discriminative Training - elméleti és gyakorlati megfontolások hang- és képi adatokon. Multi Layer Perceptron hálózatok alkalmazása médiainformatikai problémákra.
7. hét
Időben változó multimédia jelek kezelése: dinamikus idővetemítés (Dynamic Time Warping), rejtett Markov-modellek (Hidden Markov Models) és változataik. A beszédfelismerés alapjai.
8. hét
Korszerű beszédfelismerési technológiák, akusztikai, kiejtési és nyelv-modellek. Feliratozási módszerek és szabványok. Esettanulmány: MTVA és BBC feliratozás.
9. hét
Mély tanulás: előrecsatolt, konvolúciós és rekurrens mély neuronhálók alkalmazása média adatok (szöveg, hang, kép, videó) automatikus annotálására.
10. hét
Multimédia technológiákon alapuló komplex feladatok: Alakzat felismerés képeken, objektum követés videókon. Arcdetektálási és arcfelismerési megoldások. Videó feldolgozási módszerek a gyakorlatban: Videó alapú gesztusfelismerés kéz általi gesztusok felismerésére.
11. hét
Metaadatok: szemantikus metaadatok. multimédia metaadat szabványok. EBU/SMPTE metaadatok, Dublin Core, Material Exchange Format (MXF).
12. hét
Multimédiás adatbázisok. Multimédia visszakeresés. Keresési módok, típusok, algoritmusok. A visszakereső rendszer jóságának mérése.
13. hét
Digital Media Management Systems (DMMS) / Multimedia Asset Management rendszerek felépítése: gyűjtő, tároló, megjelenítő alrendszer. Életciklus tulajdonságok, integrációs eszközök. Tartalomkezelő rendszerek architektúrája, típusai: DAM, DM, KM, Web CMS, ECM. A rendszerek átfogó modellje
14. hét
Digitális archiválás: feladata, lehetőségei, technikái. Archiválási stratégiák. On-line, near-line, off-line, off-site hozzáférhetőség. A folytonossági szintek. Rekordmenedzsment.
Gyakorlatok az alábbi témakörökből (nem kizárólagosan és nem teljes körűen) kerülnek megtartásra: audio lényegkiemelés, audio fingerprint, GMM, beszédfelismerés, nyelvmodellezés, alkalmazott mély neuronhálók Kerasban, annotálási feladat képeken, multimédia visszakeresés, vizualizációs eszközök, videó feldolgozás.
Heti 2 óra előadás, 1 óra gyakorlat
A zárthelyi pótlására a szorgalmi időszakban egy lehetőséget biztosítunk. Azok számára, akiknek nem sikerült sem a zárthelyi, sem a pótzárthelyi: a pótlási időszakban 1 alkalmat biztosítunk egy újabb zárthelyi dolgozatra. Az aláírás feltétele valamelyik zárthelyi (első vagy a pót- vagy a pótpót-zárthelyi) legalább elégséges szintre történő megírása.
A tárgy előadójával személyesen, vagy e-mailben egyeztetett időpontban.
Dr. Gyires-Tóth Bálint PhD