BME VIK - Információelmélet

3. A tantárgyfelelős személy és tanszék Dr. Pintér Márta,

A tantárgy tanszéki weboldala http://www.cs.bme.hu/infelm

4. A tantárgy előadója

Dr. Ottucsák György, mb előadó, Morgan-Stanley

Dr. Pintér Márta Barbara, egyetemi docens, SZIT

5. A tantárgy az alábbi témakörök ismeretére épít Valószínűségszámítás

6. Előtanulmányi rend

Kötelező:

NEM
(TárgyEredmény( "BMEVISZMA03", "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVISZMA03", "FELVETEL", AktualisFelev()) > 0)

A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

7. A tantárgy célkitűzése

A tantárgy az információ továbbítása és tárolása során az információ tömörítésének és védelmének gazdaságos és biztonságos kódolási algoritmusaival foglalkozik. Bemutatja az információforrások veszteségmentes adattömörítésének elvi határait és az optimális adattömörítési eljárásokat mind ismert, mind ismeretlen forráseloszlás esetén. Tárgyalja az alapvető veszteséges forráskódolási elveket. Bemutatja a csatornakódolás alapjait, továbbá a többszörös hozzáférésű csatornák fő típusait. A tantárgy követelményeit eredményesen teljesítő hallgatóktól elvárható, hogy:

 (1) ismerjék a változó szóhosszúságú adattömörítés elvi határait és alapvető kódjait,

 (2) képesek legyenek gyakorlatban előforduló tömörítési feladatok megoldására úgy, hogy a megoldás mind a tömörítési arány, mind a kódoló, dekódoló számítási bonyolultsága szempontjából megfelelő legyen,

 (3) ismerjék a veszteséges forráskódolás leggyakrabban használt technikáit,

 (4) képesek legyenek egy zajos csatornán történő adatátviteli problémában megválasztani a számítási bonyolultság szempontjából megfelelő modulációs és hibajavító technikát.

8. A tantárgy részletes tematikája

1. Üzenet változó szóhosszúságú kódolása, egyértelmű dekódolhatóság, prefix kód
2. Jensen-egyenlőtlenség, McMillan-egyenlőtlenség
3. Kraft-egyenlőtlenség, entrópia és tulajdonságai
4. Shannon-Fano-kód, Huffman-kód
5. Lempel-Ziv algoritmusok, forrásentrópia
6. Feltételes entrópia és tulajdonságai, stacionárius forrás változó szóhosszúságú kódolása
7. Markov-forrás, kölcsönös információ és tulajdonságai
8. Egyenletes kvantáló négyzetes hibája, egyenletes kvantáló entrópiája
9. Lloyd--Max-algoritmus, kompanderes kvantálás
10. Vektorkvantálás, lineáris szűrés, prediktív kvantálás
11. Lineáris becslés, transzformációs kódolás, Bayes-döntés
12. Maximum likelihood döntés bináris szimmetrikus csatorna kimenetén, emlékezetnélküli csatorna
13. Csatornakapacitás, Fano-egyenlőtlenség
14. Csatornakódolási tétel megfordítása, csatornakódolási tétel

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

Heti 3 óra előadás. Az előadásokon új elmélet kerül bemutatásra, az elméleti ismeretre példákat és alkalmazásokat is mutatunk. Bizonyos részleteket, alkalmazásokat, bizonyításokat a kiadott jegyzetből önállóan kell elsajátítani.

10. Követelmények

A félév során 2 zárthelyit iratunk. A félév teljesítésének feltétele: mindkét zárthelyin legalább 40 %-os teljesítmény. A végső jegy (teljesítés esetén) a  zárthelyik átlagából adódik.

Értékelés:

50%-tól elégséges(2), 60%-tól közepes(3), 70%-tól jó(4), 80%-tól jeles(5).

11. Pótlási lehetőségek

A szorgalmi időszak során minden zárthelyi dolgozathoz tartozik egy pótzárthelyi alkalom. Mindegyik alkalmat lehet használni az elmulasztott zárthelyi teljesítésére vagy a már megírt, de sikertelen dolgozat eredményének a javítására (pótlás) vagy a sikeresen megírt dolgozat eredményének javítására is (javítás). Ha valaki egy korábban már megírt dolgozatot ír újra valamelyik pótzárthelyin, akkor az új pontszáma lesz érvényes - akkor is, ha az rosszabb, mint a korábbi. Ha valaki egy pótlási (vagy javítási) alkalmon megjelenik (és a feladatsort átveszi), azt úgy tekintjük, hogy az illető kísérletet tett a dolgozat megírására (és így rá a fenti feltételek vonatkoznak). Ha valaki sikeres zárthelyit próbál javítani, de 40%-nál kevesebbet ér el a javítón, akkor az eredeti zárthelyin elért pontszámából csak a 40% feletti pontokat veszíti el (azaz 40%-ot visz tovább).

12. Konzultációs lehetőségek Online vagy személyesen, a tárgy előadójával előre egyeztetett időpontban.

13. Jegyzet, tankönyv, felhasználható irodalom

Ottucsák György: Információelmélet, elektronikus jegyzet, teams-en megosztva

Györfi László, Győri Sándor, Vajda István: Információelmélet és kódelmélet, Typotex, 2000

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

Kontakt óra	42
Félévközi készülés órákra	18
Felkészülés zárthelyire	70
Házi feladat elkészítése	0
Kijelölt írásos tananyag elsajátítása	20
Vizsgafelkészülés	0
Összesen	150

15. A tantárgy tematikáját kidolgozta Dr. Pintér Márta Barbara, egyetemi docens, SZIT