Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással
    vissza a tantárgylistához   nyomtatható verzió    

    Információelmélet

    A tantárgy angol neve: Information Theory 

    Adatlap utolsó módosítása: 2023. január 9.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar     		Mérnökinformatikus MSc
    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VISZMA13   3/0/0/f 5  
    3. A tantárgyfelelős személy és tanszék Dr. Pintér Márta,
    A tantárgy tanszéki weboldala http://www.cs.bme.hu/infelm
    4. A tantárgy előadója

    Dr. Ottucsák György, mb előadó, Morgan-Stanley 

    Dr. Pintér Márta Barbara, egyetemi docens, SZIT
    5. A tantárgy az alábbi témakörök ismeretére épít Valószínűségszámítás
    6. Előtanulmányi rend
    Kötelező:
    NEM
    (TárgyEredmény( "BMEVISZMA03", "jegy" , _ ) >= 2
    VAGY
    TárgyEredmény("BMEVISZMA03", "FELVETEL", AktualisFelev()) > 0)

    A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

    A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

    7. A tantárgy célkitűzése

    A tantárgy az információ továbbítása és tárolása során az információ tömörítésének és védelmének gazdaságos és biztonságos kódolási algoritmusaival foglalkozik. Bemutatja az információforrások veszteségmentes adattömörítésének elvi határait és az optimális adattömörítési eljárásokat mind ismert, mind ismeretlen forráseloszlás esetén. Tárgyalja az alapvető veszteséges forráskódolási elveket. Bemutatja a csatornakódolás alapjait, továbbá a többszörös hozzáférésű csatornák fő típusait. A tantárgy követelményeit eredményesen teljesítő hallgatóktól elvárható, hogy: 

     (1) ismerjék a változó szóhosszúságú adattömörítés elvi határait és alapvető kódjait, 

     (2) képesek legyenek gyakorlatban előforduló tömörítési feladatok megoldására úgy, hogy a megoldás mind a tömörítési arány, mind a kódoló, dekódoló számítási bonyolultsága szempontjából megfelelő legyen, 

     (3) ismerjék a veszteséges forráskódolás leggyakrabban használt technikáit, 

     (4) képesek legyenek egy zajos csatornán történő adatátviteli problémában megválasztani a számítási bonyolultság szempontjából megfelelő modulációs és hibajavító technikát.

    8. A tantárgy részletes tematikája
      1. Üzenet változó szóhosszúságú kódolása, egyértelmű dekódolhatóság, prefix kód  
      2. Jensen-egyenlőtlenség, McMillan-egyenlőtlenség  
      3. Kraft-egyenlőtlenség, entrópia és tulajdonságai  
      4. Shannon-Fano-kód, Huffman-kód  
      5. Lempel-Ziv algoritmusok, forrásentrópia  
      6. Feltételes entrópia és tulajdonságai, stacionárius forrás változó szóhosszúságú kódolása  
      7. Markov-forrás, kölcsönös információ és tulajdonságai  
      8. Egyenletes kvantáló négyzetes hibája, egyenletes kvantáló entrópiája  
      9. Lloyd--Max-algoritmus, kompanderes kvantálás  
      10. Vektorkvantálás, lineáris szűrés, prediktív kvantálás  
      11. Lineáris becslés, transzformációs kódolás, Bayes-döntés  
      12. Maximum likelihood döntés bináris szimmetrikus csatorna kimenetén, emlékezetnélküli csatorna  
      13. Csatornakapacitás, Fano-egyenlőtlenség  
      14. Csatornakódolási tétel megfordítása, csatornakódolási tétel 













    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

    Heti 3 óra előadás. Az előadásokon új elmélet kerül bemutatásra, az elméleti ismeretre példákat és alkalmazásokat is mutatunk. Bizonyos részleteket, alkalmazásokat, bizonyításokat a kiadott jegyzetből önállóan kell elsajátítani.

    10. Követelmények

    A félév során 2 zárthelyit iratunk. A félév teljesítésének feltétele: mindkét zárthelyin legalább 40 %-os teljesítmény. A végső jegy (teljesítés esetén) a  zárthelyik átlagából adódik. 

    Értékelés:  

    50%-tól elégséges(2), 60%-tól közepes(3), 70%-tól jó(4), 80%-tól jeles(5).
    11. Pótlási lehetőségek

    A szorgalmi időszak során minden zárthelyi dolgozathoz tartozik egy pótzárthelyi alkalom. Mindegyik alkalmat lehet használni az elmulasztott zárthelyi teljesítésére vagy a már megírt, de sikertelen dolgozat eredményének a javítására (pótlás) vagy a sikeresen megírt dolgozat eredményének javítására is (javítás). Ha valaki egy korábban már megírt dolgozatot ír újra valamelyik pótzárthelyin, akkor az új pontszáma lesz érvényes - akkor is, ha az rosszabb, mint a korábbi. Ha valaki egy pótlási (vagy javítási) alkalmon megjelenik (és a feladatsort átveszi), azt úgy tekintjük, hogy az illető kísérletet tett a dolgozat megírására (és így rá a fenti feltételek vonatkoznak). Ha valaki sikeres zárthelyit próbál javítani, de 40%-nál kevesebbet ér el a javítón, akkor az eredeti zárthelyin elért pontszámából csak a 40% feletti pontokat veszíti el (azaz 40%-ot visz tovább).

    12. Konzultációs lehetőségek Online vagy személyesen, a tárgy előadójával előre egyeztetett időpontban.
    13. Jegyzet, tankönyv, felhasználható irodalom

    Ottucsák György: Információelmélet, elektronikus jegyzet, teams-en megosztva 

    Györfi László, Győri Sándor, Vajda István: Információelmélet és kódelmélet, Typotex, 2000

    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontakt óra42
    Félévközi készülés órákra18
    Felkészülés zárthelyire70
    Házi feladat elkészítése0
    Kijelölt írásos tananyag elsajátítása20
    Vizsgafelkészülés0
    Összesen150
    15. A tantárgy tematikáját kidolgozta Dr. Pintér Márta Barbara, egyetemi docens, SZIT