Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

Valószínűségszámítás, Algoritmusok elmélete

A bizonytalanság normativ kezelésére a valószínűségi megközelítés vált dominánssá 1990-től a mesterséges intelligenca és a gépi tanulás esetében. Egy további trend a bayesi paradigma alkalmazása,ami egyrészt koherens, normatív módszert kínál statisztikai következtetések elvégzésére, az a priori ismeretek felhasználására, másrészt egy alternatív megoldást jelent a komplex modellek tanulásánál fellépő a statisztikai problémákra.

A tantárgy célja a bayesi gépi tanulási paradigma bemutatása, főként a gyakorlati alkalmazás szemszögéből. Ennek megfelelően ismerteti az alapfogalmakat és problémákat, majd végigköveti egy bayesi gépi tanulási algoritmus alkalmazásának lépéseit úgymint

A tárgy során főként két modellosztályt használunk a Bayes hálókat és a logisztikus regressziót, mint egy domináns tárgyterületi modellezési eszközt és mint egy gyakorlatban elterjedt osztályozási eszközt. Az ismertetett fogalmakat egy valós orvosi és egy üzleti/telekommunikációs probléma során szerzett tapasztalatokkal is bemutatjuk.

1. Klasszikus és bayesi statisztika célkitűzései, metodológiája, a �bayesi� paradigma. Alapfogalmak bemutatása egy változós normális eloszlás esetén, parallel fogalmak összehasonlítása és komplex valószínűségi modellek esetén. A �kis�, �közepes� és �nagy� mintaszám fogalmának bemutatása (a statisztikai mintakomplexitás és az aszimptotikus kapcsolat). A bias/variancia dilemma ismertetése.
2. Tárgyalt valószínűségi modellek áttekintése. Tárgyterületi modellek: Bayes hálók. Osztályozási modellek: naiv Bayes hálós modell, logisztikus regressziós modell, előrecsatolt többrétegű neuronhálós modellek. Alkalmazások: petefészekrák tárgyterületi modell és osztályozás, mobilhivásokkal kapcsolatos visszaélések detektálása.
3. A bayesi következtetés és tanulás. Optimális döntés adott hasznosság/veszteség esetén: Bayes döntés és Bayes hiba. Egy �veszteség semleges� kiértékelés a Receiver Operating Characteristic görbe (ROC) alapján.
4. Bayesi következtetés analitikus megoldással. A konjugált családok, exponenciális eloszlás család, elégséges statisztika. A Dirichlet eloszlás felhasználása diszkrét modellek esetén.
5. Bayesi következtetés numerikus közelítő módszerekkel. Laplace közelítés. Sztochasztikus szimulációs eljárások. Gyakori eloszlások generálása. Mintavételi módszerek.
6. Markov láncokon alapuló sztochasztikus szimulációs eljárások (Markov Chain Monte Carlo módszerek): Gibbs, Metropolis és hibrid MCMC.
7. Modell kiértékelés és választás: Bayes faktor és a szekvenciális predikció (�prequential�) módszer.
8. Az EM algoritmus család és alkalmazása.
9. Adatok előfeldolgozása. Jegykiválasztás célja és módszerei: a szűrő, a �wrapper�, a Markov határon alapuló módszerek és a bayesi nézőpont (Automatic Relevance Determination). Diszkretizálás.
10. Nem teljes adatok felhasználása. A �véletlen hiányzás� definíciói (missing-at-random (MAR,CMAR)). Hiányzó adatok kezelési módszerei heurisztikákkal (elhagyás, imputáció, tárgyterületi modell szerepe) és az EM felhasználásával.
11. Bayes hálók klasszikus és bayesi alkalmazása (a priori ismeretek formalizálása).
12. Logisztikus regressziós modellek klasszikus és bayesi alkalmazása.

:

Előadás

1. Elővizsga: Igény szerint.

A házi feladatot a vizsgaidőszak első három hetében lehet pótolni.

Megbeszélés alapján.

(a tantárgyhoz tartozó tanulmányi idő körülbelüli felosztása a tanórák, továbbá a házi feladatok és a zárthelyik között (a felkészülésre, ill. a kidolgozásra átlagosan fordítandó/elvárható idők félévi munkaórában, kredit x 30 óra, pl. 5 kredit esetén 150 óra)):