BME VIK - Neurális hálózatok

3. A tantárgyfelelős személy és tanszék Gézsi András,

A tantárgy tanszéki weboldala http://www.mit.bme.hu/oktatas/targyak/vimijv07

4. A tantárgy előadója

Hadházi Dániel, tudományos segédmunkatárs, MIT

Dr. Bolgár Bence, óraadó, MIT

5. A tantárgy az alábbi témakörök ismeretére épít Analízis, Valószínűségszámítás, Sztochasztikus folyamatok

7. A tantárgy célkitűzése A tárgy célja, hogy megismertesse a hallgatókkal a neurális számítási paradigmát, a mesterséges neurális hálózatok elméleti alapjait, felépítését, bemutassa a tanulás szerepét és áttekintse a legfontosabb tanulási algoritmusokat. A tárgy részletesen foglalkozik a neurális hálózatok alkalmazási lehetőségeivel, korlátjaival és összefoglalja ezen hálózatok hatékony megvalósítási lehetőségeit.

8. A tantárgy részletes tematikája

Algoritmikusan nehezen megoldható feladatok. A tanulás szerepe a feladatmegoldásokban. Gépi tanulás alapjai. Felügyelt tanulás. (2 óra)

Tanuláson alapuló elosztott párhuzamos számító rendszerek, neurális hálózatok: Az elemi neuron (perceptron, adaline) felépítése, képességei és a megfelelő felügyelt tanítási algoritmusok. Hibakorrekciós eljárások (gradiens módszerek). (3 óra)

Egy- és többrétegű előrecsatolt neurális hálózat, az előre csatolt hálózatok tanítása: backpropagation algoritmus, Levenberg-Marquardt-eljárás, bactracking line search alapú optimalizáció. (3 óra)

A MLP konstrukciójával kapcsolatos kérdések: képesség, méret, tanítópontok száma, felhasználása, leállási feltétel, regularizáció, korai leállás regularizációs hatásának értelmezése stb. (3 óra)

Bázisfüggvényes hálók (RBF) felépítése és konstrukciójuk kérdései: képesség, tanítás, stb. Hálók működésének értelmezése, regularizáció szerepe, MLP-vel történő összehasonlítás. (2 óra)

Kernel módszerek: alapötletük, kernel függvények. Szupport vektor gépek (SVM). Konstrukció, osztályozásra és regresszióra (gyengített és gyengítés nélküli változatok). Működésük, viselkedésük értelmezése, optimalizálási feladataik analízise, Lagrange duális optimalizáció értelmezése. SVM-ek gyakorlati megvalósításának kérdései, SMO eljárással a tanítás implementációja. (8 óra)

A statisztikus tanuláselmélet (SLT) alapjai: kockázat, tapasztalati kockázat, torzítás - variancia dilemma, VC elmélet alapjai, empirikus kockázatminimalizálás konzisztenciája. AZ SLT és az SVM kapcsolata. (2 óra)

Neurális hálók tanításának statisztikai értelmezése, ML és MAP becslésre történő visszavezetése. Direkt regularizációk fajtái Tikhonov, Lasso, L0 analízise, valamint implementációs kérdései. (2 óra)

Szekvenciális és visszacsatolt neurális hálózatok: lokális és globális visszacsatolást tartalmazó hálózatok. Dinamikus neurális rendszerek és tanításuk: Dinamikus backpropagation, Temporal BP, BPTT, RTRL, előre csatolt szekvenciális hálózatoknál regresszorvektor választásának kérdése torzítás-variancia dilemma szempontjai mentén. (6 óra)

Hosszú távú emlékezet kialakításának problémája, szekvenciális hálók tanításának problémái, ezek lehetséges kezelése. Echo State Network, Long / Short Term Memory (LSTM) alapelve, felépítése, működése, transformer architektúrák motivációja, alkalmazási lehetőségeik, konstrukciójuk gyakorlati nehézségei. (4 óra)

Mély hálók motivációja, illetve új architekturális elemeik (nemlinearitások, dropout, batch normalization, skip connection, residual block, stb.). Konstrukciók fő kérdései, főbb problémáik kompenzálása: adat előfeldolgozás, súly inicializáció, adat augmentáció, tudás transzfer alapú konstrukciójuk. (4 óra)

Mély hálók optimalizálási eljárásai: BFGS, L-BFGS, CG, adaptív gradiens módszerek (Adagrad, RMSProp, Adadelta, AdaptiveMomentum), momentumos gradiens módszerek (Polyak, Nesterov momentum). Ezek működésének szemléltetése, korlátjaik, hatásosságuk. Optimalizációs eljárások összevetése. (5 óra)

2D/ 3D konvolúciós neurális hálózatok motivációja, felépítése: konvolúciós réteg, transzponált konvolúció, pooling operátorok. Egyszerűbb alkalmazási példák ismertetése. Népszerűbb CNN metamodellek (VGG, Inception, Resnet, DenseNet, CapsNet) áttekintése. (5 óra)

Konvolúciós neurális hálók alkalmazása: szemantikus szegmentálás, objektum lokalizáció és detekció, objektum szegmentálás problémakörökre. R-CNN, Fast R-CNN, Faster R-CNN, YOLO, SSD, SegNet. (3 óra)

Konvolúciós neurális hálók támadhatósága, működésük magyarázata, interpretáció kérdései: LRP, Lime. (2 óra)

Hasonlósági függvények tanulása, few shot learning. (1 óra)

A neurális hálózatok gyakorlati alkalmazásainál felmerülő problémák és azok megoldási lehetőségei. (1 óra)

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Előadás.

10. Követelmények

a. A szorgalmi időszakban:

Házi feladat (elégséges szintű megoldása és egy bemutató keretében történő prezentálása). A feladatbeadás határideje a szorgalmi időszak utolsó hete.

b. A vizsgaidőszakban: szóbeli vizsga.

11. Pótlási lehetőségek Házi feladat a pótlási időszakban beadható.

12. Konzultációs lehetőségek Házi feladathoz egyéni konzultációra van lehetőség. Egyéb konzultáció igény szerint.

13. Jegyzet, tankönyv, felhasználható irodalom

Altrichter, Horváth, Pataki, Strausz, Takács, Valyon (Szerk: Horváth G.): "Neurális hálózatok" Panem, 2006.

Haykin, S.: "Neural Networks. A Comprehensive Foundation" Second Edition, Prentice Hall. 1999.

Hassoun, M. H.: "Fundamentals of Artificial Neural Networks" MIT press, Cambridge, 1995

Mitchell, T. "Machine Learning" McGraw Hill, New York, 1997.

Schölkopf, B, Buges, C.J.C., Smola, A. J.: "Advances in Kernel Methods, Support Vector Learning" MIT Press, Cambridge, MA. 1999.

Deep Laerning, MIT Press, http://www.deeplearningbook.org/

C.M. Bishop: Pattern Recognition and Machine Learning, Springer, 2006.

Stephen Boyd, Lieven Vandenberghe: Convex Optimization, Cambridge University Press, 2004.

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

Kontaktóra	56
Készülés előadásra	10
Házi feladat elkészítése	24
Készülés vizsgára	30
Összesen	120

15. A tantárgy tematikáját kidolgozta Hadházi Dániel, tudományos segédmunkatárs, MIT
Dr. Horváth Gábor, c. egyetemi tanár, MIT
Dr. Bolgár Bence, adjunktus, MIT

Egyéb megjegyzések A tárgy neve angolul: Neural networks.