BME VIK - A gépi tanulás biztonsága

3. A tantárgyfelelős személy és tanszék Dr. Ács Gergely,

A tantárgy tanszéki weboldala https://www.crysys.hu/education/

4. A tantárgy előadója Dr. Ács Gergely, docens, HIT

5. A tantárgy az alábbi témakörök ismeretére épít Mesterséges intelligencia, Analízis

6. Előtanulmányi rend

Ajánlott:
Mesterséges intelligencia, Analízis 1-2

7. A tantárgy célkitűzése A tárgy célja, hogy betekintést nyújtson a gépi tanulás és az arra épülő rendszerek biztonsági kérdéseibe, és átfogó jelleggel tárgyalja a gépi tanulási algoritmusok ellen kivitelezhető különböző támadások és védekezési megoldások elvi alapjait és gyakorlati módszereit, valamint a gyakorlatokon és házi feladatokon keresztül betekintést nyújtson a gépi modellek adatvédelmi auditálásának kérdéseibe.

8. A tantárgy részletes tematikája

Az előadások részletes tematikája

    A gépi tanulás biztonságának áttekintése: bizalmasság, integritás, rendelkezésre- állás (CIA). Motivációs példák, jogi háttér, kockázat alapú megközelítés

    Döntések manipulációja 1: Támadó modellek, white-box támadások (FGSM, CW, Saliency maps), fizikai támadások

    Döntések manipulációja 2: Black box támadások, támadó minták transzferálhatósága

    Döntések manipulációja 3: Védekezések (támadói tanítás, bizonyítható robusztusság, deep k-NN)

    Tanító adat nem célzott mérgezése (poisoning), védekezések (label flipping, anomália detekció)

    Tanító adat célzott mérgezése (poisoning), feature collision, Witches' Brew, védekezések (minták súlyozása)

    Hátsó kapuk (backdoor) a gépi modellekben, védekezések (Neural Cleanse)

    Trójai támadások gépi modellek ellen

    Rendelkezésre állási problémák: Black- és white-box sponge konstrukciók

    Tanító adat rekonstruálása: Támadó modellek, modell invertálása

    Tagsági támadás (membership attack): Aktív és passzív támadások. gradiens alapú, score alapú, címke alapú támadások

    Tagsági támadás elleni védekezések: Tanítás differenciális adatvédelemmel (DP-SGD, PATE), regularizáció

    Modell-lopás, védekezések: modell vízjelezése, tanító adathalmaz inferenciája, modellek ujjlenyomat alapú összehasonlítása

    Modellek elmagyarázhatóságának támadhatósága, federált tanulás biztonsága (biztonságos aggregáció, bizánci problémák, KRUM)

A gyakorlatok/laborok részletes tematikája

    Támadó minták, modellek robusztusságának auditálása 1 (white-box támadások)

    Támadó minták, modellek robusztusságának auditálása 2 (black-box támadások)

    Tanítóadat nem célzott mérgezése, védekezések 2 (label flipping)

    Tanítóadat célzott mérgezése, védekezések 1 (STRIP)

    Hátsó kapuk (backdoor) generálása, védekezések (BadNets, Neural cleanse)

    Tagsági és rekonstrukciós támadások, modellek adatvédelmi auditálása, védekezések 1 (modell inverzió, gradiens alapú támadások, differenciális adatvédelem)

    Tagsági támadások, modellek adatvédelmi auditálása, védekezések 2 (score és címke alapú támadások, regularizáció mint védekezés)

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)     Előadás

    Tantermi gyakorlat

    Önálló munka (házi feladat megoldása)

10. Követelmények

Szorgalmi időszakban:

1 db ZH
2 db házi feladat

Az aláírás megszerzésének feltétele a ZH és mindkét házi feladat (egyenként is) sikeres teljesítése. Mind a ZH, mind a házi feladatok esetében, a sikeres teljesítéshez a maximálisan elérhető pontszám minimum 40%-át kell elérni.

A ZH eredménye nem számít bele a félévvégi jegybe. A házi feladatokból maximálisan 2x25 pont szerezhető, a teljesítésükhöz tehát minimum 2x10 pontot kell szerezni. A megszerzett pontok beszámítanak a félévvégi jegybe.

Vizsgaidőszakban:

Írásbeli vizsga

A vizsga sikeres teljesítéséhez a maximálisan elérhető pontszám minimum 40%-át kell elérni. A vizsgán maximálisan 50 pont szerezhető, a sikeres vizsgához tehát minimum 20 pontot kell elérni.

A tárgyból szerzett pontszám: P = V + HF1 + HF2, ahol V a vizsgán szerzett pontszám, HF1 és HF2 pedig a házi feladatokból szerzett pontszám.

A félévvégi jegy számítása:

jeles (5) – ha P >= 85 pont

jó (4) – ha P >= 70 pont

közepes (3) – ha P >= 55 pont

elégséges (2) – ha P >= 40 pont

elégtelen (1) – ha P < 40 pont

11. Pótlási lehetőségek A sikertelen vagy mulasztott ZH egyszer pótolható.

A házi feladatok beadási határideje a szorgalmi időszakban van, a pontos határidők kihirdetése a félév első hetében történik. A házi feladatok pótlólagosan a kihirdetett határidők után maximum 1 héttel adhatók be, az így beadott házi feladatokra azonban 15% pontlevonás kerül alkalmazásra

12. Konzultációs lehetőségek Az előadóval előre egyeztetett időpontban.

13. Jegyzet, tankönyv, felhasználható irodalom Előadásokhoz rendelt online olvasnivalók (könyvfejezetek, cikkek, blogsorozatok)

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

Kontakt óra	42
Félévközi készülés órákra	0
Felkészülés zárthelyire	20
Házi feladat elkészítése	40
Kijelölt írásos tananyag elsajátítása	8
Vizsgafelkészülés	40
Összesen	150

15. A tantárgy tematikáját kidolgozta Dr. Ács Gergely, docens, HIT