BME VIK - Képfeldolgozás

3. A tantárgyfelelős személy és tanszék Dr. Szemenyei Márton,

4. A tantárgy előadója

Szántó Mátyás, egyetemi tanársegéd, IIT

Dr. Kovács Kálmán, egyetemi docens, IIT

Kertész Zsolt, tudományos munkatárs, IIT

Dr. Szemenyei Márton, egyetemi adjunktus, IIT

5. A tantárgy az alábbi témakörök ismeretére épít Számítógépes grafika

7. A tantárgy célkitűzése A kép jellegű információ feldolgozásának igénye az elmúlt évtizedekben rohamosan növekszik. Példaként említhető az ipari minőségellenőrzés, játék- és szórakoztatóipar, a korszerű képalkotó diagnosztikai eszközök, újabban pedig az autonóm járművek fejlesztése és a terrorizmus elleni küzdelem. A tantárgy célja, hogy megismertesse a hallgatókat a képek számítógépes feldolgozásának, objektumok felismerésének, összehasonlító elemzésének elméletével és gyakorlatával.  A tárgyban tanultak alapján a hallgatók képesek lesznek a gépi látás alapjainak (a képek rögzítésének, tárolásának, feldolgozásának) alkalmazására, vagy akár bonyolultabb képfeldolgozási feladatok megoldására, fejlesztői tevékenység végzésére.

8. A tantárgy részletes tematikája

Az előadások részletes tematikája

1.     A képfeldolgozás alapfogalmai. Az emberi látás, és a megjelenítés összefüggései. Egyszerű képfeldolgozási példák bemutatása. A kép, mint 2D folytonos és diszkrét függvény.

2.     Képalkotás módszerei és eszközei: CCD, PSD, CT, LiDAR. Camera obscura és valós kamera belső és külső paraméterei és tipikus felépítése. Homogén lineáris transzformációk.

3.     Harmonikus bázisfüggvények. Fourier transzformáció. Mintavételezés és rekonstrukció. A fényspektrum és a szín, színrendszerek alapjai. Kvantálás és dither.

4.     Alacsony szintű képfeldolgozás: Hisztogram műveletek, lineáris szűrés tér és frekvencia tartományban. Szeparábilitás. Nem lineáris, statisztikai szűrők: medián és változatai. Éltartás, bilaterális szűrők.

Szegmentálás. Hasonlóságon alapuló szegmentálás, régió alapú módszerek. Élek detektálása. Első és második deriváltak: gradiens és Hesse mátrix. Sobel, Prewitt, Canny algoritmus. Hough transzformáció egyenesre és körre.

Mozgás alapú szegmentálás, előtér és háttér szétválasztás. Mozgáskövetés, optikai áramlás.

Sztereó látás, epipoláris geometria. Képillesztések, korrelációs technikák. Mozgásalapú sztereó.

Matematikai morfológia. Mérések bináris képeken, pozíció, orientáció, hossz, számosság. Szomszédosság. Csontvázasítás.

A mesterséges intelligencia alapjai. Számítógépes látás nehézségei, alapproblémák. Felügyelt tanulás, perceptron, gradiens módszer, backpropagation. Többrétegű hálók, batch normalization.

Konvolúciós neurális hálók felépítése, architektúrák: inception, resnet. Szemantikus szegmentálás, detekció megoldása. Szekvenciák feldolgozása, visszacsatolt elemek.

Intelligens látás nehézségei, ellenséges példák, reprezentáció tanulás. Tanulási formák kombinálása, képgenerálás, predikció, kíváncsiság.

Orvosi képalkotás eszközei, Röntgen, CT, PET, MRI. Feldolgozás módszerei és alkalmazásai, regisztráció. Mozgásanalízis

Távérzékelés alapfogalmai, testek mint sugárforrások. Felszínborítás azonosítása. Űrtávérzékelés alapjai és módszerei.

Képfeldolgozás alkalmazása a térinformatikában, adatnyerés, helymeghatározás, Példa: zöldnövényzet állapotvizsgálata képfeldolgozással.

A gyakorlatok/laborok részletes tematikája

1. Képfeldolgozási eszközök alapjai, általános képmanipulációs technikák

2. Színalapú képfeldolgozási műveletek, pixel szintű műveletek, maszkolás

3. Szűrések megvalósítása kép- és frekvenciatartományban

4. Élkereső módszerek alkalmazása, paraméteres görbék keresése Hough-transzformációval

5. Szegmentálási módszerek alkalmazása, intenzitás, él alapon

6. Mozgásalapú szegmentáció, robusztus mozgásdetektálás videón

7. Bináris képek feldolgozása, morfológiai alapműveletek, objektumszámlálás

8. Automatikus szövegfelismerési módszerek vizsgálata

9. Objektumdetektálás és -követés videókon

10. Neurális hálózatok alapjai, automatikus differenciálás, validáció és overfitting

11. Képosztályozás konvolúciós neurális hálózatokkal

12. Orvosi képfeldolgozási módszerek alkalmazása

13. Távérzékelés, műholdas és légi felvételek feldolgozása

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

Előadás, gyakorlat, (ezek egy része számítógépteremben)

A tantárgy előadások elhangzó elméleti anyagra és az azok alkalmazását segítő gyakorlati példák felhasználására épít.

10. Követelmények

Szorgalmi időszakban

A félévközi osztályzat megszerzéséhez az alábbi követelmények teljesítése szükséges:

·2 nagyzárthelyi dolgozat teljesítése (mindkét nagyzárthelyin külön-külön 30% elérése)

A 2 zárthelyi dolgozat összpontszáma függvényében a félévközi osztályzat az alábbi ponthatárok alapján számolódik:

0-39%: elégtelen

40-54%: elégséges

55-69%: közepes

70-84%: jó

85-100%: jeles

Vizsgaidőszakban

11. Pótlási lehetőségek Az első nagyzárthelyi a szorgalmi időszakban, a második pedig a pótlási héten pótolható.

12. Konzultációs lehetőségek Egyeztetés szerint a zárthelyi dolgozatok előtt

13. Jegyzet, tankönyv, felhasználható irodalom

Power point prezentációk

Rafael C. Gonzales: Digital image processing, Addison-Wesley

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

Kontakt óra	56
Félévközi készülés órákra	44
Felkészülés zárthelyire	30
Házi feladat elkészítése
Kijelölt írásos tananyag elsajátítása	20
Vizsgafelkészülés
Összesen	150

15. A tantárgy tematikáját kidolgozta Dr. Szemenyei Márton, egyetemi adjunktus, Irányítástechnika és Informatika Tanszék

IMSc tematika és módszer A programban résztvevő hallgatók összetettebb mérnöki gondolkodást igénylő feladatokat kapnak, így nagyobb gyakorlatot szerezhetnek. Komolyabb önállóan feldolgozandó szakirodalom alapján mélyebb szakmai ismeretre is szert tehetnek

IMSc pontozás

A zárthelyi dolgozatban a hallgatók 15 IMSc pontot szerezhetnek, amelyhez a számonkérésen extra feladatokat kell megoldaniuk. További 10 pont szerezhető magasabb szintű otthoni irodalomfeldolgozással.

Az IMSc pontok megszerzése a programban nem résztvevő hallgatók számára is biztosított.