BME VIK - Látórendszerek laboratórium

3. A tantárgyfelelős személy és tanszék Dr. Szántó Mátyás,

A tantárgy tanszéki weboldala https://edu.vik.bme.hu/

4. A tantárgy előadója

Dr. Szemenyei Márton, adjunktus, IIT

Szántó Mátyás, tanársegéd, IIT

Kertész Zsolt, tudományos munkatárs, IIT

5. A tantárgy az alábbi témakörök ismeretére épít Képfeldolgozás alapjai

6. Előtanulmányi rend

Ajánlott:
Számítógépes látórendszerek

7. A tantárgy célkitűzése A tantárgy célja, hogy a hallgatók a képfeldolgozás és számítógépes látás technikák gyakorlati módszereinek használatát készségszinten elsajátítsák. A tárgy keretein belül összetett gépi látás feladatok megoldását egy több lépcsős csoportos együttműködésen keresztül lehetséges abszolválni, amelyhez tárgyi és gyakorlati segítséget biztosítunk. A technikák és a módszertan megismerésével a mérnöki gyakorlati gondolkodásmódot és a magas szintű képfeldolgozási perspektívát egyaránt el tudják sajátítani a tárgy hallgatói. A mérések tematikáját a klasszikustól a modern képfeldolgozás eszközrendszeréhez illesztjük.

8. A tantárgy részletes tematikája

1. Számítógépes látás alapjai

Python programozási nyelv alapjai, az OpenCV és a NumPy könyvtárak használata.

Automatikus dokumentumfeldolgozás megvalósítása.

2. Képosztályozás

Közlekedési táblák osztályozása mélytanulás segítségével.

3. Szemantikus szegmentálás

Mélytanulás alapú szegmentáló rendszer megvalósítása közlekedési szituációkban.

4. Objektumdetektálás

Gyalogosok és járművek detektálása mély neurális hálókkal.

5. CUDA

Egyszerű képfeldolgozási algoritmusok hatékony megvalósítása GPU-n a CUDA környezet segítségével

6. Sávkövetés

Sávkövetés, pozícióbecslés és sávtartás megvalósítása egy mobilis jármű segítségével.

7. Akadálydetektálás

Automatikus akadálydetektálás és -kerülés megvalósítása mélységkép segítségével autonóm járművekben.

8. 3D Rekonstrukció

Többnézetű 3D rekonstrukció elkészítése egy mélységképre alapuló egyidejű lokalizációs és térképkészítő (RGB-D SLAM)

algoritmus segítségével.

9. Objektumkövetés

Egyszerű objektumkövetés megvalósítása RGB-D kamerakép segítségével.

10. Vizuális visszacsatolás vizsgálata

Hat szabadságfokú robotkar megfogójára rögzített kamera szem-kéz kalibrációja,

a robotkar irányítása a kamera képe alapján.

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Összesen 10 laboratóriumi mérés, melyek egyenként 4 órásak.

10. Követelmények A szorgalmi időszakban: A 10 mérés elvégzése legalább elégséges eredménnyel. A hallgatók felkészültségét a mérés elején ellenőrizzük, a nem kellőképpen felkészült hallgatók a mérést nem kezdhetik meg. A mérésről jegyzőkönyvet kell készíteni.

11. Pótlási lehetőségek Az elmulasztott vagy sikertelen mérések pótlására 2 pótmérési alkalmat biztosítunk.

12. Konzultációs lehetőségek Igény esetén előzetesen egyeztetett időpontban konzultációt biztosítunk.

13. Jegyzet, tankönyv, felhasználható irodalom Elektronikus mérési útmutatók

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

Kontakt óra	42
Félévközi készülés órákra	55
Felkészülés zárthelyire	0
Házi feladat elkészítése	0
Kijelölt írásos tananyag elsajátítása	53
Vizsgafelkészülés	0
Összesen	150

15. A tantárgy tematikáját kidolgozta

Dr. Szemenyei Márton, adjunktus, IIT

Szántó Mátyás, tanársegéd, IIT

Kertész Zsolt, tudományos munkatárs, IIT