Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással
    vissza a tantárgylistához   nyomtatható verzió    

    Háromdimenziós rekonstrukció videófelvételekből

    A tantárgy angol neve: 3D Reconstruction from Video

    Adatlap utolsó módosítása: 2012. május 30.

    Tantárgy lejárati dátuma: 2013. január 31.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar
    Mérnök informatikus szak
    Villamosmérnöki szak
    Szabadon választható tantárgy
    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VIAUJV29   4/0/0/v 4  
    3. A tantárgyfelelős személy és tanszék Dr. Iváncsy Renáta Erzsébet,
    4. A tantárgy előadója
    Név:Beosztás:Tanszék, Int.:
    dr. Hajder Leventetud. munkatársMTA SZTAKI
    5. A tantárgy az alábbi témakörök ismeretére épít Lineáris algebra, analízis
    6. Előtanulmányi rend
    Kötelező:
    NEM ( TárgyTeljesítve("BMEVIAUAV29") )

    A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

    A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

    Ajánlott:
    A tárgyat nem vehetik fel azok, akik előzőleg már teljesítették a VIAUAV29 (Háromdimenziós rekonstrukció videófelvételekből) tárgyat.
    7. A tantárgy célkitűzése

    A háromdimenziós objektum rekonstrukció a számítógépes látás egyik alapproblémája. Kutatása a 80-as években lendült fel, mostanában már az ipari alkalmazások is megjelentek.

    A tantárgy célja a hallgatókkal megismertetni a modellrekonstrukció és az animációs trükkök alapproblémáit és annak megoldásait. Az órák keretében a szükséges matematikai alapokat is átadjuk.

    A kurzust teljesítő hallgatók képesek lesznek arra, hogy tudásukat az iparban hasznosítsák (ipari minőségbiztosítás, reklám- és filmstúdiók, játékipar): tudják kezelni a meglévő szoftvereket, illetve új modulokkal tudják azokat bővíteni.

    A házi feladatok segítik a hallgatókat, hogy egy-egy választott módszer implementálásával maguk is meggyőződhessenek a módszerek használhatóságáról, és tisztában legyenek a hátrányokkal, problémákkal is.

    8. A tantárgy részletes tematikája

    Bevezetés, áttekintés.

    Optimalizálási alapok. Lagrange-multiplikátoros optimalizálás. Lineáris egyenletrendszerek legkisebb négyzetes megoldása korlátozás nélkül és korlátozással, szinguláris érték felbontás (SVD), főkomponens analízis. Nemlineáris optimalizálás: Gradiens módszer, konjugált gradiens módszer, Gauss-Newton módszer, Levenberg-Marquardt módszer

    Optikai alapismeretek. Optikai alapok: az optika tárgya, felosztása. Geometriai optika: fénysugár, Fermat-elv, visszaverődés és törés. Visszaverődésen és törésen alapuló optikai elemek. Ideális leképzés. Valódi leképzés, aberrációk. Fizikai optika: hullám leírása, fényelhajlás jelensége.

    Geometriai alapok. Térbeli geometria, homogén koordináták, vetítések (perspektív, gyengén perspektív paraperspektív, merőleges), epipoláris geometria. Háromdimenziós illesztési módszerek. Háromdimenziós megjelenítő nyelvek (X3D, POVRay).

    Jellegzetes pontok előállítása és követése. Sarokdetektálás: KLT algoritmus. Jellegzetes pontok követése: különbség és korreláció alapú módszerek,Affin és perspektív torzítások figyelembe vétele. Jellegzetes vonalak illesztése: alapvető vonalkeresési algoritmusok, megfeleltetés textúrainformáció alapján.

    Fotogrammetrikus kamerakalibrálás. Belső és külső paraméterek definíciója. Kalibráció referencia-objektum alapján.

    Háromdimenziós pontok és kameramozgás számítása. Mélységszámítás merőleges vetítés, gyenge perspektíva, valódi perspektíva esetén. Kamerakalibráció. Fundamentális mátrix (sztereó látás) bevezetése. Megfeleltetett pontok és egyenesek felhasználása az illesztési feladatra. Kalibrált kamera esetén az ún. „vizuális burok” algoritmus alkalmazása.

    Szegmentálás, pontok szűrése. Fundamentális mátrix alapú módszerek, LMedS, LTS, RANSAC-algoritmusok. Altér alapú szegmentálás, régió terjesztéses algoritmus. Szegmentálás trifokális tenzor alapján.

    Sűrű illesztés. Rektifikálás (képek kiegyenesítése torzítás segítségével): lineáris, nemlineáris rektifikáció. A keresési tér leszűkítése. A felületi normálvektor és a torzítás kapcsolata. Sűrű illesztés régiónöveléses technikával.

    Pontok háromszögelése. Térbeli háromszögelés: Pontok háromszögelése „masírozó kockák” algoritmus alapján.

    Fotorealisztikus rekonstrukció. Textúrázás, árnyékolások figyelembe vétele. Több fényforrás segítségével felületi érdesség megállapítása.

    Háromdimenziós animációs trükkök. A renderelő szoftverek kameramodellje. Valós felvétel és mozgó virtuális objektumok keverése a kameraparaméterek becslése alapján. Képek homográfián alapuló torzítáds. Képa alapú renderelés (image-based rendering)

     

    Tervezett órai bontás a tantárgy oktatása során


    Hét Előadás
    1

    Tantárgykövetelmények ismertetése. Rekonstrukciós módszerek áttekintése. Matematikai alapok: mátrixműveletek.

    2

    Matematikai alapok: gradiensvektorok, ortonormált mátrixok, túlhatározott inhomogén lineáris egyenletrendszer megoldása, Lagrange multiplikátoros optimalizálás. Homogén túlhatározott lineáris egyenletrendszerek megoldása, főkomponens analízis, Szinguláris értékek szerinti felbontás.

    3

    Matematikai alapok: QR-dekompozíció, numerikus optimalizálás. Robusztus becslések (LMedS, LTS, RANSAC-algoritmusok), Esettanulmány: egyenes illesztése robusztusan. Numerikus optimalizálás.

    4

    3D-s ponthalmazok optimális regisztrációja.: optimális eltolás, elforgatás, skálázás meghatározása. Átfedő ponthalmazok regisztrációja (ICP algoritmus), 

    5

    Videó alapú rekonstrukció áttekintése. Házi feladatok ismertetése. Háromdimenziós megjelenítő nyelvek (X3D, POVRay)

    6

    Optikai alapok: törés, visszaverődés, gömblencsék és -tükrök. paraxiális közelítés, mátrixos formalizmus, vékony- és vastaglencsék, képi leképzés, tetszőleges optikai rendszer visszavetítése vékonylencsére, perspektív vetítés, aberrációk.

    7

    Kameramodellek: perspektív kamera, gyengén perspektív kamera, merőleges vetítés, harmadfokú nemlineáris torzítás. Perspektív kamera kalibrációja. Homográfia.

    8

    Lézeres és projektoros szkennelés. Projektor kalibrálása. Vizuális burok fogalma. Vizuális burkot számító algoritmus. Felületképezés marching cube algoritmussal.

    9

    Mintaillesztés: különbség- és korrelációalapú módszerek. Lucas-Kanade követés, Lucas-Kanade követés. Jellegzetes (jól követhető) pontok meghatározása. Optikai áramlások használata.

    10

    ZH.

    Kanade-Lucas-Tomasi (KLT) sarokdetektáló működése. Rekonstrukció gyenge perspektív kamera feltételezésével (Tomasi-Kanade factorizáció).

    11

    Tomasi-Kanade faktorizáció hiányzó adatokkal. Faktorizáció pontosítása alternációval és a numerikus optimalizálást használó kötegelt behangolással (bundle adjustment).

    12 Tantárgyi adatlap

     

    Projektív geometria alapjai. Sztereó látás: Esszenciális és fundamentális mátrix fogalma. Sztereó látás: Fundamentális mátrix becslése. Esszenciális mátrix felbontása. 3D-s koordináták becslése. Rektifikáció és sűrű illesztés.

    13

    Modellek textúrázása képek alapján, az illesztési hibák eltüntetésének lehetséges módozatai. Optimális mélységbecslés sztereó képpárokon(Hartley-Sturm trianguláció). Fotometrikus sztereó.

    14

    Kép alapú renderelés.

    Házi feladatok bemutatása

     

    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Előadás
    10. Követelmények

    . A szorgalmi időszakban:

    A hallgatók a szorgalmi időszakban 1 alkalommal zárthelyit írnak.

    A szorgalmi időszakban 1 db. egyéni házi feladatot el kell készíteni.

    A hallgató a félév elismerést jelentő félév végi aláírást csak akkor kaphat, ha a hallgató sikeres zárthelyit írt, (TVSz 14.§ (1/a) szerint), a házi feladatot bemutatta.

    Elővizsga tehető a szorgalmi időszak utolsó hetében.

     

    b. A vizsgaidőszakban:

    A tantárgy anyagából a hallgatók vizsgát tesznek. A félév végi osztályzatot a vizsgajegy alapján kapják, nehezebb házi feladatok megoldásával a vizsgára pluszpontokat lehet szerezni.

    11. Pótlási lehetőségek
    • Elégtelen zárthelyi egyetlen alkalommal pótolható. - TVSz16 .§ (1)
    • Elégtelen (pót)zárthelyi pótlása a pótlási héten - TVSz16 .§ (3)
    • Elégtelen vizsga a TVSZ szabályai szerint pótolható.
    • Az otthoni feladat utólagos bemutatása a TVSZ szabályai szerint a pótlási időszak végéig lehetséges.


    12. Konzultációs lehetőségek

    Igény szerint az előadókkal egyeztetve.

    13. Jegyzet, tankönyv, felhasználható irodalom

    • Richard Hartley, Andrew Zisserman. Multiple View Geometry 2nd edition, Cambridge University Press, 2004. ISBN: 05215405182

    • Yi Ma, Stefano Saotto, Jana Kosecka, S. Shankar Sastry. An Invitation to 3-D Vision. Springer-Verlag, New York, November 2003

    • Marc Pollefeys. Visual 3D Modelling from Images (tutorial) http://www.cs.unc.edu/~marc/tutorial/

    • Magyar nyelvű óravázlat és házi feladat példák a http://vision.sztaki.hu/~hajder/rekonstrukcio/ linken találhatóak.

    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontakt óra56
    Félévközi készülés órákra0
    Felkészülés zárthelyire8
    Házi feladat elkészítése8
    Kijelölt írásos tananyag elsajátítása0
    Vizsgafelkészülés48
    Összesen120
    15. A tantárgy tematikáját kidolgozta

    Név:

    Beosztás:

    Tanszék, Int.:

    Dr. Hajder Levente

    tudományos munkatárs

    MTA SZTAKI

    Dr. Iváncsy Renáta

    docens

    Automatizálási és Alkalmazott Informatikai Tanszék