Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással
    vissza a tantárgylistához   nyomtatható verzió    

    Háromdimenziós rekonstrukció videófelvételekből

    A tantárgy angol neve: 3D Reconstruction from Video

    Adatlap utolsó módosítása: 2009. március 12.

    Tantárgy lejárati dátuma: 2009. november 24.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar
    Villamosmérnöki Szak
    Műszaki Informatika Szak
    Választható tantárgy
    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VIAUAV29   4/0/0/v 5  
    3. A tantárgyfelelős személy és tanszék Hajder Levente,
    4. A tantárgy előadója
    Név:Beosztás:Tanszék, Int.:
    dr. Hajder Leventetud. munkatársMTA SZTAKI
    7. A tantárgy célkitűzése

    A háromdimenziós objektum rekonstrukció a számítógépes látás egyik alapproblémája. Kutatása a 80-as években lendült fel, mostanában már az ipari alkalmazások is megjelentek.

    A tantárgy célja a hallgatókkal megismertetni a modellrekonstrukció és az animációs trükkök alapproblémáit és annak megoldásait. Az órák keretében a szükséges matematikai alapokat is átadjuk.

    A kurzus teljesítő hallgatók képesek lesznek arra, hogy tudásukat az iparban hasznosítsák (ipari minőségbiztosítás, reklám- és filmstúdiók, játékipar): tudják kezelni a meglévő szoftvereket, illetve új modulokkal tudják azokat bővíteni.

    A házi feladatok segítik a hallgatókat, hogy egy-egy választott módszer implementálásával maguk is meggyőződhessenek a módszerek használhatóságáról, és tisztában legyenek a hátrányokkal, problémákkal is.

    8. A tantárgy részletes tematikája Bevezetés, áttekintés.Optimalizálási alapok.Lagrange-multiplikátoros optimalizálás. Lineáris egyenletrendszerek legkisebb négyzetes megoldása korlátozás nélkül és korlátozással, szinguláris érték felbontás (SVD), főkomponens analízis.Nemlineáris optimalizálás: Gradiens módszer, konjugált gradiens módszer, Gauss-Newton módszer, Levenberg-Marquardt módszerOptikai alapismeretek.Optikai alapok: az optika tárgya, felosztása.Geometriai optika: fénysugár, Fermat-elv, visszaverődés és törés. Visszaverődésen és törésen alapuló optikai elemek. Ideális leképzés. Valódi leképzés, aberrációk.Fizikai optika: hullám leírása, fényelhajlás jelensége.Geometriai alapok.Térbeli geometria, homogén koordináták, vetítések (perspektív, gyengén perspektív paraperspektív, merőleg), epipoláris geometria, kvaterniók.Háromdimenziós illesztési módszerek.Háromdimenziós megjelenítő nyelvek (X3D, POVRay).Jellegzetes pontok előállítása és követése.Sarokdetektálás: KLT algoritmus. Jellegzetes pontok követése: különbség és korreláció alapú módszerek,Affin és perspektív torzítások figyelembe vétele.Jellegzetes vonalak illesztése: alapvető vonalkeresési algoritmusok, megfeleltetés textúrainformáció alapján.Fotogrammetrikus kamerakalibrálásBelső és külső paraméterek definíciója. Kalibráció referencia-objektum alapján.Háromdimenziós pontok és kameramozgás számítása.Mélységszámítás merőleges vetítés, gyenge perspektíva, valódi perspektíva esetén. Kamerakalibráció. Fundamentális mátrix (sztereó látás), trifokális tenzor bevezetése.Megfeleltetett pontok és egyenesek felhasználása az illesztési feladatra.Kalibrált kamera esetén az ún. visual hull algoritmus alkalmazása.Szegmentálás, pontok szűrése.Fundamentális mátrix alapú módszerek, K-means, LMedS, LTS, RANSAC-algoritmusok. Altér alapú szegmentálás, régió terjesztéses algoritmus.Szegmentálás trifokális tenzor alapján.Sűrű illesztés.Rektifikálás (képek kiegyenesítése torzítás segítségével): lineáris, nemlineáris rektifikáció. A keresési tér leszűkítése.A felületi normálvektor és a torzítás kapcsolata. Sűrű illesztés régiónöveléses technikával.Pontok háromszögelése.Síkbeli pontok Delunay-féle háromszögelése, térbeli háromszögelés.Pontok háromszögelése “marching cube” algoritmus alapján.Fotorealisztikus rekonstrukció. Textúrázás, árnyékolások figyelembe vétele.Több fényforrás segítségével felületi érdesség megállapítása.Háromdimenziós animációs trükkök. A renderelő szoftverek kameramodellje.Valós felvétel és mozgó virtuális objektumok keverése a kameraparaméterek becslése alapján.Képek homográfián alapuló torzítása. Kép alapú renderelés (image based rendering).
    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Előadás
    10. Követelmények

    a. A szorgalmi időszakban: Házi feladat

    b. A vizsgaidőszakban: Írásbeli vizsga

    c. Elővizsga: Van

     

    11. Pótlási lehetőségek

    A házi feladatot a szorgalmi időszak végéig be kell adni. Ezt később pótolni nem lehet.

    13. Jegyzet, tankönyv, felhasználható irodalom

    1. Richard Hartley, Andrew Zisserman. Multiple View Geometry 2nd edition, Cambridge University Press, 2004. ISBN: 05215405182

    2. Yi Ma, Stefano Saotto, Jana Kosecka, S. Shankar Sastry. An Invitation to 3-D Vision. Springer-Verlag, New York, November 2003

    3. Marc Pollefeys. Visual 3D Modelling from Images (tutorial) http://www.cs.unc.edu/~marc/tutorial/

    4. Magyar nyelvű óravázlat és házi feladat példák a  http://vision.sztaki.hu/~hajder/rekonstrukcio/ linken találhatóak.

    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontakt óra60
    Félévközi készülés órákra20
    Felkészülés zárthelyire0
    Házi feladat elkészítése30
    Kijelölt írásos tananyag elsajátítása0
    Vizsgafelkészülés40
    Összesen150
    15. A tantárgy tematikáját kidolgozta
    Név:Beosztás:Tanszék, Int.:
    dr. Hajder Leventetud. munkatársMTA SZTAKI