Ember-robot interfész

A tantárgy angol neve: Human-robot Interaction

Adatlap utolsó módosítása: 2013. március 22.

Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar
Villamosmérnöki szak
Mérnök informatikus szak
Szabadon választható tárgy
Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
VITMAV19   2/0/0/v 2  
3. A tantárgyfelelős személy és tanszék Dr. Zainkó Csaba,
A tantárgy tanszéki weboldala http://speechlab.tmit.bme.hu/hri
4. A tantárgy előadója

Név:

 Beosztás:

Tanszék:

Zainkó Csaba, PhD

egyetemi adjunktus

BME-TMIT

Németh Géza, PhD

egyetemi docens

BME-TMIT

5. A tantárgy az alábbi témakörök ismeretére épít

Egyetemi programozási alapismeretek.

6. Előtanulmányi rend
Ajánlott:
Nincs.
7. A tantárgy célkitűzése

A tárgy célja betekintést nyújtani a hallgatóknak a robot és az emberek kapcsolatát meghatározó alapvető interfészek működésébe és használatába. A tárgy egy humanoid robot segítségével interaktív foglalkozások keretén belül mutatja be, hogyan tudunk egyszerű interfész elemek felhasználásával magas szintű kommunikációra képes rendszert létrehozni. Betekintést kap a hallgató a humanoid robot különböző alapvető kommunikációs formáinak a használatába. A tárgy keretében a hallgató saját vagy választott feladatát óráról órára az aktuális előadás és demonstráció anyaga alapján bővíti, és a félév végére összetett és látványos robotvezérlési feladatot old meg. A hallgató a tárgy sikeres elvégzése esetén olyan interdiszciplináris elméleti és gyakorlati tudást szerez, amely képessé teszi robot-ember interakciók tervezésére és megvalósítására.

8. A tantárgy részletes tematikája

1. Bevezetés, alapfogalmak: A tárgy témájának elhelyezése az ember-gép interfészek és a robotika témakörön belül. Robot-ember interfész bemutatása, jelenlegi és jövőbeli felhasználási lehetőségek ismertetése.

2. Humanoid robotok megismerése: Különböző humanoid robotok megismerése, összehasonlítása. Az Aldebaran cég NAO robotjának részletes vizsgálata, a felhasználási korlátok megismerése.

3. Robotvezérlési és programozási lehetőségek:  NAO robot vezérlési lehetőségei, fejlesztő és tesztelési környezete. Alapvető hozzáférések megismerése, kipróbálása.


4. Beszédfelismerő: Az alkalmazható beszédfelismerő technológiák megismerése, robotokban történő felhasználási feltételek és környezetek áttekintése. Interakciós lehetőségek elemzése. Felismerési nyelvtan készítés, dialógusba illesztés módszerei.


5. Beszédszintézis: Az alkalmazható beszédszintézis technológiák megismerése, robotokban történő felhasználási feltételek és környezetek áttekintése. Interakciós lehetőségek elemzése. Szövegcímkézés, robot specifikus text-to-speech (TTS) megoldások, dialógusba illesztés módszerei.


6. Vizuális interakció: Arc-, kép-, szimbólum-felismerő alrendszerek, kamera képek feldolgozása, a kinyert adatok felhasználása. A vizuális modalitás alapján történő dialógus és viselkedés módosítások lehetőségei.

 

7. Külső vezérlés: Külső irányító kontrollerek illesztése, okostelefonos távirányítás, követési feladatok végrehajtása. Külső beavatkozás interakciókba, biztonsági funkciók megvalósítása.

8. Érzelemkifejezés: Érzelemkifejezés a robot segítségével, érzelmes beszéd és mozdulatsorok használata. Érzelemkifejezés szerepe az emberrel történő interakcióban, multimodális műveletek összehangolása.


9. Szimulációs környezet: Szimulációs környezetek szerepe, használata. Interakciós lehetőségek elemzése, a fejlesztési folyamatban betöltött szerep elemzése.

 


10. VIRtual Collaboration Arena: VirCA környezet megismerése, robot együttműködés virtuális környezetben, összetett környezet kialakítása, távoli együttműködés megismerése.


11. Segítő robotok: Speciális felhasználókkal (idősek, betegek és gyerekek) való kommunikáció. A speciális környezet korlátozó tényezői, interakciós lehetőségek és korlátok.

 

12. Kihívások a humanoid robotok számára: Működési terület megismerése, reakciók a változó környezetre, emberszerű viselkedés határai és hatása a kommunikációra. Együttműködés más robotokkal és emberekkel.

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

A tantárgy oktatásának módja előadás élő és interaktív demonstrációval. Heti 2 óra előadás tanteremben. Az óra első felében elméleti áttekintés, majd az elmélethez tartozó bemutató közös kidolgozása és megtekintése. Az órákon saját számítástechnikai eszközök (laptop) is használhatóak.

10. Követelmények

a./ A szorgalmi időszakban:

Aláírás megszerzésének feltétele: Saját vagy választott témában ember-robot interakció kidolgozása és dokumentálása.
A feladat kiváló, szorgalmi időszakban történő teljesítése és bemutatása esetén, valamint az előadások rendszeres aktív látogatása (legalább 70%-os részvétel) esetén megajánlott jegy kapható.


b./ A vizsgaidőszakban: szóbeli vagy írásbeli vizsga

11. Pótlási lehetőségek A feladat különeljárási díj megfizetése mellett a pótlási időszak végéig adható le késedelmesen a feladat. Pót ill. javító vizsga a TVSZ szerint.
12. Konzultációs lehetőségek

 Igény szerint, előzetes megbeszélés vagy e-mailen történő egyeztetés alapján.

 

 


13. Jegyzet, tankönyv, felhasználható irodalom

Aldebaran robotics oktatási anyagok: www.aldebaran-robotics.com

Németh G, Olaszy G. (szerk.) (2010) A magyar beszéd: Beszédkutatás, beszédtechnológia, beszédinformációs rendszerek. Akadémiai Kiadó, Budapest 

VirCApedia: http://www.virca.hu

Beck, A.; Cañamero, L.; Bard, K.A., "Towards an Affect Space for robots to display emotional body language," RO-MAN, 2010 IEEE ,pp.464,469, 13-15 Sept. 2010

(A fenti jegyzeteken túl a tárgy weboldalán számos elektronikus segédanyag lesz elérhető.)

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
Kontakt óra28
Félévközi készülés órákra10
Felkészülés zárthelyire-
Házi feladat elkészítése12
Kijelölt írásos tananyag elsajátítása-
Vizsgafelkészülés10
Összesen60
15. A tantárgy tematikáját kidolgozta

Név:

Beosztás:

Tanszék:

Zainkó Csaba, PhD

egyetemi adjunktus

BME-TMIT

Németh Géza, PhD

egyetemi docens

BME-TMIT