Előadás:

1. Bevezetés. A természetesnyelv-feldolgozás áttekintése, alapfogalmak, áttekintő irodalmak, célkitűzések, problémák a természetes nyelvű szövegek feldolgozásával, alkalmazási területek, alapvető eszközök kísérletezésre. Számítógépes nyelvészet (CL), természetesnyelv-feldolgozás (NLP), szintaktika, szemantika.
2. Információkeresés. Szövegkeresési technikák, szövegindexelés és információ-visszakeresés, lekérdezési- és dokumentum-modellek, találati lista rangsorolás, hatékonyság mérése. Szövegkorpusz, konkordancia, információ-visszakeresés (IR), indexelés, vektor-tér modell, tévesztési mátrix, pontosság, felidézés, F1-score.
3. Statisztikai nyelvi modellek és alkalmazásuk. Szegmentálás és tokenizálás, szózsák és n-gram modellek, TF-IDF modell, rejtett szemantikájú indexelés, szótárépítés, szövegklaszterezés, szövegkivonatolás, hangulatelemzés, stilometria.
4. Szövegannotálás. Szövegek nyelvi és szemantikai annotációja, szófaji címkézés, entitásfelismerés, annotálók tanítása adathalmazokból, mélytanulási módszerek (szóbeágyazások, RNN, LSTM) alkalmazása.
5. A nyelvtan (grammatika) és felhasználása. Nyelvi szabályszerűségek leírása nyelvtanokkal, szintaktikai elemzés és jellemző algoritmusai, az elemző működése, kifejezésstruktúra, levezetési szabály, elemzési fa, nyelvtanok tanulása (Penn Treebank), kontrollált természetes nyelvek.
6. Információkinyerés természetes nyelvű szövegekből. Szókincs és nyelvtan kiterjesztése szemantikai információkkal, szemantikus annotálás, szemantikai értelmezés tanulása mintákból, egyértelműsítés, kontrollált nyelvek alkalmazása tudásbevitelre, témamodellezés (topic modelling), kompozíciós szemantikai elemzés, ontológia, lexikai és szemantikai többértelműség.
7. Tudásmenedzsment, tárgyterületek modellezése. Tudásmodellezés, explicit és implicit tudás, tudásreprezentációs megközelítések, szakértői rendszerek, következtetés, magyarázatgenerálás.
8. Szemantikus technológiák. Szemantikus web koncepció, szemantikus web technológiák, egységes erőforrás azonosító (URI), erőforrás leíró keretrendszer (RDF), nyílt világ feltételezés alapú információleírás.
9. Linked Data információelérés. Linked Data koncepció, nyílt adatforrások a világban, nyílt szótárak, szemantikus hálózatok.
10. Ontológiák, logikai reprezentációk. Szótárak, tezauruszok, ontológiák építése és alkalmazása, pszicholingvisztikai modellek.
11. Logikai következtetés. Ontológiák reprezentálása leíró logikákban, leíró logikai következtetés, Tableau algoritmus, szabály alapú reprezentáció, előre és hátrafelé láncoló következtetés.
12. Párbeszédkezelés, érvelés. Párbeszédek leírása, modellezése szabály alapú megközelítéssel, érvelési rendszerek, magasabb rendű logikai modellek, modális logikák alkalmazása érvelések leírására
13. Esettanulmányok. Tudástárak építése és alkalmazása, szemantikus annotálás információkinyerési céllal, természetes nyelvű robotinterfészek megvalósítása, böngésző alkalmazásokba beépülő nyelvi technológiák.

Gyakorlatok:

1. Korpuszkezelés, reguláris kifejezések alkalmazása, konkordancialista készítése, indexépítés, szövegkeresés korpuszban, pontosság és felidézés számítása, Apache Solr.
2. Elemi nyelvfeldolgozás (szegmentálás, tokenizálás, szófaji címkézés) NLTK és Spacy segítségével.
3. Felhasználói visszajelzések hangulatelemzése, szózsák és n-gram modellek építése és alkalmazása.
4. Szerzőségazonosítás stilometriai módszerekkel, Stylo.
5. Szövegannotálás Spacy-vel, mélytanuláson alapuló nyelvi modellek alkalmazása.
6. Nyelvtani elemző készítése ANTLR segítségével, alkalmazásuk adatbázis-lekérdezésre és okosotthon rendszerekben.
7. Szakértői rendszerek demó, egyszerű szabályalapú környezet vizsgálata (Drools).
8. RDF adatmodellek vizsgálata (RDF4J adatbázis, múzeumi adatok elemzése)
9. RDF - Linked data adatmodellek vizsgálata, múzeumi adatok integrálása DBPedia adatokkal.
10. Ontológiák vizsgálata (Protege ontológiaszerkesztő eszköz), következtetés a múzeumi adatmodellen
11. Ontológiák építése, egyszerűbb modellek létrehozása Protege környezetben.
12. Érvelés szakértői rendszermodellben.

• Daniel Jurafsky, James Martin: Speech and Language Processing, 3rd ed. draft, elektronikus változat:
  https://web.stanford.edu/~jurafsky/slp3/
• Bach Iván: Formális nyelvek, TYPOTEX Kiadó, Budapest, 2002, elektronikus változat:
  https://mek.oszk.hu/05000/05099/05099.pdf
• Benkő Tamás - Lukácsy Gergely - Szeredi Péter: A szemantikus világháló elmélete és gyakorlata, Typotex 2005., elektronikus változat:
  http://www.interkonyv.hu/konyvek/?isbn=978-963-9548-48-0
• Stuart J. Russell - Peter Norvig, Mesterséges intelligencia modern megközelítésben, Panem Kiadó, 2005., (tárgyalt/érintett fejezetek: 9.1., 9.2., 9.3., és 10.1., 10.2., 10.5., 10.6., 10.7.); illetve a megfelelő fejezetek az MI Almanach portálon:
  http://mialmanach.mit.bme.hu/aima/index.html

A tantárgyból maximum 25 IMSc pont szerezhető az alábbiak szerint:

• Házi feladatok emelt szintű megoldásáért összesen maximum 20 IMSc pont szerezhető.
• A vizsgán maximum 5 IMSc pont jár az IMSc feladat megoldásáért.

 Az IMSc pontok megszerzése az IMSc programban nem résztvevő hallgatók számára is biztosított.