Aine maht: 3 EAP
Loenguid 2 tundi nädalas
Õpetamise aeg: kevadsemester
Hindamine: arvestus
Eeldusained: ei ole

Sisu lühikirjeldus: Empirism ja ratsionalism keele automaattöötluses. Vajalikud ja lähtemõisted tõenäosusteooriast, informatsiooniteooriast, lingvistikast. Markovi mudelid. Tõenäosuslik grammatika. Annoteeritud keelekorpusele põhinev analüüs. Rakendused.

Kirjandus:
1. Christopher D. Manning, Hinrich Schütze.  Foundations of Statistical Natural Language Processing. MIT Press, 1999.
2. J. Allen. Natural Language Understanding. 2nd ed. The Benjamin/Cummings Publ. Comp., Inc., 1995.  Chapter 7 - Ambiguity Resolution: Statistical Methods
3. Daniel Jurafsky & James H. Martin. Speech and Language Processing. An introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition.  Prentice Hall, 2008 (2000). Vt ka http://www.cs.colorado.edu/~martin/slp.html
4. Liina-Mai Tooding. Andmete analüüs ja tõlgendamine sotsiaalteadustes. Tartu: Tartu Ülikooli Kirjastus, 2007.

Õppematerjalid vt http://moodle.ut.ee

1. Keele automaattöötluse põhiülesanded. Rakendused.
2. Taust: empirism ja ratsionalism keele automaattöötluses.
3. Vajalikud lähtemõisted tõenäosusteooriast. (Ptk. 7.1. J. Allen. Natural Language Understanding. 2nd ed., 1995.)
4. Vajalikud lähtemõisted informatsiooniteooriast.
5. Vajalikud lähtemõisted lingvistikast. Keelekorpused.
6. Kollokatsioonid.  http://nlp.stanford.edu/fsnlp/promo/colloc.pdf
7. Statistiline järeldamine: n-gramm-mudelid. http://www-nlp.stanford.edu/fsnlp/statest/henke-ch6.ppt
(ptk. 4 Daniel Jurafsky & James H. Martin. An introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. 2nd edition, Prentice Hall)
8. Sõnatähenduste ühestamine.
9. Markovi mudelid. http://nlp.stanford.edu/fsnlp/promo/hmm-chap.ps
10. Sõnaliikide märgendamine.
11. Tõenäosuslikud kontekstivabad grammatikad.  http://www-nlp.stanford.edu/fsnlp/pcfg/fsnlp-pcfg-slides.pdf
(ptk. 7.5. J. Allen. Natural Language Understanding. 2nd ed., 1995)
 

Loengud esmaspäeviti kell 14-16 Liivi 2-404.
Kontrolltöö 13. mail. Materjale võib kasutada.    Kordamisküsimused

Kodused ülesanded

Arvestuse saamiseks lahendada kõik kodused ülesanded ja sooritada kontrolltöö.