Appunti di Linguistica computazionale e intelligenza artificiale

Teorie all'origine della LCE

Esiste una grammatica universale? Se esistesse una struttura basilare comune a tutte le lingue, allora esse si potrebbero trattare con teorie e sistemi simili. Secondo la teoria della Grammatica Universale (Chomsky) esistono principi grammaticali condivisi da tutti gli esseri umani in quanto innati. Chomsky propose questa teoria per spiegare l'acquisizione del linguaggio in presenza di stimoli limitati (povertà dello stimolo): il bambino può imparare bene e rapidamente la sua lingua madre perché ha già innata parte della conoscenza necessaria a usare il linguaggio. L'esposizione ad una particolare lingua naturale completa quella parte innata della conoscenza della lingua. Inoltre, la GU spiega che chi parla fluentemente una lingua sa quali espressioni sono accettabili e quali inaccettabili in quella lingua, anche se a questa persona non vengono proposte espressioni inaccettabili o se viene fatto occasionalmente.

Le espressioni non corrette non vengono segnalate come tali. Chomsky, che propone l'idea dell'innatismo e universalità della grammatica, propone un'idea già presente nel pensiero di Bacone (XVII secolo) e di molti filosofi del linguaggio, secondo cui il linguaggio sta dentro la mente umana. Le idee di Chomsky e della scuola generativista hanno influenzato pesantemente sulla LC! Secondo la tradizione della corpus linguistics la GU non esiste, ma quando affrontiamo problemi relativi alla LC dobbiamo per forza pensare che esista, perché per costruire degli algoritmi ci si deve basare su degli assunti teorici. Gli approcci interlingua della MT si basano sulla possibilità di formulare principi universali per tutte le lingue esistenti; l'interlingua è un'astrazione da tutte le lingue e si è rivelato fallimentare perché è difficile formulare un'interlingua sufficientemente astratta e, allo stesso tempo,

Il generativismo ha prevalso nella LC fino alla fine del '900, determinando la nascita di approcci rule-based. Dalla fine del '900 si sono imposti orientamenti basati su dati empirici e statistici ispirati ai corpora, determinando la nascita degli approcci corpus-based.

Un'altra distinzione di Chomsky è quella tra competence e performance:

• competence: capacità linguistica idealizzata; fa parte delle proprietà mentali e psicologiche umane; può essere osservata solo tramite l'introspezione e quindi non fa riferimento a evidenze empiriche. Ha a che fare con la dimensione soggettiva del parlante come singolo e non considera il fatto che sia inserito all'interno di una comunità.
• performance: uso del linguaggio nella produzione di frasi nella comunicazione quotidiana. Può essere studiata solo tramite osservazione diretta delle produzioni dei parlanti e comporta il riferimento a

Il testo fornisce evidenze empiriche. Si tiene conto della dimensione della comunicazione e di aspetti ad essa legati, come la presenza di rumore.

In passato i sistemi di NLP tenevano conto solo della competence, senza considerare il contesto della comunicazione; oggi, invece, considerano la performance e considerano il contesto comunicativo, e tollerano gli errori dei parlanti.

Chomsky si focalizzò più sulla competence e questo influenzò la LC, dove fino al XX secolo non si utilizzarono approcci derivanti dalla performance. Egli criticò le teorie basate sulla performance, come la corpus linguistics, che studia il linguaggio tramite la raccolta di campioni che lo rappresentino: i corpora (=insieme di dati linguistici prodotti dai parlanti).

Le critiche di Chomsky e le risposte alle critiche:

1. Un corpus può rappresentare un linguaggio? No, perché il numero di frasi di un linguaggio è infinito, mentre un corpus ne contiene un numero finito, oltre che casuale. Risposta:

Uncorpus può adeguatamente rappresentare un linguaggio se contiene un campione statisticamente significativo di esso. Non occorre che contenga tutte le frasi di un linguaggio, ma una sua porzione abbastanza ampia da contenere esempi di tutte le strutture di tale linguaggio.

Perché studiare il linguaggio tramite osservazione diretta invece che introspezione? Nella nostra mente abbiamo tutte le strutture corrette del linguaggio, mentre lo stesso non si può dire per un corpus. Risposta: Solo l'osservazione diretta ci può rendere conto di come il linguaggio è realmente usato, del fatto che i parlanti riescono a comunicare tra loro nonostante errori e rumore. Inoltre, solo l'osservazione diretta ci mostra anche quanta importanza statistica ha ogni struttura (i.e. quanto è rara o frequente) e quanto il linguaggio varia da un parlante all'altro.

ASSUNTI FONDAMENTALI DELLA LC

1. Il trattamento del linguaggio richiede conoscenza linguistica:

ciò è stato sottovalutato nella costruzione dei primi sistemi di NLP. In seguito, molto attenzione è stata posta alla rappresentazione e acquisizione della conoscenza linguistica. Il sistema di NLP assume che la conoscenza sia formalizzata in regole, ma il modo in cui esse vengono ottenute incide su vari aspetti.

2. Teorie e sistemi vanno di pari passo: per sviluppare un sistema di NLP si parte da una teoria di riferimento che cerca di spiegare il comportamento linguistico e guida la formulazione degli algoritmi. Viceversa, un sistema può essere sviluppato per validare una teoria linguistica (immagine1).

3. La conoscenza linguistica si può organizzare in livelli gerarchici: la LC ha sempre evidenziato la presenza di relazioni gerarchiche tra i diversi aspetti della lingua (sintassi, semantica, morfologia, etc). Ogni livello rappresenta un modo diverso di vedere gli stessi dati linguistici. Es. "il cane dorme" (l.morfologico: articolo+nome+verbo;