Appunti di Linguistica Applicata - Modulo 1 - F. Tamburini

Linguistica applicata

F. Tamburini – Modulo 1

Linguistica dei corpora

La linguistica dei corpora è una metodologia, è un modo di eseguire l’analisi linguistica su una lingua o una varietà che si distingue dalle altre modalità. I lavori dei corpus esaminano gli stessi aspetti della linguistica classica (fonetico, morfologico, sintattico, semantico e pragmatico etc.) ma si differenzia nella metodologia.

Empiristi e razionalisti

Negli anni ’40 - ‘50 i paradigmi linguistici dominanti riguardavano lo strutturalismo. Quello britannico e americano erano i grandi filoni, fornivano un punto di vista generale. Gli approcci erano basati sui dati, usavano testi autentici per ricavare esempi ed indicazioni (concorrenza e coselezione) da cui trarre conclusioni di analisi del fenomeno. Quindi i testi autentici erano la fonte primaria di ogni considerazione linguistica.

Con la tesi di dottorato di Chomsky e le idee che ne sono seguite (razionalismo), la prospettiva viene ribaltata. Il nuovo approccio all’analisi linguistica era basato su giudizi introspettivi inconsci. Il parlante nativo ha una competenza tale che è lo strumento principale per prendere qualsiasi decisione sulla sua vita. Chomsky riteneva estremamente importante il predominio della sintassi per tutti livelli di analisi. Un parlante nativo può decidere immediatamente se una frase rispetta la grammatica o no. L’analisi dei testi autentici è messa da parte con l’approccio razionalista, viene fortemente criticata. Quindi il nuovo approccio si basa su dati artificiali, gli esempi sono creati dai linguisti stessi.

L’approccio razionalista ha una visione universalista/innatismo. Chomsky pensava che gli stimoli non fossero sufficienti ad approccio linguistico così sofisticato, che ci andasse qualcosa di innato, cioè una struttura cerebrale genetica che fissa alcuni parametri in base alla nostra lingua natia. Quindi c’è una grammatica universale che rappresenta ciò che è cablato nella nostra rete neurale quando nasciamo.

Prima e dopo il periodo razionalista, l’analisi dei fenomeni linguistici è eseguita in modo radicalmente diverso. L’approccio empirista si basa sui dati autentici di atti comunicativi di parlanti nativi, raccoglie dati, esamina, cerca regolarità nei dati e sulla base di queste trae delle conclusioni sui fenomeni della lingua. L’approccio empirista è dominato dall’osservazione di dati autentici e naturali attraverso l’uso di corpora, che sono raccolte enormi di testi autentici. Si determina se una frase sia valida in un determinato linguaggio basandosi sui corpora. Gli empiristi privilegiano un rapporto induttivo, dai dati traggono le conclusioni, mentre chi opera nell’ambito del razionalismo segue un percorso opposto.

Pur accettando alcune abilità di base innate (associazioni mentali, riconoscimento pattern, generalizzazione degli esempi etc.) non postula alcuna abilità specifica nell’apprendimento delle lingue. Queste operazioni di base con gli stimoli sensoriali creano la competenza linguistica.

Competence e performance

Competence: Chomsky definisce la conoscenza linguistica che si assume abbia un parlante nativo di una determinata lingua. Performance: è la lingua autentica, effettivamente utilizzata, i testi scritti e i dialoghi effettivamente realizzati. I razionalisti privilegiano lo studio di competence, mentre gli empiristi per performance (per cui è importante il concetto di corpus).

Chomsky difende serratamente le sue convinzioni. Quando ha presentato il rapporto razionalista alla comunità scientifica ha attaccato ferocemente l’approccio empiristico:

• La performance è uno specchio molto limitato della competence.
• Una delle proprietà delle lingue storico naturali è di essere produttivamente infinite. Qualunque corpus sarà sempre una entità finita, quindi come rappresentante della performance sarà sempre parziale rispetto alla potenzialità della lingua. Alcune frasi non apparterranno al corpus perché ovvie o false o politicamente scorrette, quindi è solo una lista il cui unico criterio di inclusione è la frequenza; quelli infrequenti rischiano di non essere inclusi.
• Perché fare uno sforzo immenso a costruire al meglio i corpora da cui trarre i dati quando con il processo di introspezione posso ottenere gli stessi dati immediatamente?
• Senza ricorrere a giudizi introspettivi come posso distinguere una frase che non è ammissibile al sistema linguistico da una che è talmente infrequente da essere inserita nel corpus?

Risposte alle critiche di Chomsky

• In alcuni ambiti di indagine (fonetica, acquisizione del linguaggio) l’osservazione dei dati è l’unica scelta possibile.
• Le analisi basate sui corpora sono di tipo oggettivo, verificabile e riproducibile. Le conclusioni teoriche possono essere raggiunte e verificate da chiunque basandosi sui dati oggettivi, è un'analisi oggettiva riproducibile. I giudizi introspettivi consci sono soggettivi, invece.
• Se non troviamo un fenomeno nel corpus questo è un dato interessante sulla sua frequenza.
• A maggior ragione i processi basati sull’introspezione non potranno mai fornire valutazioni sulla frequenza; il cervello non registra informazioni sulla frequenza, quindi il processo introspettivo non potrà mai trarre conclusioni sulla frequenza di un certo fenomeno, informazioni che invece sono importanti per un linguista.

Analizzare un fenomeno linguistico

Con la visione empiristica per analizzare un fenomeno linguistico x nella varietà linguistica y devo:

• Procurarmi una base di testi (corpus ben fatto) relativamente alla varietà Y.
• Estrarre dal corpus tutte le occorrenze del fenomeno X.
• Analizzare le occorrenze del fenomeno X in modo da delineare regolarità che ci consentano di definire adeguatamente il fenomeno all’interno del corpus.
• Generalizzare le conclusioni tratte sul fenomeno X a partire dai dati del corpus all’intera varietà Y.

Legge di Zipf

Ha creato un’analisi statistica di come le parole si distribuiscono nei testi. Ha raccolto un corpus sulla cui base ha contato la frequenza delle singole parole, costruisce una lista di frequenza e la ordina dalla più frequente alla meno frequente. La posizione della parola nella lista è il rank. Si accorge che la frequenza è inversamente proporzionale al rank nella lista, quindi è rappresentabile da un’equazione di una iperbole equilatera (y= 1/x), quindi è una funzione decrescente ripidamente. Abbiamo, quindi, un numero molto limitato di parole ad altissima frequenza e tutte le altre a bassissima frequenza. Hanno un’alta frequenza le parole grammaticali (preposizioni, articoli, congiunzioni), il resto del lessico (nomi, verbi, aggettivi, avverbi) si trova nella coda della lista.

Noi siamo più interessati ad analizzare le parole lessicali e la legge di Zipf ci dice che avremo poche occorrenze di queste parole, troppo poche per un’analisi di tipo statistico. Quindi la legge di Zipf ci spinge a costruire corpora enormi per mitigare questa legge, la forma della curva è sempre la stessa ma si alza, quindi ho più occorrenze (sparse data problem: problema della scarsità dei dati).

Corpora

Se dobbiamo costruire un corpus per una determinata varietà linguistica dobbiamo essere attenti al concetto di rappresentatività. Bisogna operare una scelta sui testi da inserire nel corpus relativamente alla varietà linguistica, ed è una scelta fondamentale per i risultati che andrò ad ottenere; per farla devo studiare la popolazione dei testi che appartengono alla varietà che voglio studiare. La selezione che devo operare deve fare in modo che il corpus sia rappresentativo dei testi della varietà. Vogliamo generalizzare i risultati ottenuti dal corpus a tutta la varietà e possiamo farlo solo se creiamo un corpus rappresentativo.

Siamo interessati ad un campione che ci fornisca un’immagine il più accurata possibile delle tendenze della varietà, incluse le proporzioni. Dobbiamo costruire campioni di un vasto spettro di autori, genere, tipologie testuali per mediare le idiosincrasie. Un buon corpus è un buon campione in senso statistico.

Parametri quantitativi

Il corpus deve essere rappresentativo e bilanciato (dimensioni dei subcorpora e proporzioni tra loro, è un punto delicato). Bisogna definire le dimensioni globali del corpus, cioè la quantità di parole che voglio raccogliere; ci sono delle consuetudini: le dimensioni si decidono in base alla tipologia di varietà che rappresentiamo: per il linguaggio specialista sono circa una decina di milioni di parole, più è grande meglio è, ma costruirne di grandi è impegnativo, per una lingua nazionale è 100 milioni di parole. È importante anche la scelta delle dimensioni dei testi inseriti, quindi se inseriamo testi interi o porzioni di testi; oggi con i calcolatori di parole questa questione è meno sentita e si tende ad inserire il testo intero, se si prende in considerazione una grande quantità di testi. Ad esempio, i testi scientifici sono divisi in sezioni, come l’introduzione e la conclusione e per ogni sezione si usa un linguaggio diverso. È consigliabile scegliere testi corti invece che lunghi, perché quelli lunghi potrebbero influenzare il corpus.

Monitor corpus

Il CORIS nella sua prima versione (completato inizio 2000) conteneva materiali dell’ultimo ventennio del secolo scorso, allora era molto moderno e rappresentativo ma oggi non lo sarebbe più, non avrebbe rappresentato l’evoluzione del lessico degli ultimi venti anni. Ad esempio, tutta l’area semantica del terrorismo, della crisi, della pandemia. Il monitor corpus è una collezione di testi continuamente aggiornata, in modo da poter cogliere l’evoluzione della lingua dinamicamente.

Oggi parlare di corpus implica la manipolazione di documento in formato digitale. I corpora in formato elettronico sono manipolabili e consultabili in modo automatico, un corpus in formato cartaceo non preindicizzato richiede un lavoro immenso per la ricerca di un termine. I corpora in formato elettronico possono essere arricchiti con informazioni aggiuntive o annotazioni.

Una volta costruito un corpus diventa un riferimento per tutti gli studiosi del settore, consente analisi linguistiche e diventa uno standard. Inoltre, si possono fare analisi sviluppate con metodologie e approcci differenti le cui conclusioni possono essere confrontate. Un corpus quindi è una raccolta di testi, autentici e ricorrenti nell’uso in formato elettronico, selezionati come rappresentativi della varietà considerata. Quando si costruisce un corpus si disegna un campione di una determinata popolazione (in termini statistici). Biber ha studiato approfonditamente il concetto di rappresentatività:

• Delimitare i confini della popolazione considerata (indici bibliografici/catalografici come riferimento; archivi circoscritti come base di definizione).
• Definire la struttura gerarchica del corpus, ossia la sua composizione in generi testuali.
• Definita la popolazione è necessario fissare il numero di testi da inserire e le loro dimensioni (proporzioni tra i generi).

Annotazione dei corpora

Leech definisce l’annotazione dei corpora come la procedura che consente di aggiungere informazioni linguistiche di tipo interpretativo ad un corpus. L’annotazione permette di rendere esplicita, interpretabile ed esplorabile dal computer la struttura linguistica implicita nel testo. Le annotazioni di tipo linguistico non aggiungono informazioni al corpus, quindi se non la esplicitiamo sono informazioni che il calcolatore non riesce a recepire da solo. Annotare aumenta il contenuto informativo della risorsa linguistica e consente ricerche più mirate e sofisticate nel corpus (ad esempio "amo" usato come verbo è diverso da "amo" usato come sostantivo, quindi annotazioni per parti del discorso). Inoltre, consente di utilizzare il corpus come corpus di apprendimento/addestramento per metodologie computazionali che si basano su Machine Learning.

Procedure di annotazione

• Extra-testuali: metadati relativi al documento. Di solito inserite nella testata del documento, ma riguardano l’interno documento (autore, tipo, fonte, titolo, data di pubblicazione etc.).
• Testuali: linguistiche. Sono legate al testo e più nello specifico ai suoi elementi, possono riferirsi ad ogni livello dell’analisi linguistica (parti del discorso, lemmatizzazione, strutture sintattiche etc.).

Il nostro approccio è empirista e si basa sull’analisi di dati autentici (atti comunicativi autentici del parlante nativo della varietà che stiamo considerando). Se il corpus è rappresentativo e ben bilanciato allora può diventare uno standard di riferimento per la comunità ed i suoi dati sono oggettivi. Se inserisco annotazioni che esplicitano dati impliciti, queste annotazioni sono oggettive come il corpus? No, perché in linguistica non esiste una teoria di riferimento in grado di spiegare compiutamente tutti i fenomeni linguistici. Esistono diversi punti di vista e teorie di riferimento, non si è ancora trovato un accordo universale. Non si può creare un metodo universale anche perché bisogna adattarlo ad ogni singola lingua e anche ad ogni varietà. Una conseguenza di usare un testo annotato è che la descrizione prodotta dalle etichette non è osservabile se non attraverso il punto di vista di quel riferimento teorico, quindi l’intero corpus va analizzato secondo quell’etichetta. Ogni tipo di annotazione linguistica implica un processo di interpretazione del dato autentico alla luce di un preciso riferimento teorico o metodologico.

Leech ha identificato alcune norme di comportamento per una corretta annotazione dei corpora:

• L’annotazione dovrebbe essere separabile rispetto ai testi, dovrebbe essere possibile rimuoverla e tornare ai corpus di partenza o tenere separata l’annotazione dal testo in modo da non rischiare in alcun modo di corrompere il testo con le annotazioni. Oggi si usa il Metalinguaggio di Markup XML (2000) e ci permette di inserire le annotazioni senza corrompere il testo.
• Lo schema di annotazione deve essere disponibile all’utente (deve sapere la teoria di riferimento, le categorie di riferimento e le scelte operate nell’annotazione).
• Deve essere chiaro come e da chi è stata inserita l’annotazione. In caso di più annotatori anche la quantità di ciascuno. Se l’annotatore è automatico bisogna inserire una percentuale di errore stimata.
• L’utente dovrebbe essere avvertito che l’annotatore non è infallibile.
• Gli schemi di annotazioni dovrebbero essere basati su teorie largamente condivise o neutrali rispetto ad una teoria (utopistico per lo stato delle cose).
• Nessuno schema a priori ha ragione di essere considerato uno standard. In passato, invece, quando un gruppo di ricerca faceva uno sforzo immenso per annotare un corpus tendeva a dire che quello era lo standard poiché era stato il primo.

Linguistica computazionale

In linguistica computazionale sono presenti due tensioni: i linguisti che vogliono costruire applicazioni corrette da adattare universalmente; e gli informatici che vogliono costruire applicazioni per risolvere problemi rinunciando al modello linguistico.

Ci sono due piani:

• Di alto livello, teorico, di cui abbiamo parlato finora, che teoria proiettare sui dati, che categoria usare per classificare i miei dati.
• Dopo aver deciso le categorie per inserirle sui testi dobbiamo trovare un modo per poterlo fisicamente fare. A questo livello bisogna stare attenti a non corrompere i testi ed il metalinguaggio di marcatura XML consente l’inserimento nel testo di informazioni di tipo categoriale, strutturale e relazionale senza corrompere il testo. È un livello tecnico ed informatico, non linguistico.

Tipi di annotazioni

• Part of Speech Tag: si assegna ad ogni unità lessicale un codice che rappresenta la sua POS (part of speech).
• Lemmatizzazione: dopo aver etichettato la POS posso inserire anche annotazioni relative al lemma, utile perché in lingue con flessioni molto ricche come l’italiano si possono fare ricerche su categorie particolari come i verbi irregolari.
• Parsing (Phrase structure tree): è l’analisi sintattica, associa alle frasi qualche struttura formale che in qualche teoria sintattica ne rappresenta una struttura sintattica. Si identificano i costituenti.
• Annotazioni semantiche relative ai sensi degli elementi lessicali (parole polisemiche); relazioni semantiche tra gli elementi del testo (agente, paziente etc.). Posso annotare qualsiasi fenomeno linguistico di mio interesse.
• Annotazioni fonetiche/prosodiche (corpora di linguaggio parlato), quindi una trascrizione fonetica od ortografica (allineata temporalmente), intonazione con profilo continuo o con dei diacritici o con teorie di fonologia intonativa, prominenze (le sillabe percepite come salienti nell’enunciato), pause etc.

Parametri per la costruzione di un corpus

È importante calcolare quante volte si ripete la parola nel corpus, è un’operazione fondamentale che ci serve per estrarre dati per compiere dati, è l’estrazione delle concordanze. Sono tutte le occorrenze del fenomeno linguistico nel corpus, presente il contesto ed il co-testo. Ogni concordanza (o KWIC = Key Word In Context) è un esempio del reale, estratto dal testo, del fenomeno in uso. Le concordanze sono visualizzate dal programma, al centro c’è il nodo (la parola che cerco) con co-testo a destra e a sinistra. È utile alfabetizzare le concordanze (in base alla prima parola a sinistra) perché fa emergere un primo livello di regularità che posso individuare intorno al nodo.

Un collocato è una parola che sta nell’immediato co-testo del nodo in maniera statisticamente significativa, l’immediato co-testo vuol dire quattro parole a destra e quattro parole a sinistra.