Riassunto esame Linguistica, prof. Tamburini, libro consigliato Testo e computer, Lenci, Montemagni, capitoli 1-2, 7-8

Testo e computer: elementi di linguistica computazionale (Lenci-Montemagni)

1. I dati della lingua .................................................................................................... 1

2. Il testo e la sua decodifica digitale ......................................................................... 7

7. Esplorare il testo ................................................................................................. 11

8. L’annotazione linguistica del testo ...................................................................... 16

I dati della lingua

Competenze del linguista computazionale

• Capacità di selezionare e raccogliere i dati linguistici
• Conoscenza di metodi formali per l’analisi
• Padronanza di tecniche informatiche

Qui di seguito ci si occupa della raccolta dei dati e della loro rappresentazione in vista del trattamento automatico.

Dato linguistico = prodotto del linguaggio oggetto di un processo di analisi e che forma l’evidenza empirica su cui fondare lo sviluppo di modelli e teorie linguistiche (parole, frasi, enunciati).

Fonti di evidenza

• Testi dei parlanti di una lingua (qualsiasi prodotto dell’attività linguistica dei parlanti elaborato o trascritto come sequenza di caratteri) -> dati ecologici (il testo rappresenta l’habitat naturale dei dati linguistici, base dell’indagine linguistica tout court)
• Parlanti stessi (somministrazione di test) -> dati controllati (contesto dell’osservazione controllato, contesto sperimentale ad hoc, astrazione ed idealizzazione, controllo delle variabili)

La linguistica computazionale ha evidenziato la necessità di combinare i dati linguistici naturali con quelli controllati.

Corpus = collezione di testi selezionati e organizzati in maniera da soddisfare specifici criteri che li rendono funzionali per le analisi linguistiche.

I corpora testuali rappresentano la principale fonte di dati in LC.

Tipologia dei corpora e parametri

Fisionomia dei corpora.

Generalità

Dipende dalla misura in cui i testi sono stati selezionati in maniera trasversale rispetto a varietà diverse di una lingua.

• Corpora specialistici o verticali: grado minimo di generalità, testi appartenenti ad una specifica varietà linguistica, detta sublanguage, o ad un particolare dominio tematico (linguaggi settoriali o con particolari caratteristiche) e.g. Childes, fonte di dati per lo studio del linguaggio infantile.
• Corpora generali: spesso plurifunzionali con testi appartenenti a diverse varietà, comunità d’uso o registri linguistici -> quadro descrittivo della lingua nel suo complesso (creazione di modelli linguistici, lessici, grammatiche). Si configurano spesso come risorse trasversali di riferimento (reference corpora), spesso articolati in sottocorpora.

1

Modalità

Scritta o orale.

• Corpora di lingua scritta: contenenti testi originariamente prodotti in forma scritta (Coris, Parole, Brown Corpus).
• Corpora di lingua parlata: contenenti testi originariamente prodotti in modalità orale e poi trascritti (Childes).
• Corpora misti: contenenti in proporzioni variabili testi prodotti in modalità scritta e trascrizioni di lingua parlata (BNC).
• Corpora audio (speech databases): contenenti registrazioni audio di parlato, con o senza trascrizione (CLIPS, corpus audio dell’italiano parlato).
• Corpora multimodali o audio-visivi: contenenti registrazioni audio-video di scambi comunicativi.

Cronologia

Modo in cui i testi sono selezionati rispetto all’asse temporale.

• Corpora sincronici: contenenti testi appartenenti ad una stessa finestra temporale, selezionati per lo studio di una fase della lingua (Brown Corpus, La Repubblica).
• Corpora diacronici: contenenti testi appartenenti a periodi diversi, con lo scopo di monitorare il mutamento linguistico su scala micro o macrotemporale (Italnet, corpus del Tesoro della Lingua Italiana delle Origini).

Lingua

• Corpora monolingui: contenenti testi di una sola lingua.
• Corpora bilingui (o multilingui): contenenti testi di due (o più) lingue. Si distinguono ulteriormente in corpora paralleli (L₁ + L₂, L₁ è la lingua originaria e L₂ è la traduzione in altra lingua -> fonte di dati per lo sviluppo di sistemi di traduzione automatica) e corpora comparabili (contenenti testi originali in lingue diverse selezionati in base agli stessi criteri, confronto tra lingue rispetto allo stesso genere testuale o dominio tematico, e.g. Parole). I corpora paralleli si dicono allineati se le unità linguistiche dei testi L₁ sono esplicitamente collegate alle unità linguistiche nei testi L₂ (Canadian Hansards Corpus contenente testi francesi e inglesi allineati tratti dagli atti del Parlamento canadese); l’unità di allineamento tipica è la frase.

Integrità dei testi

• Testi interi -> massima naturalezza dei dati linguistici estraibili (Parole, Coris).
• Porzioni di testi (Brown Corpus, primo corpus elettronico progettato come riferimento per lo studio di una lingua, BNC): a volte la selezione di un frammento può incidere negativamente sulla naturalezza dei dati da estrarre. Viceversa ragioni di bilanciamento (vd. dopo) possono far preferire selezione di porzioni di testi di lunghezza uniforme.

Codifica digitale dei testi

Modo in cui sono rappresentati i testi digitali.

2

Ad esempio nei corpora codificati ad alto livello i testi sono arricchiti con etichette che ne rendono espliciti vari tipi di informazione, ad es. la struttura e la composizione. I corpora annotati sono quelli in cui le informazioni codificate riguardano la struttura linguistica del testo a diversi livelli di rappresentazione (morfologica, sintattica, semantica...).

Fondamentale è l’estensione di un corpus, misurata in base al numero di parole unità (token). I corpora sono comunque realtà chiuse. John Sinclair ha proposto di estendere la nozione tradizionale di corpus in uno strumento di monitoraggio linguistico: corpus di monitoraggio (o monitoring corpus) che è una collezione aperta di testi che muta nel tempo grazie all’introduzione di nuovi testi selezionati secondo gli stessi criteri usati per determinare la collezione iniziale (e.g. Bank of English, Coris, American National Corpus).

Il grado di adeguatezza di un corpus è determinato dall’interazione di due fattori: la dimensione quantitativa (estensione) e l’aspetto qualitativo (composizione ed organizzazione di un corpus). La linguistica dei corpora ha sostenuto la necessità di potenziare i corpora per quanto riguarda il controllo delle modalità di selezione dei testi (ottimizzazione dei criteri di selezione per ridurre l’eventualità che tratti linguistici rilevanti non siano rappresentati nel campione). Un corpus è fonte preziosa di informazioni sul modo in cui si distribuiscono i tratti di una lingua: corpus come campione di una lingua o di una sua varietà, statisticamente sottoinsieme di unità di una popolazione oggetto di studio selezionate per formulare generalizzazioni sull’intera popolazione di riferimento.

Rappresentatività = vincolo qualitativo e quantitativo sulla capacità del corpus di fornire un modello in scala delle proprietà di una lingua o di una sua varietà. La rappresentatività rispetto ad una data popolazione è il concetto chiave per qualificare una collezione di testi come corpus.

→ “Perché il corpus sia rappresentativo deve tenere traccia dell’intero ambito di variabilità dei tratti e proprietà di una lingua”. La distribuzione di quest’ultimi dipende in gran parte dalla tipologia dei testi.

Nel costruire un corpus rappresentativo di una lingua (o di una sua varietà) dobbiamo selezionare un campione di testi che “ci fornisca un’immagine il più accurata possibile delle tendenze della varietà in questione, comprese le loro proporzioni” (McEnery, Wilson, 2001, p.30).

È tanto più difficile selezionare in modo rappresentativo quanto maggiori sono trasversalità e generalità della lingua che il corpus deve rappresentare.

Il caso più semplice è rappresentato da corpora specialistici (corpora per lo studio della lingua di un autore, corpora di domini linguistici settoriali, corpora di testi che appartengono a generi particolari). In questi casi i parametri di variabilità interna, piuttosto limitati e comunque controllabili, consentono maggiore accuratezza nella selezione dei testi e un più alto grado di rappresentatività del corpus rispetto ai diversi tratti di una lingua.

Nel caso dei corpora generali la necessità di tenere traccia dell’ampio spettro di variabilità dei tratti linguistici si concretizza nel requisito del bilanciamento. È la condizione essenziale perché un corpus generale trasversale e plurifunzionale sia rappresentativo rispetto alle varietà di una lingua. Un corpus si dice bilanciato quando è “diversificato rispetto ad un ampio spettro di tipi testuali”.

3

Concetto di “tipo testuale” di difficile caratterizzazione; scopo: controllo della diversità che sia il più possibile rappresentata all’interno della stessa risorsa di informazione.

Mappa della lingua

• Confini spaziali e temporali.
• Tipologia dei testi (articolazione in strati della popolazione).

I criteri di bilanciamento sono diversi a seconda del corpus ma uno dei parametri più comuni è il dominio* tematico del testo. Un esempio di corpus bilanciato è il BNC in cui la popolazione testuale è articolata secondo le modalità di produzione:

• 90 milioni di parole di testi scritti, divisi in base al dominio* ed al medium.
• 10 milioni di parole di parlato trascritto, suddiviso in una parte “demografica” (trascrizioni di conversazioni spontanee bilanciate rispetto a sesso, età, regione di provenienza del parlante) ed in una “contestualizzata” (trascrizioni di parlato prodotto in situazioni o contesti comunicativi particolari).

Un bilanciamento corretto richiede una quantità consistente di testi selezionati per le diverse tipologie individuate nella popolazione.

In LC il corpus è fonte di evidenza per la definizione di modelli linguistici e lo sviluppo di strumenti informatici per l’elaborazione della lingua. Vi sono due tipi di evidenza: qualitativa (quali strutture, quali regole?) e quantitativa (quante volte un’espressione o struttura ricorre nel corpus).

Il limite intrinseco dei corpora consiste nel loro essere insiemi finiti di registrazioni di usi linguistici, nella loro parzialità e nel loro essere legati ad una particolare prospettiva di osservazione sui dati (≠ conoscenza umana del linguaggio infinita). Secondo Chomsky il modello offerto da un corpus è destinato ad essere fuori scala e distorto, con squilibrio nella distribuzione dei tratti linguistici, dovuto alle contingenze dell’uso e della selezione dei testi → corpus come fonte di “curiosità” linguistiche e non fonte di evidenza. La linguistica dei corpora ha ribadito la natura relativa della rappresentatività. Secondo la linguistica dei corpora il controllo degli aspetti qualitativi di un corpus è lo strumento fondamentale per migliorarne la rappresentatività (vd. supra). Un corpus presenta comunque aspetti di arbitrarietà e parzialità legati ai criteri scelti per caratterizzare la sua lingua. Il controllo dei criteri qualitativi di selezione dei testi perché migliori la rappresentatività del corpus deve sempre accompagnarsi alla consapevolezza dei limiti di questo processo (“ogni corpus è intrinsecamente sbilanciato”, Atkins et al., 1992). I criteri di campionamento di un corpus devono essere resi il più possibile espliciti e ben documentati.

La scelta di un corpus come fonte di evidenza può dipendere anche dalla misura in cui esso costituisce uno standard di riferimento (corpus come benchmark, punto di riferimento per una misurazione, dati di confronto) per un particolare tipo di applicazione o analisi linguistica. Tra i numerosi fattori che contribuiscono a fare di un corpus uno standard di riferimento vi sono la qualità del corpus, la sua facile disponibilità, la conoscenza della limitatezza dei dati e la sua composizione.

4

Oltre al grado di rappresentatività verso una lingua diventa importante il grado di rappresentatività per una comunità di ricerca perché sia possibile una migliore valutazione comparativa dei risultati. Un corpus che sia uno standard di riferimento deve avere dati testuali selezionati allo scopo di “mettere alla prova” i nostri programmi. Un esempio di standard di riferimento per molti tipi di analisi computazionali sulla lingua inglese è il BNC.

Nel caso dei corpora specialistici l’evidenza che essi forniscono è spesso generalizzabile soltanto in maniera limitata a causa dei tratti idiosincratici della loro popolazione di riferimento. A cambiare è il modo in cui si conduce l’analisi computazionale della lingua nel suo complesso. È possibile sviluppare modelli e strumenti operanti su ambiti linguistici ristretti ma che siano dotati della capacità di estendere ed adattare questa competenza a nuove varietà di una lingua. Secondo Biber non esiste una “lingua generale” ma ciascun registro ha i propri usi. Lo scopo del bilanciamento dei corpora generali consiste nel controllo della diversità, nel tentativo di rappresentarla il più possibile all’interno della stessa risorsa di informazione. Altrimenti si può concepire la competenza generale di una lingua come derivante dall’estensione delle competenze settoriali, ampliate e generalizzate grazie alla loro capacità di adattamento a nuove varianti. Si preferisce spesso sviluppare sistemi e modelli specializzati su domini linguistici locali (su dati provenienti da corpora verticali), dotando al contempo tali sistemi di capacità di adattamento linguistico sempre più sofisticate.

Nei settori della LC in cui si usano metodi di analisi stati