Riassunto esame Linguistica, prof. Tamburini, libro consigliato Testo e computer, Lenci, Montemagni, capitoli 1-2, 7-8

Testo e computer: elementi di linguistica computazionale

(Lenci-Montemagni)

1. I dati della lingua .................................................................................................... 1

2. Il testo e la sua decodifica digitale ......................................................................... 7

7. Esplorare il testo ................................................................................................. 11

8. L’annotazione linguistica del testo ...................................................................... 16

1. I dati della lingua

Competenze del linguista computazionale:

a) Capacità di selezionare e raccogliere i dati linguistici

b) Conoscenza di metodi formali per l’analisi

c) Padronanza di tecniche informatiche

Qui di seguito ci si occupa della raccolta dei dati e la loro rappresentazione in vista del

trattamento automatico.

Dato linguistico = prodotto del linguaggio oggetto di un processo di analisi e che forma l’evidenza

empirica su cui fondare lo sviluppo di modelli e teorie linguistiche (parole, frasi, enunciati).

Fonti di evidenza:

a) testi dei parlanti di una lingua (qualsiasi prodotto dell’attività linguistica dei parlanti

elaborato o trascritto come sequenza di caratteri) -> dati ecologici (il testo rappresenta

l’habitat naturale dei dati linguistici, base dell’indagine linguistica tout court)

b) parlanti stessi (somministrazione di test) -> dati controllati (contesto dell’osservazione

controllato, contesto sperimentale ad hoc, astrazione ed idealizzazione, controllo delle

variabili)

LC ha evidenziato la necessità di combinare i dati linguistici naturali con quelli controllati.

Corpus = collezione di testi selezionati e organizzati in maniera da soddisfare specifici criteri che li

rendono funzionali per le analisi linguistiche.

Corpora testuali rappresentano la principale fonte di dati in LC.

Tipologia dei corpora e parametri (fisionomia dei corpora):

Generalità: dipende dalla misura in cui i testi sono stati selezionati in maniera trasversale rispetto

a varietà diverse di una lingua.

a) Corpora specialistici o verticali: grado minimo di generalità, testi appartenenti ad una

specifica varietà linguistica, detta sublanguage, o ad un particolare dominio tematico

(linguaggi settoriali o con particolari caratteristiche) e.g. Childes, fonte di dati per lo studio

del linguaggio infantile.

b) Corpora generali: spesso plurifunzionali con testi appartenenti a diverse varietà, comunità

d’uso o registri linguistici -> quadro descrittivo della lingua nel suo complesso (creazione di

modelli linguistici, lessici, grammatiche). Si configurano spesso come risorse trasversali di

riferimento (reference corpora), spesso articolati in sottocorpora.

1

Modalità: scritta o orale.

a) Corpora di lingua scritta: contenenti testi originariamente prodotti in forma scritta (Coris,

Parole, Brown Corpus).

b) Corpora di lingua parlata: contenenti testi originariamente prodotti in modalità orale e poi

trascritti (Childes).

c) Corpora misti: contenenti in proporzioni variabili testi prodotti in modalità scritta e

trascrizioni di lingua parlata (BNC).

d) Corpora audio (speech databases): contenenti registrazioni audio di parlato, con o senza

trascrizione (CLIPS, corpus audio dell’italiano parlato).

e) Corpora multimodali o audio-visivi: contenenti registrazioni audio-video di scambi

comunicativi.

Cronologia: modo in cui i testi sono selezionati rispetto all’asse temporale.

a) Corpora sincronici: contenenti testi appartenenti ad una stessa finestra temporale,

selezionati per lo studio di una fase della lingua (Brown Corpus, La Repubblica).

b) Corpora diacronici: contenenti testi appartenenti a periodi diversi, con lo scopo di

monitorare il mutamento linguistico su scala micro o macrotemporale (Italnet, corpus del

Tesoro della Lingua Italiana delle Origini).

Lingua

a) Corpora monolingui: contenenti testi di una sola lingua.

b) Corpora bilingui (o multilingui): contenenti testi di due (o più) lingue. Si distinguono

ulteriormente in corpora paralleli (L + L , L è la lingua originaria e L è la traduzione in

1 2 1 2

altra lingua -> fonte di dati per lo sviluppo di sistemi di traduzione automatica) e corpora

comparabili (contenenti testi originali in lingue diverse selezionati in base agli stessi criteri,

confronto tra lingue rispetto allo stesso genere testuale o dominio tematico, e.g. Parole). I

corpora paralleli si dicono allineati se le unità linguistiche dei testi L sono esplicitamente

1

collegate alle unità linguistiche nei testi L (Canadian Hansards Corpus contenente testi

2

francesi e inglesi allineati tratti dagli atti del Parlamento canadese); l’unità di allineamento

tipica è la frase.

Integrità dei testi

a) Testi interi -> massima naturalezza dei dati linguistici estraibili (Parole, Coris).

b) Porzioni di testi (Brown Corpus, primo corpus elettronico progettato come riferimento per

lo studio di una lingua, BNC): a volte la selezione di un frammento può incidere

negativamente sulla naturalezza dei dati da estrarre. Viceversa ragioni di bilanciamento

(vd. dopo) possono far preferire selezione di porzioni di testi di lunghezza uniforme.

Codifica digitale dei testi: modo in cui sono rappresentati i testi digitali.

2

Ad esempio nei corpora codificati ad alto livello i testi sono arricchiti con etichette che ne

rendono espliciti vari tipi di informazione, ad es. la struttura e la composizione. I corpora annotati

sono quelli in cui le informazioni codificate riguardano la struttura linguistica del testo a diversi

livelli di rappresentazione (morfologica, sintattica, semantica...).

Fondamentale è l’estensione di un corpus, misurata in base al numero di parole unità (token). I

corpora sono comunque realtà chiuse. John Sinclair ha proposto di estendere la nozione

tradizionale di corpus in uno strumento di monitoraggio linguistico: corpus di monitoraggio (o

monitoring corpus) che è una collezione aperta di testi che muta nel tempo grazie all’introduzione

di nuovi testi selezionati secondo gli stessi criteri usati per determinare la collezione iniziale (e.g.

Bank of English, Coris, American National Corpus).

Il grado di adeguatezza di un corpus è determinato dall’interazione di due fattori: la dimensione

quantitativa (estensione) e l’aspetto qualitativo (composizione ed organizzazione di un corpus). La

linguistica dei corpora ha sostenuto la necessità di potenziare i corpora per quanto riguarda il

controllo delle modalità di selezione dei testi (ottimizzazione dei criteri di selezione per ridurre

l’eventualità che tratti linguistici rilevanti non siano rappresentati nel campione). Un corpus è

fonte preziosa di informazioni sul modo in cui si distribuiscono i tratti di una lingua: corpus come

campione di una lingua o di una sua varietà, statisticamente sottoinsieme di unità di una

popolazione oggetto di studio selezionate per formulare generalizzazioni sull’intera popolazione di

riferimento.

Rappresentatività = vincolo qualitativo e quantitativo sulla capacità del corpus di fornire un

modello in scala delle proprietà di una lingua o di una sua varietà. La rappresentatività rispetto ad

una data popolazione è il concetto chiave per qualificare una collezione di testi come corpus.

→“Perché il corpus sia rappresentativo deve tenere traccia dell’intero ambito di variabilità dei

tratti e proprietà di una lingua”. La distribuzione di quest’ultimi dipende in gran parte dalla

tipologia dei testi.

Nel costruire un corpus rappresentativo di una lingua (o di una sua varietà) dobbiamo selezionare

un campione di testi che “ci fornisca un’immagine il più accurata possibile delle tendenze della

varietà in questione, comprese le loro proporzioni” (McEnery, Wilson, 2001, p.30).

È tanto più difficile selezionare in modo rappresentativo quanto maggiori sono trasversalità e

generalità della lingua che il corpus deve rappresentare.

Il caso più semplice è rappresentato da corpora specialistici (corpora per lo studio della lingua di

un autore, corpora di domini linguistici settoriali, corpora di testi che appartengono a generi

particolari). In questi casi i parametri di variabilità interna, piuttosto limitati e comunque

controllabili, consentono maggiore accuratezza nella selezione dei testi e un più alto grado di

rappresentatività del corpus rispetto ai diversi tratti di una lingua.

Nel caso dei corpora generali la necessità di tenere traccia dell’ampio spettro di variabilità dei

tratti linguistici si concretizza nel requisito del bilanciamento. È la condizione essenziale perché un

corpus generale trasversale e plurifunzionale sia rappresentativo rispetto alle varietà di una lingua.

Un corpus si dice bilanciato quando è “diversificato rispetto ad un ampio spettro di tipi testuali”

3

(concetto di “tipo testuale” di difficile caratterizzazione; scopo: controllo della diversità che sia il

più possibile rappresentata all’interno della stessa risorsa di informazione).

→descrizione accurata della popolazione di riferimento.

Mappa della lingua:

a) Confini spaziali e temporali.

b) Tipologia dei testi (articolazione in strati della popolazione).

I criteri di bilanciamento sono diversi a seconda del corpus ma uno dei parametri più comuni è il

dominio* tematico del testo. Un esempio di corpus bilanciato è il BNC in cui la popolazione

testuale è articolata secondo le modalità di produzione:

a) 90 milioni di parole di testi scritti, divisi in base al dominio* ed al medium.

b) 10 milioni di parole di parlato trascritto, suddivisiso in una parte “demografica” (trascrizioni

di conversazioni spontanee bilanciate rispetto a sesso, età, regione di provenienza del

parlante) ed in una “contestualizzata” (trascrizioni di parlato prodotto in situazioni o

contesti comunicativi particolari).

Un bilanciamento corretto richiede una quantità consistente di testi selezionati per le diverse

tipologie individuate nella popolazione.

In LC il corpus è fonte di evidenza per la definizione di modelli linguistici e lo sviluppo di strumenti

informatici per l’elaborazione della lingua. Vi sono due tipi di evidenza: qualitativa (quali strutture,

quali regole?) e quantitativa (quante volte un’espressione o struttura ricorre nel corpus).

Il limite intrinseco dei corpora consiste nel loro essere insiemi finiti di registrazioni di usi linguistici,

nella loro parzialità e nel loro essere legati ad una particolare prospettiva di osservazione sui dati

(≠ conoscenza umana del linguaggio infinita). Secondo Chomsky il modello offerto da un corpus è

destinato ad essere fuori scala e distorto, con squilibrio nella distribuzione dei tratti linguistici,

dovuto alle contingenze dell’uso e della selezione dei testi → corpus come fonte di “curiosità”

linguistiche e non fonte di evidenza. La linguistica dei corpora ha ribadito la natura relativa della

rappresentatività. Secondo la linguistica dei corpora il controllo degli aspetti qualitativi di un

corpus è lo strumento fondamentale per migliorarne la rappresentatività (vd. supra). Un corpus

presenta comunque aspetti di arbitrarietà e parzialità legati ai criteri scelti per caratterizzare la sua

lingua. Il controllo dei criteri qualitativi di selezione dei testi perché migliori la rappresentatività

del corpus deve sempre accompagnarsi alla consapevolezza dei limiti di questo processo (“ogni

corpus è intrinsecamente sbilanciato”, Atkins et al., 1992). I criteri di campionamento di un corpus

devono essere resi il più possibile espliciti e ben documentati.

La scelta di un corpus come fonte di evidenza può dipendere anche dalla misura in cui esso

costituisce uno standard di riferimento (corpus come benchmark, punto di riferimento per una

misurazione, dati di confronto) per un particolare tipo di applicazione o analisi linguistica. Tra i

numerosi fattori che contribuiscono a fare di un corpus uno standard di riferimento vi sono la

qualità del corpus, la sua facile disponibilità, la conoscenza della limitatezza dei dati e la sua

4

composizione. Oltre al grado di rappresentatività verso una lingua diventa importante il grado di

rappresentatività per una comunità di ricerca perché sia possibile una migliore valutazione

comparativa dei risultati. Un corpus che sia uno standard di riferimento deve avere dati testuali

selezionati allo scopo di “mettere alla prova” i nostri programmi. Un esempio di standard di

riferimento per molti tipi di analisi computazionali sulla lingua inglese è il BNC.

Nel caso dei corpora specialistici l’evidenza che essi forniscono è spesso generalizzabile soltanto in

maniera limitata a causa dei tratti idiosincratici della loro popolazione di riferimento. A cambiare è

il modo in cui si conduce l’analisi computazione della lingua nel suo complesso. È possibile

sviluppare modelli e strumenti operanti su ambiti linguistici ristretti ma che siano dotati della

capacità di estendere ed adattare questa competenza a nuove varietà di una lingua. Secondo Biber

non esiste una “lingua generale” ma ciascun registro ha i propri usi. Lo scopo del bilanciamento

dei corpora generali consiste nel controllo della diversità, nel tentativo di rappresentarla il più

possibile all’interno della stessa risorsa di informazione. Altrimenti si può concepire la competenza

generale di una lingua come derivante dall’estensione delle competenze settoriali, ampliate e

generalizzate grazie alla loro capacità di adattamento a nuove varianti. Si preferisce spesso

sviluppare sistemi e modelli specializzati su domini linguistici locali (su dati provenienti da corpora

verticali), dotando al contempo tali sistemi di capacità di adattamento linguistico sempre più

sofisticate.

Nei settori della LC in cui si usano metodi di analisi stati