Esame completo Informatica umanistica

Informatica umanistica

Definizione

L'informatica umanistica (o Digital Humanities) è una disciplina nata a metà del 1950, con le prime applicazioni di analisi testuale. Il nome fa riferimento al fatto che le scienze umane, ovvero le cosiddette scienze molli, si stanno appropriando di strumenti informatici per produrre dei software, delle applicazioni che servono a migliorare lo studio e l'accesso alle informazioni. Abbiamo diverse definizioni di informatica umanistica:

• Costruzione e uso di tecnologie digitali avanzate e metodologie per condurre ricerca nelle scienze umane;
• Usare i media digitali per esplorare, creare, analizzare e decodificare significati nei prodotti culturali;
• Una maniera di esplorare un testo su livelli multipli, affinché vi sia una comprensione perfezionata.

Obiettivi

Utilizzare le tecnologie informatiche per trasformare un oggetto analogico in formato digitale (come l’OCR) non è l’unico compito delle Digital Humanities. Gli studiosi cercano soprattutto di analizzare gli aspetti differenti di un testo, o di un altro oggetto delle scienze umane, attraverso l’analisi letteraria o linguistica, che sono metodologie proprie delle scienze umane. È quindi una coniugazione della testualità con l’informatica, intesa come scienza dell’elaborazione dell’informazione.

Il compito delle DH è inserire i dati in una rete di conoscenza che permette di connetterli ad altri oggetti della conoscenza, adeguandoli alle macchine. Bisogna quindi trasformare gli oggetti in questione secondo delle regole ben precise, adottando il linguaggio delle macchine, ovvero quello binario (in cui 0 è l’assenza di impulso e 1 è la presenza).

Esistono vari aspetti da tenere in considerazione:

• I metodi → la modalità dell’approccio computazionale a una fonte di informazioni che riguarda l’analisi, il trattamento, l’elaborazione e l’uso da parte dell’utente;
• I modelli → i sistemi formali che sono più adatti a descrivere una sorgente di dati;
• I sistemi di formalizzazione → riguardano i linguaggi formali;
• Gli strumenti teorici, metodologici e tecnici → la realizzazione di sistemi informatici, che possano trattare oggetti digitali complessi.

Convenzionalmente si utilizza il 1949 come anno di nascita di questa disciplina. Un ecclesiastico, Roberto Busa, decise di lavorare sulla Summa Tehologiae di Tommaso d’Aquino e in assenza di computer, lo fece manualmente. Questo lavoro gli avrebbe occupato 30 anni della sua vita, e c’era il rischio di incappare in numerosi errori. Per questo motivo, entrò in contatto con il presidente IBM Thomas Watson, al quale chiese di utilizzare i calcolatori dell’IBM per terminare quest’analisi, che riguardava circa 9 milioni di parole.

Precedentemente, anche Alan Turing, considerato padre dell’informatica moderna, utilizzò i calcolatori. La sua opera iniziò a metà degli anni ’30 e lavorò sugli aspetti della crittografia (tecnica con la quale si codifica il linguaggio naturale con dei numeri o un linguaggio artificiale). Negli anni ’80 fu creato un linguaggio standard per il markup generalizzato (SGML). Questo linguaggio diventa uno standard ISO, riconosciuto ufficialmente, quindi condivisibile. All’inizio degli anni ’90 viene proposto il progetto per rendere in formato elettronico l’opera del Beowulf.

Word Wide Web

Il Word Wide Web nasce nel 1991 e diventa presto necessario diffonderlo, così come i PC. Questo avvento cambia drasticamente le DH, poiché aumenta la disponibilità di materiali accessibili a tutti. Abbiamo un passaggio dal Web 1.0 al 3.0 che si può riassumere in:

• Web 1.0 – Content delivery → dal 1991 ai primi anni del 2000. In questa fase i contenuti sul web sono statici, prodotti da una fonte top-down, ed è detta fase della consegna dei contenuti (content delivery)
• Web 2.0 – Sharing/User generated content → fase in cui l’utente, da ricettore passivo di informazioni, inizia a produrle. In questa fase nascono i blog e i social media.
• Web 3.0 – Semantic Web → dal 2010 fino ad oggi; è chiamato anche web semantico ed è ciò che si crea adesso, poiché si è in grado di processare certi contenuti.

AIUCD

L’AIUCD (associazione per l’informatica umanistica e cultura digitale) ha il compito di diffondere la riflessione metodologica e teorica, lo sviluppo di determinate pratiche, risorse e strumenti condivisi. Vengono studiati anche fenomeni che riguardano le culture digitali e l’analisi di modifiche nella comunicazione scientifica e infrastrutture di ricerca.

Linguistica computazionale vs informatica umanistica

“La Linguistica Computazionale è una disciplina scientifica e ingegneristica che ha a che fare con la comprensione del linguaggio scritto e parlato da una prospettiva computazionale e ha a che fare con la costruzione di artefatti che processano e producono in maniera automatica il linguaggio, in diversi setting”.

Quando si parla di linguistica computazionale, si pensa a Harris che aveva scritto una grammatica dell’inglese su basi matematiche. C’è una vicinanza tra linguaggio naturale e matematica, perciò ne consegue la possibilità di processare il linguaggio attraverso dei simboli. La linguistica computazionale si occupa principalmente di creare regole descrittive del linguaggio naturale in modo da poterlo rappresentare in un formato adatto al suo trattamento (semi)automatico da parte delle macchine.

La linguistica computazionale quando si intende che si occupa di linguaggio naturale (NLP) è costituita di due processi: fase di understanding (comprensione) e fase di generation (produzione): si crea conoscenza attraverso la comprensione del testo o del linguaggio; si genera linguaggio e si crea conoscenza che avviene in questo scambio tra understanding e generation; questo è proprio ciò che devono fare le macchine. La Linguistica Computazionale si basa sulla linguistica formale, ossia sulla rappresentazione e formalizzazione del linguaggio naturale; essa si incentra inoltre sulla matematica, sulla logica, sulle scienze cognitive e sull’informatica.

Sotto un profilo applicativo, essa si fonda su tecnologie sviluppatesi nell’ambito della linguistica applicata, della rappresentazione della conoscenza e dell’intelligenza artificiale. La Linguistica Computazionale, pertanto, lavora sulla rappresentazione delle informazioni e sulla conoscenza, dunque sul modo in cui le macchine possano processare il linguaggio di formazione. I risultati ottenuti vengono adottati dalle Digital Humanities al fine di descrivere ed elaborare grandi quantità di dati testuali, arricchiti attraverso annotazioni linguistiche, col proposito di apportare migliorie riguardo il trattamento automatico delle informazioni. Tra questi si cita l’interpretabilità, legata al senso di comprensione; l’usabilità, legata a termini di accessibilità e infine l’interconnessione, relazionata al modo in cui si riesca a trasmettere, processare ed interconnettere conoscenza.

Gli aspetti fondamentali sono:

• Gli strumenti di accesso multilingue ai contenuti
• Traduzione automatica

Tra le varie applicazioni di cui si occupa la linguistica computazionale troviamo:

• L’analisi del testo;
• Il recupero d’informazioni;
• Le tecnologie per la traduzione e per il multilinguismo

All’interno di questi tre domini esistono dei task molto più specifici, come i motori di ricerca, il riconoscimento delle mail spam, il riconoscimento del sarcasmo, gli agenti conversazionali (chatbot), traduzione automatica e Sentiment Analysis.

I dati della linguistica computazionale dunque sono dati testuali. Bisogna pertanto attuare una distinzione tra ciò che si denomina:

• Word form o “forma di parola” → la parte superficiale della parola, dunque la rappresentazione linguistica del concetto (cat-cats sono due word forms differenti corrispondenti uno a un termine singolare e l’altro al plurale);
• Lemma → la parte concettuale e dunque più profonda di significato.

I testi si descrivono in termini di type e token.

• Type → elemento del vocabolario, costituisce la dimensione dell’insieme dell’etimologie;
• Token → istanza del Type nel testo in questione o realizzazione del Type

La linguistica computazionale lavora su dati testuali, ai quali sono compresi anche gli enunciati. Vi è dunque una distinzione tra:

• Dati ecologici → dati esistenti in natura, raccolti e utilizzati. Il processo viene definito “bottom-up” ossia “dal basso verso l’alto”. I dati esistenti, dunque, vengono studiati e analizzati a seconda del contesto. Il vantaggio è che sono privi di bias, di deformazioni, ma potrebbero non essere puliti, dunque non tutti sono utilizzabili immediatamente e direttamente.
• Dati controllati → dati elaborati tramite un processo di produzione “top-down” per un task specifico. Non sono dati del tutto naturali, vengono posti assieme in maniera artificiale e sono utilizzabili facilmente.

Apprendimento macchina

L’apprendimento macchina è un sistema per il quale le macchine a partire da dati conosciuti riescono a produrre nuova conoscenza. Diamo alla macchina questi esempi, come l’utente potrebbe formulare una domanda per avere delle informazioni e a partire da questi dati la macchina dev’essere in grado di riconoscere dei dati nuovi mai visti. Quindi, si da un piccolo set di dati conosciuti che ci si immagina come prima ipotesi e si dice alla macchina: “questi dati significano questo”.

Un importante contributo che ha dato la spinta alle Digital Humanities è la disponibilità di contenuti e di dati su cui lavorare. Esistono i cosiddetti “open data” che sono i dati aperti, cioè i dati prodotti per istituzioni pubbliche e resi disponibili perché i dati aperti così come i dati giusti, “fair data”, fanno parte di uno sviluppo sostenibile ed equo delle informazioni e della conoscenza.

Il Publication Office dell’Unione Europea, ha lanciato nel 2017 il Datathon, è una competizione basata sui dati. Il Publication Office mette a disposizione un portale di open data europei dove i provider, le istituzioni, forniscono le loro informazioni, L’Unione Europea poi li raccoglie tutti in un grande portale che si chiama Open Data Europa e li mette a disposizione dei ricercatori delle persone che vogliono utilizzarli.

Processamento base dei testi

Il processamento base dei testi si riferisce a delle operazioni preliminari che si effettuano su testo prima di procedere con analisi più specifiche relative a determinati task. Esiste un problema di lemmatizzazione e di forme di parola. Se noi produciamo una frase nel linguaggio naturale, Alexa inizia con una lemmatizzazione. C’è un problema anche sulla lemmatizzazione e le Word Form, si è fatta una distinzione dove, ad esempio, in una frase ci sono delle ripetizioni e ci si chiedeva come considerare le parole e dire quante parole ci sono nella frase se la parola è ripetuta. Si è giunti alla conclusione in cui si afferma l’esistenza di una differenziazione tra il lemma e i lemmi e le Word Form, dove le Word Form sono la rappresentazione superficiale del linguaggio, mentre il lemma è la parte sotto, cioè la parte di significato. Un altro problema è quello dei Token, ovvero quanti Token ci sono in una frase e quanti Type ci sono nella frase e la differenza che esiste tra Type e Token, dove Type è l’elemento che si trova all’interno del vocabolario. I Token sono le istanze, ovvero la realizzazione di un Type all’interno del testo. Di conseguenza da un punto di vista linguistico probabilmente verranno chiamati “lemma” e Word Form, e nella parte di trattamento automatico del linguaggio, si parlerà di token.

Corpora

La parola “corpus” ossia corpo, si riferisce a una raccolta di testi digitali. Quest’ultimi possono possedere alcune caratteristiche:

• Autore/i
• Momento storico
• Varietà (libro, romanzo, saggio)
• Lingua specifica
• Funzione

Queste informazioni sono essenziali al fine di riuscire a contestualizzare le parole. Le caratteristiche da esso possedute influenzano la conoscenza, il linguaggio utilizzato e il tipo di trattamento a esso correlato. Il corpus è una raccolta in formato elettronico di materiale linguistico. Il materiale linguistico ha lo scopo di servire da base per la ricerca linguistica. I testi pertanto vengono raccolti sotto forma di corpus, selezionando i dati di modo che siano rappresentativi di un fenomeno.

I corpora possono variare in base alla:

• Lingua;
• Varietà → rilevanza di varietà linguistiche;
• Code switching → cambiamento di un codice, ossia il passaggio da una lingua ad un’altra che avviene dallo stesso parlante e si verifica maggiormente in culture di confine;
• Genere → fiction, articoli scientifici, romanzi;
• Informazioni demografiche → età, genere, etnia

I corpora vengono suddivisi per mezzo del/della:

• Mezzo di veicolazione della lingua → corpora scritti o parlati (considerano l’asse diamesico come criterio di veicolazione della lingua)
• La tipologia di testi→ generici o specialistici;
• Asse temporale → sincronici o diacronici;
• Numero di lingue → monolingue o multilingue;

I corpora multilingui si dividono a loro volta in due tipologie:

• Comparabili → contengono lo stesso testo tradotto in più lingue;
• Paralleli → corpora allineati, posseduti da una stretta corrispondenza e contenenti un’informazione aggiuntiva. Un’unità traduttiva di una lingua viene posta a paragone con un’unità minima di significato dell’altro testo. Materialmente si ha la frase in una lingua e la frase nell’altra e sono messe vicino, quindi si riconosce quale unità di una certa lingua corrisponde all’unità nell’altra lingua. La differenza tra comparabili e paralleli è che in realtà si sa dove sta la traduzione, come se fosse un testo a fronte. Si sa precisamente che se si prende la prima frase in italiano, composta per esempio da 10 tokens, quella corrisponde a una frase in francese composta da 12 tokens. I corpora paralleli si usano per le traduzioni automatiche in quanto si sa precisamente che corrispondenza c’è.

I corpora si usano per le “liste di frequenza”. Traggono informazioni su quanto frequentemente un lemma occorre all’interno di un testo. I numeri più elevati si riferiscono prettamente a parole funzionali. Altro aspetto fondamentale sono le concordanze, estraibili dal testo. Padre Busa di fatto voleva studiare i concetti religiosi espressi da Tommaso D’Aquino.

Con Clarin si fa riferimento a un’infrastruttura fisica, creata a livello europeo e poi sviluppata per ogni singolo paese, sia materiale che immateriale. Materiale perché devono esistere gli elaboratori che siano in grado di processarlo, immateriale perché esistono anche le risorse linguistiche. Il dato è accessibile in maniera non materiale attraverso questi portali. È un’infrastruttura digitale che offre dati, strumenti e servizio per tutto quello che riguarda le risorse linguistiche.

I Token costituiscono il vocabolario di un certo testo, quindi il vocabolario è formato da un insieme di Type e la dimensione di questo vocabolario è dato dal numero di Type che ci sono. Ogni task di TAL richiede una normalizzazione del testo:

• Tokenizzazione delle parole
• Normalizzazione del formato delle parole
• Segmentazione delle frasi

Innanzitutto si effettua una normalizzazione del testo, che prevede tre momenti: una tokenizzazione (si trasforma la frase da linguaggio naturale in token); una normalizzazione del formato delle parole e una segmentazione delle frasi. Bisogna riconoscere le frasi e le parole per poi andare a vedere cosa esse significano nella realtà.

Tokenizzazione

La tokenizzazione è un modo per indicare alla macchina quali sono le parole all’interno di queste sequenze, caratteri e spazi bianchi. Si considerano gli spazi bianchi per quelle lingue che li utilizzano per separare le parole come indice di token.

Quando si tokenizza un testo, il processo che si sta facendo è quello di indicare alla macchina che quello che c’è fra gli spazi bianchi rappresenta una parola, quindi al livello successivo si può dire che rappresenta un “pezzo” di informazione. Nei sistemi di lingua che utilizzano gli spazi per separare le parole, basta contare quanti gruppi di caratteri ci sono fra due spazi bianchi. Di conseguenza contiamo le sequenze che si trovano fra gli spazi bianchi. La tokenizzazione, infatti, riguarda anche quelle lingue che non utilizzano gli spazi bianchi tra le parole (come ad esempio il cinese, il giapponese o il thai), per cui non possono essere utilizzati gli spazi bianchi per distinguere dove inizia e dove finisce una parola. La tokenizzazione può essere fatta in diversi modi, a seconda di come viene il significato cambia.

Ci sono lingue per cui la tokenizzazione non è semplice. In Cinese è uso comune considerare ogni carattere (zi) come un token. In altre lingue (come Thai e Giapponese), è necessario applicare una segmentazione di parole più complessa. Perché anche l’utilizzo del semplice carattere per identificare una parola non risolve il problema.

I problemi relativi alla tokenizzazione sono diversi, esistono una serie di aspetti che causano un contrasto con quello che si è detto riguardo gli spazi bianchi.