Riassunto esame Traduttologia generale, Prof. Di Buono Maria Pia, libro consigliato Dalla Zairja alla traduzione automatica. Riflessioni sulla traduzione nell'era digitale, Johanna Monti

EUROTRA.

In questo sistema vengono inseriti criteri di tipo socio-situazionale, come

l’accettabilità da parte degli utenti e quindi come viene percepito quel prodotto; di

tipo economico, come il tempo di lettura, di correzione e di traduzione; criteri

operativi, come l’identificazione automatica della lingua e la verifica delle

affermazioni del produttore.

Questa tendenza all’utilizzo di questi criteri innovativi viene anche confermata da un

volume degli anni ’80, chiamato Machine Translation: Linguistic characteristcs of

MT systems and general methodology of evaluation. In questo caso, viene definita

una metodologia per la valutazione della traduzione automatica dove essa non viene

vista solo come processo ma anche come prodotto. La valutazione viene fatta:

dall’utente per ciò che riguarda la valutazione linguistica del sistema in generale; poi

si ha la valutazione dei costi e dei benefici nell’utilizzo di questo sistema e infine c’è

una valutazione dal programmatore. 19

A partire dagli anni ’90, ci sono altre campagne di valutazione. Una di queste è quella

di ARPA (o DARPA) che è l’agenzia governativa che si occupa di progetti informatici

per scopi militari. Questa prima campagna di valutazione viene chiamata “black box”

ed è una valutazione dove non andiamo a vedere quali sono i vari processi intermedi

nel processo di traduzione automatica, ma valutiamo solo l’output rispetto all’input di

partenza.

La seconda campagna di valutazione è quella dell’EAGLES, dove si va a guardare il

prodotto nel suo insieme e come sta funzionando.

L’ISLE ha elaborato un framework per la valutazione della produzione automatica,

dove vengono specificati tutti i criteri da seguire.

Ci sono anche delle metriche basate sul giudizio umano, utilizzate principalmente

fino agli anni ’90. Una delle prime metriche è quella della “retroversione” o “back-

translation” che era una pratica molto diffusa ma poco affidabile. Questo tipo di

metriche erano utilizzate soprattutto per la traduzione automatica basata su regole

linguistiche.

Tra i parametri utilizzati dall’utente umano abbiamo: intelligibilità, accuratezza,

fruibilità, comprensione…

Le metriche manuali, dunque, danno un giudizio più qualitativo, dato che le metriche

automatiche ancora non sono capaci di fare questo tipo di valutazione. Queste

metriche si basano sul principio di similarità della traduzione automatica rispetto

alla traduzione umana. Tra i parametri quantitativi troviamo: precision, recall e F-

measure.

Per precision si intende il rapporto tra il numero delle previsioni corrette di un evento

sul totale delle volte che il modello lo prevede.

La recall misura la sensibilità del modello. È il rapporto tra le previsioni corrette sul

totale della lunghezza del testo di riferimento.

La F-measure ci aiuta a bilanciare questi due numeri e ad avere un risultato che possa

essere quanto più vicino alla realtà.

Una delle metriche più utilizzate si chiama Bleu e confronta i risultati della

traduzione automatica con un corpus di riferimento costituito da testi tradotti da

traduttori umani.

Un’altra metrica utilizzata è il Word Error Rate che viene utilizzata per i sistemi di

trascrizione, per verificare che i sistemi di trascrizione automatica rispetto a una

trascrizione fatta da un utente umano funzionino bene. Il calcolo da effettuare sarà: la

somma delle sostituzioni, cancellazioni e degli inserimenti, fratto la somma di tutte le

parole. 20

Il problema delle metriche quantitative è che non possono essere sempre rapportabili

tra loro perché possono produrre risultati differenti; non sono rapportabili al giudizio

umano; la valutazione si basa su informazioni molto povere e le metriche non

tengono conto di una serie di informazioni come la forma superficiale delle parole;

non è sempre chiara la provenienza di questa validazione e quali sono i corpora

utilizzati; non forniscono nessuna informazione circa le aree linguistiche critiche nei

testi prodotti dalla traduzione automatica; non sono utili nell’andare a individuare e

confrontare in maniera più dettagliata i punti di forza e di debolezza dei vari sistemi.

Sono stati poi elaborati degli approcci che cercano, anche in maniera più qualitativa

rispetto agli approcci automatici, di andare a riprendere i concetti precedenti, come

l’accuratezza e la fruibilità.

Questa metrica (MQM) fornisce delle informazioni sulla qualità della traduzione in

termini di accuratezza e fruibilità e consente anche di:

1. Identificare gli errori di un testo tradotto automaticamente o da un traduttore

professionista, quindi può essere applicato tanto alla traduzione automatica

quanto a quella umana;

2. Catalogare e contare gli errori usando criteri di qualità condivisi;

3. Adattare le categorie degli errori ai diversi tipi di processi di traduzione

professionale;

4. Essere anche un ausilio alla traduzione laddove utilizziamo la traduzione

automatica come primo passo e criteri di valutazione come metodi di

correzione per arrivare al prodotto finale in sostanza.

CAPITOLO 7- La traduzione automatica partecipata. Il contributo del

crowdsourcing

Crowdsourcing (“Crowd” = Folla, persone che partecipano ad un’attività +

“Outsourcing”= Esternalizzazione della Stessa.) è un termine usato per la prima volta

da Jeff Howe ed è l’attività partecipativa che si basa sul contributo di una moltitudine

di persone, volontariamente o a pagamento, circa varie pratiche come attività

collaborative su Internet che si affidano alla conoscenza delle persone per la

realizzazione di un servizio/bene.

Si tratta di una pratica molto radicata sul Web ed adoperata da aziende/organizzazioni

per raccogliere dati ed informazioni tramite le conoscenze di una massa indistinta,

come cittadini comuni, volontari senza conoscenze specifiche, ma anche

professionisti e specialisti, a seconda dell’attività da svolgere, secondo il principio: in

determinate circostanze i gruppi risultano essere più intelligenti dei singoli e delle

persone più intelligenti del gruppo. 21



Crowdsourcing nella Traduzione Gruppi di professionisti e non, a pagamento o su

base volontaristica, per svolgere principalmente attività di localizzazione, ed anche di

traduzione.

Uso dell’Intelligenza Collettiva in Traduzione=Pratiche di Traduzione su Larga Scala,

basandosi sul coinvolgimento attivo di Traduttori anche non professionisti. Ex.

Facebook tramite Crowdsourcing ha localizzato il suo Interfaccia in diverse lingue,

anche poco appetibili commercialmente parlando, a costo zero ed in brevissimo

tempo, tramite Volontari in tutto il mondo che hanno adoperato Translate Facebook

affinché la piattaforma fosse disponibile nelle loro lingue. L’Utente può scegliere la

Traduzione a suo parere migliore tra le varie proposte già registrate dal sistema,

oppure suggerirne una sua. L’utente che collabora ottiene dei Badge, una sorta di

remunerazione morale per il contributo dato alla piattaforma. LinkedIn ha provato ad

adoperare la medesima strategia di Facebook, pubblicando un questionario rivolto ai

suoi membri traduttori professionisti chiedendo la disponibilità di localizzare

gratuitamente il sito proponendo remunerazioni non economiche, ma ricevendo

dissensi e proteste.

Crowdsourcing è adoperato anche per la creazione di basi di dati utili per migliorare

le tecnologie per la traduzione, creando risorse ed informazioni su larga scala per un

interesse comune. Ex. Duolingo in Campo Linguistico.

Ad esempio, tra le piattaforme utili a raccogliere risorse in differenti lingue tramite il

contributo di un gruppo molto esteso di Crowd-Worker, sia esperti che non, a favore

del sistema, sicuramente la più popolare è Amazon Mechanical Turk ,in cui ogni

utente (Turker, utente che svolge tali micro attività) con un Account Amazon può

occuparsi sulla piattaforma di Micro Attività, remunerati con somme irrisorie.

Varie Forme di Crowdsourcing per la Raccolta di Dati Linguistici sono:

1) Lavoro Meccanizzato, si richiede l’esecuzione di un compito ben definito per

cui viene data ricompensa in denaro.

2) Wisdom of the Crowd, quando volontari si prestano liberamente a condividere

le loro conoscenze per eseguire dei compiti, rispondere a domande o spiegare

qualcosa ad altre persone Ex. Wikipedia.

3) Giochi con Scopo, in cui non sono richieste conoscenze specifiche e l’utente

immerso nel gioco deve effettuare scelte ben precise per vincere una competizione.

 Si tratta di Crowdsourcing Implicito, in cui gli utenti non sono consapevoli di

fornire un contributo, e in un gioco viene chiesto al giocatore di turno di produrre

delle parafrasi di una frase mostrata sullo schermo: se la parafrasi è già stata prodotta

da altri giocatori ottiene punti, altrimenti la parafrasi viene aggiunta a quelle

collezionate dal sistema. 22

Esiste, però, anche un Crowdsourcing Esplicito; il contributo degli utenti è fornito

consapevolmente: volontari occasionali e non professionisti possono eseguire il

compito, successivamente affidato a professionisti esperti per la revisione e

validazione, i quali sono pagati in modo convenzionale mentre i volontari, lavorando

gratuitamente, sono remunerati attraverso punteggi per l’esecuzione del lavoro e

forme di gratificazioni sociale. I contenuti da produrre sono condivisi sul Web, in

ambienti dedicati se ci si riferisce a professionisti oppure su siti aperti al pubblico se

la collaborazione proviene da volontari inesperti. Ex. Microsoft adotta questo

approccio per raccogliere dati attraverso il contributo degli Utenti di Bing Translator,

sviluppando meccanismi che consentano agli utenti autenticati di votare i

suggerimenti elaborati da altri utenti, in modo da ottenere una classifica dei

suggerimenti da usare. I contributi sono raccolti tramite: modalità di coinvolgimento

del personale di supporto della Microsoft per effettuare correzioni su qualsiasi

traduzione, attraverso un’interfaccia utente arricchita da un’opzione per effettuare

modifiche sui testi tradotti; e modalità in cui questa forma collaborativa è estesa

anche alla rete di sviluppatori microsoft a cui è permesso l’invio di correzioni.

In questo modo, le traduzione effettuate o riviste da traduttori più o meno esperti

consentono di migliorare i risultati prodotti dalle tecnologie, come mai era stato



possibile prima Vantaggio del Crowdsourcing.

Caso Chiave: Google Traduttore che consente ad ogni utente di suggerire una

Traduzione Diversa Da quella proposta nel sistema, per coinvolgerli nella

realizzazione di Risorse Preziose per il Sis