Appunti di lezione Psicolinguistica

Supervisionato e non supervisionato

Supervisionato

Supervisionato algoritmo → la rete impara a fornire output appropriati (risposte) per ogni input (stimolo d'ingresso). Definisce l'output che ci si aspetta dato un certo input. Si addestra sulla coppia input/output.

Supervisionato viene addestrata attraverso un insieme di esempi (training set) dove viene controllata la corrispondenza e poi testata dove la rete deve replicare il mapping input/output. Utilizzata specialmente per task di classificazione, essendo supervisionata deve essere accurata.

Nella super si insegna alla rete a fornire una certa risposta dato un certo input.

Non supervisionato

Non supervisionato → non cerca un mapping tra input/output, ma analizza che tipo di struttura ha percepito essere comune all'input. Classifica autonomamente pattern ricorrenti.

Non super non ci sono dati di training, si valuta solo l'organizzazione, il compito di clustering, dell'emergenza di caratteristiche per raggruppare i dati. La non super ha un tipo di auto organizzazione di emergenza di eventuali pattern che possono essere ricorrenti nell'input.

Propagazione del segnale

Propagazione del segnale → propagazione feedforward a uno strato: solo input lay con propagazione in avanti sui nodi di output. Abbiamo reti a più strati, con hidden layer che hanno mapping tra input e output. La propagazione può essere anche backward, ovvero segnale all'indietro affinché una certa risposta si adatti al contesto. Può essere ricorrente, senza meccanismo avanti/indietro; propagazione del segnale diversa dalle altre, propagazione ciclica. Ogni nodo è connesso con tutti gli input, incluso sé stesso, in ciò sta la ricorrenza.

Non esiste il modello migliore in assoluto, non ha senso ragionare così, esiste solo modello più adatto per quello che è lo scopo. Il principio dell'autorganizzazione è quello che più risponde all'obiettivo di descrivere le connessioni del nostro cervello, poiché all'inizio è molto casuale.

Auto organizzazione

Auto organizzazione → nel nostro cervello la risposta coinvolge non soltanto un singolo neurone ma un cluster di neuroni vicini. Se si danneggiasse un neurone, il suo spike in questo modo può essere organizzato da un altro neurone vicino. Le auto organizzate mimano il comportamento di cluster di neuroni. Queste reti sono utilizzate per riconoscere caratteristiche comuni nell'input e la dinamica è quella quanto più simile a quello che sappiamo al comportamento del neurone corticale. Il meccanismo di competizione c'è lo stesso, il nodo vincente è quello che miglior risponde all'input.

Plasticità neurale → postulato di Hebb, sincronia attivazione spike del neurone successivo. Dato lo spike di A, già si preattiva la connessione con il neurone B. Questo meccanismo reiterato nel tempo porta alla specializzazione di una data connessione. Il potenziamento di AB rispetto a una saltuaria come AC, porta al decadimento di AC.

Mappe temporali auto-organizzanti → [guardare meglio le slides].

Apprendimento

Come avviene apprendimento? Apprendimento discriminativo → [guardare slides]. Alla fine dell'apprendimento, dato A quanto fortemente è atteso X. Con il valore che si dà, si stabilisce la forza di quella connessione.

Parole chiave nell'auto organizzazione

• Competizione → nodi sono attivati, ma solo uno è quello vincente.
• Organizzazione spaziale → nodi vicini si attivano per input simili.
• Correlazione temporale → I nodi si attivano in successione e data la sequenza precisa si rafforzeranno sempre di più.
• Specializzazione → quanto è forte quella connessione tanto sarà da indice per la specializzazione.

La codifica

Le parole possono essere definite come sequenze di simboli concatenati fra loro. Ortogonale → ogni simbolo è nettamente diverso da tutti gli altri, questo fa sì che ci sia una diversa codifica per vocali e consonanti. One hot vector: tutti i bit sono a zero e uno solo è acceso, però non possibile in rappresentazioni fonologiche dove possiamo avere più bit accesi.

Possiamo immaginare che una rete auto organizzata mette in evidenza i pattern più frequenti e possiamo quantificare il radicamento delle risposte in catene di risposte a lungo termine.

GUARDARE DI NUOVO SLIDES E LEZIONE REGISTRATA.

Emergenza struttura morfologica

Grafici di regressione non lineare, con esperimento russo con richiesta ai soggetti di produrre singolare presente partendo da infinito mostrato su PC, poi misurata attivazione neurale. Alla fine del lavoro si conclude che la maggior attivazione di più aree coinvolte nella produzione di una forma irregolare, maggior costo cognitivo nel produrre forma richiesta. I modi di elaborare forme regolari e irregolari sono diverse. C'è una differenza quindi tra sforzo in forme regolari e irregolari.

Possiamo calcolarci la predizione, l'attesa. La frequenza di una parola modula un vero e proprio gradiente. La token frequency è il cosiddetto effetto maggiore. Nel grafico mostrato nelle slide, le parole che all'inizio vengono più memorizzate sono quelle più frequenti. Man mano sono memorizzate quelle meno frequenti. Le frequenze sono corpus-based, basate su un corpus.

Confronto tra 2 addestramenti: Uniforme e corpus based.

• Uniforme: stessa tipologia di rete, le forme flesse italiano mostrate in condizione di frequenza di forme.
• Corpus-based: basate su un corpus. Dal grafico slides.

Distinzione importante tra paradigmi regolari e irregolari. Sbilanciamenti di frequenza per paradigmi regolari sono compensati da quella che è una struttura regolare, il compito di memorizzazione è facilitato. Nei paradigmi irregolari l'andamento è diverso. Quindi la token frequency è un supporto per forme irregolari, l'alta frequenza tiene in vita l'irregolarità.

Nel complesso queste simulazioni indicano una dinamica con più fattori, determinata da realtà paradigmatica e che modulano il processo di organizzazione morfologica, assimilando che la capacità della rete di predire sia una misura indiretta. La percezione modula le strategie di memorizzazione ed elaborazione, non è altro che la faccia dell'evidenza strutturale di un dato, quanto più è saliente la struttura di 2 forme più è percepibile.

Bilinguismo

Bilinguismo → ottimo campo di studio, perché esposizione a più di un lessico offre un contesto in cui alcuni effetti possono essere indagati più facilmente. L'evidenza sperimentale neurolinguistica va nella strada che il nostro cervello è adattivo, dove l'input interferisce sulla percezione e le capacità cognitive nonspecifically linguistiche entrano in gioco nel processo di elaborazione e memorizzazione.

Elaborazione e memorizzazione sono 2 facce della stessa medaglia. L'elaborazione beneficia della memoria massimizzando l'opportunità di riadattare strategie efficaci, come sono rappresentate 2 o più lingue nel cervello?

Grazie allo sviluppo di fMRi sempre più sofisticate si è cercato di dare una risposta sperimentale a questa domanda. Diverse aree corticali si co-attivano a seconda del compito lessicale. Le aree che si attivano in un compito di lettura a voce alta sono diverse da quelle a voce bassa nonostante l'obiettivo sia lo stesso. Gli studi hanno evidenziato che le aree che maggiormente si attivano nei bilingui in una L2 sono leggermente diverse e separate nel caso in cui il soggetto sia un apprendente tardivo, nel caso di apprendenti precoci le attivazioni sono più sovrapponibili.

Non vi è separazione nel livello dell'area di Wernicke. La nostra rappresentazione non cambia se la parola gatto in ogni lingua indica lo stesso referente, perciò in Wernicke non abbiamo separazione. In quella che mi consente di produrre, Broca, le aree di attivazione sono diverse, perché vi è una diversa composizione della parola.

L'età di apprendimento è un fattore significativo nel determinare l'organizzazione delle parole nel cervello, nell'area di Broca. I bambini hanno rappresentazioni già dei primi mesi, tramite aspetto fonetico; perciò, riconosce i fonemi e inizia a creare rappresentazioni già nel primo anno nell'area di Broca.