Domande aperte esame Psicologia Generale 2, prof. Reverberi, libro consigliato Psicologia Generale, Cherubini

Domande aperte capitolo 7 – Apprendere per esperienza diretta

Delta p + esempi

Indica la forza della relazione tra il segnale, cue (S) e la sua conseguenza, outcome (C). Se il suo valore è positivo, allora la presenza del segnale produce un incremento di aspettativa della conseguenza. Se è negativo, genera un decremento dell’aspettativa. Se è nullo indica che S e C non hanno alcuna covariazione reciproca: S non induce né un aumento né una riduzione dell’aspettativa di C.

ΔP = P(C|S) – P(C|¬S)

La stima del ΔP è considerata uno degli scopi (quello di previsione) dell’apprendimento basato su dati statistici. Il ΔP è anche un importante indizio della possibile causalità dell’evento segnale (S), verso l’evento conseguenza (C), contribuendo a perseguire il secondo scopo: quello di valutare l’opportunità di intervenire attivamente per fare in modo che S si presenti o meno, al fine di provocare, o non consentire C. Per stimare la causalità si usa la funzione di potenza del ΔP, cioè la funzione power (pow) che è una potenza del contrasto di probabilità.

In conclusione, il ΔP è quindi un sensato indizio di causalità, e di opportunità di intervento, solo ove sia scontato l’effetto di possibili concause. La stima del grado di causalità di un evento S verso un evento C è importante per determinare se quell'organismo cercherà o meno di intervenire su S per ottenere o evitare C. La stima dipende anche dagli assunti relativi alle strutture causali.

Pow

Il pow è la funzione potenza del contrasto di probabilità. Indica la forza stimata dell’esistenza di un nesso di causalità tra due eventi. L’incremento o il decremento dipende dalla probabilità condizionale di un evento.

La corretta stima degli effetti causali di S deve riferirsi a quanto S renderebbe probabile C non in qualche contesto specifico, dove possono agire altri fattori causali, ma in una situazione ideale, dove S sia il solo fattore causale presente.

pow = ΔP/[1-P(C|¬S)] pow per cause generative (ΔP>0)
pow = ΔP/P(C|¬S) pow per cause preventive (ΔP<0)

La funzione di potenza del ΔP è corretta e sensata se e solo se la potenziale causa S la cui forza si sta stimando è indipendente dall’insieme di tutte le concause che possono provocare il medesimo effetto C.

Noisy OR

Le diverse concause di uno stesso effetto possono combinarsi in una quantità di modi virtualmente infinita. Ciascuna di queste modalità è una struttura causale. Nel caso “standard”, o delle cause indipendenti, le probabilità delle concause si combinano secondo la funzione detta noisy OR (disgiunzione probabilistica)

La funzione disgiuntiva probabilistica noisy OR è identica a una somma booleana, solo che, invece dei valori dicotomici 0 o 1, ogni argomento esprime la probabilità che A sia vero, e la probabilità che B sia vero.

P(A v B) = P(A) + P(B) – P(A) x P(B)

Applicando la noisy OR alla probabilità con cui ciascuna causa S, indipendentemente dall’altra, può provocare la conseguenza C, otteniamo:

P(C) = P(C|S₁ ) + P(C|S₂ ) – P(C|S₁ ) x P(C|S₂ ) struttura di cause indipendenti

In termini di grafi bayesiani, due cause indipendenti di uno stesso effetto sono rappresentate da due nodi non connessi tra loro (le cause) associati da due archi a un terzo nodo (la conseguenza). A ogni arco è associata la probabilità condizionale che quella causa, in assenza dell’altra, possa provocare l’effetto C. La probabilità complessiva dell’effetto è ottenuta combinando le due probabilità con la funzione noisy OR.

 SS C₁ C₂

Data una qualsiasi tabella di covariazione che riporti le contingenze di uno stimolo S con una conseguenza C in un contesto dove sono sempre presenti altre concause [P(C|¬S)>0] indipendenti da quella esaminata, la struttura noisy OR si traduce in:

P(C|S ʌ altre cause) = P(C|S) + P(C|altre cause) – [P(C|S) x P(C|altre cause)]

↓ ↓a/(a+b) c/(c+d)
P(C|S) = ΔP/[1 – P(C|¬S)] formula potenza per cause generative

Due cause non sono indipendenti quando la loro combinazione segue una qualsiasi funzione di combinazione di probabilità che non sia la noisy OR. Sono questi i casi in cui la funzione potenza del ΔP non si applica.

Programmi di ricerca di Skinner

Skinner conduce studi sul condizionamento operante che si differenzia dal condizionamento pavloviano in quanto ritiene che l’organismo non si limiti alla semplice associazione ma operi e agisca per ottenere una qualche conseguenza.

Tutti gli studi di Skinner furono condotti su animali (topi e piccioni), con presentazione seriale degli stimoli (il tempo è suddiviso in periodi, in ognuno dei quali è presentato uno stimolo S e lo sperimentatore è in grado di controllare le VI). Il tipo di misurazione è ovviamente di tipo implicito, cioè è lo sperimentatore che inferisce il risultato attraverso la misurazione delle risposte fisiologiche del soggetto sperimentale e delle frequenze di risposta. L’outcome utilizzato è di tipo incentivante, che si divide in appetitivo o aversivo. Classifica l’outcome lungo due dimensioni: positività/negatività (legato al significato di presenza o assenza dell’evento conseguenza) e appetitivo/aversivo (cioè l’incremento o riduzione della forza di connessione S-R dopo la comparsa della conseguenza).

Un’osservazione importante che fece Skinner è che i rinforzi erano più efficaci delle punizioni e avevano meno effetti negativi, per questo motivo adottò un programma di rinforzo, inteso come pattern con cui vengono presentati gli outcome dopo il comportamento che si cerca di condizionare. Gli outcome rinforzanti potevano indurre stati di piacere se positivi o consentire di evitare dispiacere o dolore se negativi, mentre gli outcome punenti potevano indurre stati di dolore se positivi e precludere stati di piacere se negativi.

Skinner fa un’ulteriore distinzione tra rinforzi primari, i quali hanno un valore incentivante intrinseco, e rinforzi secondari, privi di valore incentivante intrinseco, il cui valore appetitivo o aversivo era appreso da condizionamento di secondo ordine rispetto ai rinforzi primari.

Utilizzando la “Skinner box”, Skinner condusse molte centinaia di esperimenti volte a descrivere gli effetti comportamentali di diversi “programmi di rinforzo”. Ne studiò quattro, classificati su due dimensioni: intervalli di tempo vs rapporti tra numero di risposte e incentivi; schema fisso vs schema variabile.

Si osservano in questi schemi degli effetti di variabilità, cioè se C ha maggiore variabilità, l’estinzione della risposta che la provoca sarà più lenta.

Egli dimostrò anche l’efficacia del modellamento (shaping) nell’addestramento di animali a compiere comportamenti anche molto complessi: rinforzando la prima componente di un comportamento finché non è appresa, poi rinforzando la seconda componente quando emessa dopo la prima, e così via, l’animale riesce a creare una catena complessa di associazioni solo al termine della quale ottiene l’incentivo.

Apprendimento latente di Tolman

Tolman, comportamentista, dimostrò che ciò che era appreso erano “segnali” o connessioni “stimolo-stimolo” S-S, e non “interruttori” S-R che associavano meccanicamente uno stimolo a una qualche risposta: “Le informazioni (input) in entrata sono elaborate per costruire una mappa dell’ambiente di tipo cognitivo.”

L’apprendimento di queste mappe può essere latente: gli organismi apprendono, per eventuali usi futuri, insiemi di relazioni tra stimoli ambientali, anche in assenza di incentivi immediati.

Il concetto è stato dimostrato da una serie di esperimenti, nei quali si ponevano dei topi in un semplice labirinto. Ogni topo del gruppo di controllo seguiva la procedura standard per gli studi di quel tipo: ogni giorno era immerso una volta nella stanza start del labirinto. Nella stanza food trovava la sua colazione (US incentivante). Il suo tasso di apprendimento era descritto dal numero di errori (prendere un vicolo cieco) compiuto ogni giorno per raggiungere il cibo. I topi dei due gruppi sperimentali venivano anch’essi immersi nella stanza start. Tuttavia, nei primi giorni, non c’era cibo ad attenderli nella stanza food (i topi vagavano liberi e gli sperimentatori li estraevano al raggiungimento della stanza food). I topi del primo gruppo sperimentale trovavano cibo solo dal terzo giorno in poi. Quelli del secondo gruppo solo dal settimo giorno. I giorni in cui i topi dei due gruppi sperimentali vagavano nel labirinto in assenza di incentivi non erano stati spesi invano: i topi avevano appreso ad orientarsi, tanto che il giorno successivo a quello in cui avevano trovato il cibo si recavano direttamente alla stanza che lo conteneva, con un numero di errori equiparabile a quello del gruppo di controllo.

In seguito Tolman dimostrò il fenomeno dell’orientamento spaziale nell’apprendimento di labirinti, a conferma dell'ipotesi della creazione di una mappa mentale avvenuta attraverso un apprendimento tramite osservazione. Il comportamento è quindi un indizio e l'apprendimento non modifica necessariamente il comportamento.

Egli condusse degli esperimenti dove inserì dei topi in un primo labirinto con una conformazione abbastanza semplice: il topo imparava a raggiungere la scatola del cibo imboccando il corridoio di fronte a lui. Nella fase di test il cibo è rimosso, il corridoio centrale bloccato, e vengono aggiunti 18 corridoi a raggiera in molte direzioni. Il corridoio più frequentemente scelto dai topi è quello che punta direttamente nella direzione in cui, nella fase di training, si trovava il cibo, seguito dal corridoio che andava perpendicolarmente nella direzione in cui si trovava il cibo.

Pre esposizione di CS e US

Baker e Mackintosh e Baker e Mercier illustrarono il rilievo che una precedente familiarizzazione con il CS e l’US ha sulla successiva capacità di associarli. Hanno individuato due effetti:

• Pre-esposizione del CS/inibizione latente: Fase 1: A-; Fase 2: A+; Test A r; controllo: A+; Test: AR. Il fatto che il CS A sia molto comune in un contesto dove ancora non compare la conseguenza porta a rallentare e indebolire il successivo apprendimento dell’associazione tra A e un US, rispetto al controllo.
• Pre-esposizione dell’US: Fase 1: +; Fase 2: A+; Test: A r. Qui è la familiarità con la conseguenza in un contesto in cui non è ancora presente il CS che riduce l’apprendimento.

La pre-esposizione del CS e dell’US, in termini computazionali, incrementano le osservazioni di tipo b e c e riducono il ΔP. Particolarmente interessante è l’effetto di irrilevanza appresa.

Irrilevanza appresa: Fase 1: A+/A-/+/-; Fase 2: A+; Test: A 0. Nella prima fase i CS e US sono presentati a caso, in modo del tutto indipendente l’uno dall’altro. Questa fase inibisce talmente l’apprendimento che anche quando, nella seconda fase, CS diventa un predittore di US, l’associazione non ha luogo o avviene molto lentamente.

Lo schema di apprendimento del backward blocking associato al condizionamento di secondo ordine

Shanks scoprì il backward blocking, un blocco dell’apprendimento all’indietro.

Backward blocking: Fase 1: AB+; Fase 2: B+; Test: A 0 o r; controllo: AB+; Test: A R. L’unica differenza rispetto al forward blocking è nell’ordine di presentazione degli stimoli: nel primo, B+ precede AB+. Nel secondo, è l’opposto. Dal punto di vista computazionale, l’ordine di presentazione non ha rilievo. Ma dal punto di vista algoritmico il suo rilievo è fondamentale. Nel backward blocking A è inizialmente associato all’outcome, e in quella fase, l’associazione è appresa. Durante la fase 2, A non compare mai. Eppure la sua associazione con l’outcome è disappresa, attraverso una rielaborazione “a posteriori” in assenza dello stimolo (retrospective evaluation).

Questo risultato segnò il definitivo abbandono dell’idea che la forza dell’associazione di uno stimolo con una conseguenza possa essere revisionata solo quando lo stimolo si presenta (contingenze a e b): la concomitanza tra CS e US non è necessaria né sufficiente per apprendere un’associazione, e neppure la presenza del CS, per modificare il suo grado di associazione verso l’US. Un altro risultato rivoluzionario fu la considerazione dell’apprendimento animale delle covariazioni, per lungo tempo ritenuto associativo, come un apprendimento retrospettivo, di tipo top-down.

Questa serie di riscontri empirici falsificò integralmente l’idea che alla base dell’apprendimento di relazioni tra eventi vi fossero solo la contiguità, la ripetizione e il valore di incentivo dell’outcome, e che avvenisse esclusivamente in modo associativo bottom-up. Sappiamo che il backward blocking si può presentare anche come fenomeno di secondo ordine.

Backward blocking SOC1: Fase 1: AB+; Fase 2: AC+; Fase 3: B+; Test: C R
Backward blocking SOC2: Fase 1: AB+; Fase 2: AC+; Fase 3: B-; Test: C 0 o r

Il ΔP di C verso l’effetto è identico nelle due condizioni. La semplice covariazione non può spiegare questi fenomeni, che probabilmente sono il frutto di inferenze top-down sulla struttura causale degli stimoli, come assunto a livello computazionale, dalla teoria Power PC. Anche negli animali strutture causali suggerite in una fase di preaddestramento hanno un importante effetto modulatorio sull’apprendimento. Questo ha convinto alcuni studiosi che almeno una parte dell’apprendimento di tipo covariazionale, anche negli animali, consista in un vero e proprio ragionamento volto all’estrazione di strutture causali.

Subadditività: Preaddestramento: C+/D+/CD+; Fase 1: B+; Fase 2: AB+; Test: A risposte più frequenti che nel forward blocking standard; il preaddestramento riduce il blocking.

Additività: Preaddestramento: C+/D+/CD++; Fase 1: B+; Fase 2: AB+; Test: A risposte ancora più infrequenti che nel forward blocking standard; il preaddestramento aumenta il blocking. (++=outcome più intenso)

Illusione di controllo: cos'è e a cosa si riferisce

Il processo delle correlazioni illusorie consiste nella convinzione che i partecipanti ritengano che uno stimolo sia un buon segnale dell’altro, o addirittura lo causi, quando l’effettiva predittività è nulla o scarsa. Esse possono incrementare le illusioni di controllo, quelle convinzioni – frequenti nella vita quotidiana, e osservabili in laboratorio – di poter esercitare un qualche controllo su eventi affatto indipendenti da noi (scegliere biglietto lotteria).

In questo caso le contingenze a, b, c e d della tabella di contingenza non hanno lo stesso peso psicologico, ma variano in base al controllo che il soggetto ritiene di poter esercitare. In media, nel valutare esplicitamente la covariazione tra un indizio CS e un esito US, l’ordine di importanza attribuita ai quattro tipi di contingenze, o loro peso, indicato con w – è w(a)>w(b)>w(c)>w(d). In alcuni esperimenti con prestazione seriale degli stimoli si è osservato che l’importanza dei casi meno frequenti è sistematicamente sovrastimata, o perché attirano maggiormente l’attenzione (effetto distitività), o perché, essendo così infrequenti l’individuo ritiene di essersene “dimenticati” alcuni, e quindi “riaggiusta” il loro ricordo incrementandolo verso la media.

Spiegare il modello di Rescorla-Wagner

Il modello RW è stato creato per descrivere l'apprendimento di processi abduttivi di tipo bottom-up. Il modello descrive matematicamente il cambiamento della forza di un'associazione tra CS e US a ogni nuova prova in cui si manifesta CS, considerando al contempo l'effetto di tutti gli altri stimoli contestualmente associati a US. La formula è la seguente:

CS_n+1ΔV = α β (λ – ΣV) come si calcola la variazione di forza di CS ad ogni prova CS US CS_n+1 nCS

CS_n+1ΔV = V + ΔV aggiorna la forza assoluta di CS alla somma della sua precedente forza e della variazione appena avvenuta

Il ΔV calcola la variazione di forza ad ogni prova, mentre V aggiorna la forza assoluta di CS alla somma della sua precedente forza e della variazione appena avvenuta.

V rappresenta il valore della forza di associazione CS-US compreso tra -lambda e +lambda, cioè tra -1 e +1. Se la V è positiva vuol dire che è generativa; se negativa è inibitoria.

ΔV è l'incremento o riduzione di forza che avviene nella prova n+1.α e β rappresentano la salienza di CS e US.

Lambda è un valore asintotico che rappresenta il minimo o il massimo dell'apprendimento, cioè la presenza o assenza di US.

ΣV è la somma delle forze associative V di tutti gli stimoli presenti in quel contesto. Lambda-ΣV rappresenta il potenziale di sorpresa.

Questo modello non è adatto per fenomeni oltre il ΔP, come il pow, le strutture causali, il backward blocking e la retrospective revaluation; ma questi effetti sono probabilmente top-down, e, per un modello bottom-up, non è un vero limite poterli spiegare. Pur limitandolo ai soli apprendimenti chiaramente o probabilmente di natura associativa bottom-up, il modello RW ha richiesto successivi aggiustamenti: