Riassunto esame Valutazione delle politiche pubbliche, Prof. Di Liberto Adriana, libro consigliato Valutare il successo delle Politiche Pubbliche, Martini, Sisti

Limiti del metodo sperimentale

Sulla base delle considerazioni illustrate poc'anzi, il metodo sperimentale può apparire come uno strumento del tutto positivo al riprodurre la situazione valutativa delle politiche pubbliche controfattuali e di conseguenza l'effetto che ha una policy per poterla successivamente valutare. Esso però presenta dei limiti, i quali sono stati analizzati da diversi studiosi come Rossi, Freeman e Lipsey: 1) Limiti di applicazione Più solido disegno "L'esperimento con randomizzazione è il per valutare l'impatto degli interventi; limiti di applicazione Gli esperimenti con randomizzazione hanno, tra cui quello di essere utilizzabili solo per: a) programmi a copertura parziale. Inoltre, il loro uso è ulteriormente limitato da b) problemi pratici relativi all'ottenimento della collaborazione tra i vari attori e a i c) tempi e a i d) costi necessari a condurli". Si può affermare che essi sonodifficili per le cause poc'anzi menzionate, matecnicamente fattibili.

1. Limiti ETICI
1. TEORIA: È eticamente accettabile escludere alcuni individui dalla fruizione di un servizio, da cui potrebbero (forse) trarre qualche beneficio? È un sacrificio individuale accettabile, alla luce del fatto che l'utilità stessa del servizio è in dubbio?
2. TEORIA: Se non esistesse questo dubbio sull'efficacia del servizio, non ci sarebbe ragione di proporne la valutazione degli effetti. In ogni caso, a prescindere, verrebbero comunque esclusi gli individui del gruppo sperimentale SE NON fosse attuato il metodo sperimentale.
2. Limiti POLITICI

Avversione alla randomizzazione da parte degli OPERATORI dei servizi coinvolti. Infatti, si chiede loro di escludere una quota dei loro utenti sulla base di un sorteggio: i malumori e lamentele degli esclusi ricadono in primis sugli operatori stessi.

3. Limiti LEGALI

Vincoli di tipo legale sorgono quando l'erogazione

del servizio (o del sussidio o dell'agevolazione) è prevista dalla legislazione vigente.

5) DISEGNI SPERIMENTALI COMPLESSI

Valutazione delle Politiche Pubbliche

Policy Maker policy

Ecco che i limiti si aggravano se si chiede se una policy (Trattamento A) è più efficace di un'altra (Trattamento B) nel modificare una situazione (Variabile Risultato Y).

Ecco che bisogna effettuare una randomizzazione a tre vie:

• 1/3 circa dei soggetti aventi diritto è assegnato al gruppo di controllo;
• 1/3 al Trattamento A;
• 1/3 al Trattamento B.

Bisogna inoltre comprendere l'effetto di ciascuna componente e l'effetto della compresenza, o interazione in caso di trattamenti multipli.

Ecco che viene a crearsi un disegno sperimentale complesso difficile da attuare nell'isolare determinate variabili.

6) RANDOMIZZAZIONE DI GRUPPI O DI AREE GEOGRAFICHE

Policy

Ad esempio, certe politiche attuate al Sud o al Nord Italia differiscono nel risultato finale.

7) DIFFICOLTÀ A

GENERALIZZARE LESTIME DEGLI EFFETTI

Questo è un limite importante per il metodo sperimentale, in particolare quando esso è utilizzato nell'ambito degli interventi dimostrativi.

Una distinzione importante è quella tra:

VALIDITÀ INTERNA

a) delle stime, cioè il fatto che esse riflettano REALMENTE il contributo netto dell'intervento alla modifica della situazione che si sarebbe verificata in assenza di intervento (riproduzione del controfattuale) in questo caso la randomizzazione produce risultati solidi nell'ambito ristretto poiché fornisce la quasi certezza dei dati ottenuti.

VALIDITÀ ESTERNA

b) delle stime; questo è il maggior problema perché se queste sono ottenute nell'ambito di interventi realizzati per un periodo limitato di tempo e su scala ridotta (come quasi sempre avviene negli esperimenti controllati randomizzati), spesso si ottengono risultati difficili da generalizzare alla politica pubblica.

volta andata a regime e implementata su scala vasta per via di fattori: - MACROECONOMICI su larga scala; - IMPLEMENTAZIONE della policy su scala ridotta è più semplice per via delle limitate risorse assegnate; un problema enorme su larga scala per via dei costi esorbitanti di implementazione della policy. Valutazione delle Politiche Pubbliche 8) DIFFICOLTÀ NEL MANTENERE INTEGRO L'ESPERIMENTO Una difficoltà frequente del metodo sperimentale è mantenere integro l'esperimento al fine di ottenere stime corrette dell'effetto. NON-COMPLIANCE WITH THE ASSIGNMENT Esso è chiamato anche come "non obbedienza all'assegnazione" ovvero la. Al suo interno troviamo diverse fattispecie: - NON-COMPLIANCE WITH THE ASSIGNMENT - NO SHOW - DROP-OUT - CROSS-OVER Quelli che non si presentano al gruppo di controllo, quelli che abbandonano il gruppo di controllo prima della, quelli assegnati al gruppo di controllo che riescono a.

usufruireconclusione egualmente deldell’esperimento sociale servizio.Ma come si risolvono questi problemi di ‘‘non-compliance’’?

1° METODO DI RISOLUZIONE : Se si vuole stimare semplicementel’effetto dell’offerta del servizio (intent-to-treateffect) semplicemente SIdi no-show, drop-out e cross-over.IGNORA LA PRESENZA

Ma solitamente si vuole sapere qual è l’effetto della fruizione del servizio. Ilproblema è che la non-compliance NON È CASUALE, ma frutto di scelteconsapevoli da parte degli individui sottoposti a randomizzazione.I cross-over sono individui più ostinati di coloro che, esclusi dal sorteggio,non si sono “dati da fare” per usufruire della prestazione da cui erano statiesclusi.Coloro che non si presentano, i no-show, rivelano un minore interesse ausufruire del servizio rispetto a quelli che invece si presentano.selection biasRitroviamo quindi qui i problemi di distorsione da che si

pensavadi aver superato con il metodo sperimentale.

2° METODO DI RISOLUZIONE : Utilizzo di procedure statistiche

AGGIUSTARE LE STIME di tipo non sperimentale per prodotto selection bias.

dall’esperimento in modo da correggere la distorsione da

CAPITOLO 7

IL MODELLO DEI RISULTATI POTENZIALI

Adesso passiamo alla formalizzazione del metodo sperimentale con simbologia adeguata.

Utilizzeremo l’approccio dei ‘’Risultati Potenziali’’ o il c.d. Valutazione delle Politiche Pubbliche

MODELLO DI RUBIN

Poniamo dei presupposti:

• Y sarà la nostra variabile-RISULTATO CONTINUA (ovvero un dato come il reddito);
• T sarà la nostra variabile-TRATTAMENTO DICOTOMICA (ovvero se si subisce il trattamento oppure no):

a) T = 1 TRATTATO

b) T = 0 NON TRATTATO

- valore per la variabile trattamento per l’i-esimo individuo;

- valore per la variabile risultato per lo stesso i-esimo individuo.

E ( ) ‘’media di’’

(Expected) ‘’valore atteso’’ ovvero - | indica il condizionamento ad un sottoinsieme della popolazione e può essere letto come ‘’tra’’. Ad esempio, E(Y|T=1), con Y=reddito e T=laureati, significa reddito medio tra i laureati.

L’idea fondamentale del modello di Rubin è la seguente: Dato un trattamento di tipo binario, si postula che esistano per ogni individuo due valori della Y (variabile risultato), detti risultati potenziali:

1. nel caso l’individuo sia soggetto al trattamento
2. nel caso l’individuo non sia soggetto al trattamento

Esempio: Effetto della laurea sul reddito. Due redditi potenziali:

Ogni individuo avrà uno nel caso si laurei, uno nel caso non si laurei. Uno dei due valori è destinato a restare inosservabile. Ecco che tutto ciò può essere scritto come:

Ecco che notiamo che se attribuiamo a:= 1, si annulla il secondo termine ed il reddito osservabile è uguale

Alreddito potenziale trattato; Valutazione delle Politiche Pubbliche= 0, si annulla il primo termine ed il reddito osservabile è uguale al reddito potenziale del non trattato.

Ma la poc'anzi espressione illustrata può essere riscritta come:

Il modello dei risultati potenziali consente di formalizzare in modo rigoroso lanozione di effetto. L'effetto del trattamento T sull'i-esimo individuo sarà definito come DIFFERENZA TRA I RISULTATI POTENZIALI:

Questa differenza tra i risultati potenziali indica l'effetto del trattamento per il singolo individuo. L'effetto del trattamento può variare tra individui differenti. Ma è solo possibile identificare l'effetto medio sulla popolazione o sottopopolazioni di interesse (eterogeneità degli effetti).

EFFETTO MEDIO

TRATTATI NON TRATTATI

ATT Poca rilevanza da un p.o.v. pratico

ATT Average Treatment effect on the Treated= ovvero l'effetto medio che il trattamento ha su coloro che

sono trattati.E (δ|T=1) = E ( - |T=1) = E ( |T=1) – E ( |T=1)Perché ci serve l’ATT?Perché attraverso la stima di tale grandezza si verifica l’efficacia (intesa comecapacità di produrre i cambiamenti desiderati tra i beneficiari effettivi) di unapolitica già attuata.Questo modo di formalizzare il problema mediante l’utilizzo dei risultatipotenziali ci consente ora di derivare in modo rigoroso il concetto diDISTORSIONE DA (AUTO)SELEZIONE. Valutazione delle Politiche PubblicheUNA TRATTAZIONE FORMALIZZATA DELLADISTORSIONE DA SELEZIONEPosso riscrivere:E( |T=1) - E( |T=0) = E( |T=1) - E( |T=1) + E( |T=1) - E( |T=0)La differenza osservata nella variabile-risultato tra trattati e non-trattati nonidentifica l’effetto, bensì mostra l’effetto del trattamento più qualcos’altro,ovvero, le differenze che si sarebbero verificate comunque a causa delprocesso di autoselezione. In altre parole, le differenze tra i

l'effetto della variabile di trattamento. La randomizzazione è fondamentale per ottenere risultati affidabili e generalizzabili. La randomizzazione può essere implementata in diversi modi, ad esempio utilizzando un generatore di numeri casuali per assegnare i partecipanti ai gruppi di trattamento e di controllo. In questo modo, ogni individuo ha la stessa probabilità di essere assegnato a uno dei due gruppi. Una volta che i partecipanti sono stati assegnati ai gruppi, si può procedere con l'applicazione del trattamento al gruppo di trattamento e l'assenza di trattamento al gruppo di controllo. Successivamente, si possono raccogliere i dati e confrontare i risultati ottenuti nei due gruppi. La randomizzazione è un elemento chiave del metodo sperimentale perché permette di eliminare la distorsione da selezione e di attribuire eventuali differenze osservate tra i gruppi al trattamento stesso, anziché ad altre variabili confondenti. In conclusione, la randomizzazione è un metodo fondamentale per garantire la validità e l'affidabilità dei risultati ottenuti attraverso il metodo sperimentale.