Valutazione delle politiche pubbliche

OUTPUT DI DISEGNI SPERIMENTALI

Il segno "“! =”" significa "”diverso”" nel linguaggio di Stata.

Facciamo il test d’ipotesi perché dobbiamo verificare la significatività della stima dell’impatto. Ma la stima dell’impatto è ottenuta come differenza tra medie, quindi fare sempre test di differenza tra medie.

Consideriamo la differenza tra medie pari a 13,89: è significativamente diversa da zero? Cioè, è stata ottenuta nell’ambito della variabilità campionaria, oppure è dovuta a fattori sistematici? Guardando al p-value (nel testo a due code in cui l’H1 è diff diversa da zero) vedo che questo è praticamente pari a 0, quindi rifiuto H0 che mi dice che le due medie sono uguali, perché affermo che esiste una differenza sistematica tra le due medie. Ciò significa che aver frequentato una classe piccola ha portato ad un incremento della performance degli studenti rispetto alla

situazione che gli stessi soggetti trattati avrebbero avuto se non fossero stati trattati (situazione controfattuale, quindi gruppo di controllo). Abbiamo quindi stabilito che il trattamento (dimensione piccola delle classi) ha effetto positivo sulla variabile outcome (punteggio). L'impatto è significativo, cioè non è dovuto al caso ma al trattamento. Le uniche differenze che hanno avuto gli studenti appartenenti ai due gruppi sono dovute specificamente al trattamento. Prima riga: gruppo di trattamento / Seconda riga: gruppo di controllo Non confondiamo lo standard error con la standard deviation: il primo è una misura della variabilità della variabile di cui riportiamo la stima del coefficiente (ad esempio della media campionaria). Serve per fare inferenza su quelle stime che abbiamo, quindi per costruire intervalli di confidenza; la seconda è una misura descrittiva della variabilità della variabile outcome (dipendente). Il p-valueè 0,89, cioè la probabilità è molto alta. Il valore della statistica t, è inoltre molto vicina allo zero, quindi si trova nella regione di accettazione. Io quindi non rifiuto H0 e posso affermare che la differenza tra le due medie non è significativamente diversa da zero. Non c'è nessun effetto del trattamento (aggiungere un assistente nelle classi normali) sulla variabile outcome. Abbiamo quindi appena utilizzato un esempio in cui utilizziamo degli stimatori per costruire un disegno sperimentale, e vengono costruiti come differenze di valori medi tra il gruppo dei trattati e dei non trattati. Proviamo a fare lo stesso esempio con un modello di regressione in cui la variabile outcome è la variabile dipendente; mentre la variabile dummy è la mia variabile indipendente (regressore del modello): La nostra variabile outcome (Y) cioè punteggio nel test è formata da una parte deterministica (la parte che dipendeindichino il gruppo di trattamento e il gruppo di controllo. In questo modo, il coefficiente associato alla variabile dummy di trattamento ci darà la stima dell'effetto del trattamento rispetto al gruppo di controllo. Il modello di regressione ci permette anche di controllare per altri fattori che potrebbero influenzare l'outcome. Possiamo aggiungere al modello variabili esplicative che rappresentano questi fattori e ottenere stime degli effetti del trattamento tenendo conto di tali variabili. Inoltre, il modello di regressione ci fornisce anche informazioni sulla significatività statistica delle stime degli effetti. Possiamo testare l'ipotesi che gli effetti siano nulli e valutare se le stime sono statisticamente diverse da zero. Infine, il modello di regressione ci permette di fare previsioni sull'outcome per nuovi individui, utilizzando i valori delle variabili esplicative. Possiamo quindi valutare l'effetto del trattamento su nuovi individui e fare confronti con il gruppo di controllo. In conclusione, l'analisi con il modello di regressione ci offre una serie di vantaggi per studiare gli effetti del trattamento e controllare per altri fattori.individuanociascuna un trattamento: Le variabili dummy si identificano in 1 se vale una specifica classe di appartenenza che scegliamo noi; e 0 in tutti gli altri casi. Se le condizioni che devo impostare sono 3: ad esempio small class; regular class con assistente e regular class senza assistente… costruirò 2 variabili dummy. Una variabile =1 se la classe è small e l'altra =1 se la classe è regular con assistente. Se per uno stesso individuo, queste due variabili valgono 0, allora quell'individuo apparterrà alla classe regular senza assistente (che rappresenta tutti gli altri casi rimasti). Gli asterischi indicano la significatività statistica dei coefficienti (che rappresentano una stima dell'impatto di ciascun trattamento per i diversi livelli di istruzione). L'intercetta rappresenta la stima della media del gruppo che, prendendo le dummy simultaneamente, non è considerato... quindi il gruppo di controllo. Possiamo,

Grazie a questa tabella, possiamo dire in quale livello di istruzione si ha l'effetto maggiore?

No, perché dobbiamo considerare che ogni colonna sia un'equazione; e non basta confrontare il valore assoluto dei coefficienti tra diversi livelli di istruzione, ma questi coefficienti possono essere confrontati solo all'interno della stessa equazione. Questo perché i valori (assoluti) dipendono dalle osservazioni e dalla variabilità del campione preso in considerazione; dunque, per diversi individui estratti, avremo una diversa variabilità del campione.

Per questo motivo dobbiamo standardizzare quei valori dividendoli per la deviazione standard campionaria dei punteggi del test. Otteniamo così dei valori che sono confrontabili tra loro:

Possiamo approfondire l'analisi dell'impatto introducendo nel disegno delle variabili di controllo, cioè variabili che incorporano caratteristiche che possono influenzare la variabile outcome.

Quindi, tenere conto di queste variabili ci permette di migliorare le stime dell'impatto. In questo caso abbiamo usato come variabile di controllo l'esperienza dell'insegnante. Questa può influire sui punteggi delle classi, a seconda di come la classe recepisce questa esperienza, e quindi, visto che un insegnante può avere più classi, l'influenza della sua esperienza varierà da classe a classe (l'esperienza può avere un effetto differenziale sui punteggi a seconda della classe nella quale un bambino viene assegnato). Guardando la slide di sotto: le stime delle variabili di trattamento non variano di molto perché, nonostante abbiamo introdotto tutte quelle variabili, queste non sono correlate con le variabili di trattamento. Questo perché abbiamo usato un disegno sperimentale, che permette di bilanciare tutte quelle caratteristiche tra i due gruppi (di trattamento e di controllo). Tutte le caratteristiche inserite.non ha ricevuto il trattamento e confrontandolo con il gruppo di trattamento. In questo modo è possibile valutare l'effetto causale del trattamento sulla variabile outcome. Tuttavia, è importante notare che le caratteristiche dei partecipanti non sono state assegnate casualmente, ma sono state raccolte come parte del processo di valutazione. Pertanto, non possiamo interpretare i coefficienti delle caratteristiche come effetti causali del trattamento, ma solo come correlazioni con la variabile outcome. Nonostante ciò, includere queste caratteristiche nei dati sperimentali ci permette di ottenere stime più precise degli effetti del trattamento (come indicato da errori standard più bassi) e un R^2 più alto (miglior adattamento del modello). In campioni di piccole dimensioni, le variabili di controllo servono a ridurre le piccole differenze tra il gruppo di trattamento e il gruppo di controllo. Nel caso specifico di PROGRESA, la valutazione sfrutta alcune caratteristiche della politica, come l'implementazione in diverse fasi temporali, che sono indipendenti dalla valutazione stessa. Questo ha permesso di progettare uno studio sperimentale, estratto un gruppo di controllo che non ha ricevuto il trattamento e confrontarlo con il gruppo di trattamento per valutare l'effetto causale del trattamento sulla variabile outcome. Si prega di notare che le informazioni fornite sono solo un esempio e potrebbero non essere accurate o complete.sarebbe entrato a farparte nel disegno di PROGRESA in un periodo successivo. Questa caratteristica è contemporaneamente sia un vantaggio per poter implementare il disegno sperimentale, ma anche un limite riguardo agli obiettivi (domande di tipo valutativo con cui si può rispondere con questo disegno). Perché si riesce solo ad ottenere le stime degli effetti nel BP, mentre l'obiettivo di PROGRESA è un obiettivo di LP. Dati panel: osservazioni ripetute in diversi periodi temporali Le 4 famiglie sono delle combinazioni delle due variabili: rispettivamente la variabile di trattamento e lo status di eligibilità. Famiglie di controllo e di trattamento essendo le località scelte per randomizzazione (ricordiamo che ci troviamo in un disegno sperimentale), dovrebbero non avere differenze iniziali, e quindi la sola differenza è data dal trattamento. Questo ci indica un'equivalenza statistica in distribuzione delle caratteristiche osservabili e non.

dei due gruppi. Avendo a disposizione un panel (periodi successivi), possiamo usare anche lo stimatore before-after.

LEZIONE 4:

Nei disegni sperimentali il DID non dovrebbe essere necessario, in quanto le differenze iniziali già si ipotizzano come inesistenti. Ma è chiaro che se estendiamo il programma ad una vasta popolazione, potrebbe esserci qualche lieve differenza, che grazie a questo stimatore, possiamo colmare. Se il disegno sperimentale è stato applicato bene e non ci sono deviazioni dalle assegnazioni casuali (cioè i gruppi rimangono inalterati per tutta la durata dell’esperimento), allora DID e TC per i disegni sperimentali dovrebbero dare risultati simili per quanto riguarda l’impatto dell’intervento. I risultati saranno sempre leggermente diversi perché utilizzano dati diversi: in particolare l’applicabilità dell’uno o dell’altro dipende dal tipo di dati che si hanno a disposizione. La differenza tra

medie tra i due gruppi può essere stimata anche utilizzando un modello di regressione: utilizzano dummy che rappresentano l'appartenenza al gruppo di controllo o di trattamento. Utilizzare dati individuali ha dei vantaggi perché permette di utilizzare variabili di controllo.

STATA:

Se guardiamo a destra, abbiamo il dataset. Le righe della matrice del dataset corrispondono alle unità statistiche; mentre le colonne rappresentano le caratteristiche di ogni unità (cioè le variabili).

Il comando illustrato di seguito mi serve per aprire un foglio sul quale scrivere dei comandi, così potrò facilmente salvarlo. Il formato "Do" è quello che mi dice che contiene comandi di Stata. Posso sia usare un foglio su cui ci sono già scritti dei comandi e modificarli; ma posso anche scrivere da capo.

Una volta aperto il foglio di comando, noi carichiamo i comandi che già abbiamo (quelli che abbiamo scaricato). Ogni volta, per

vedere l'esecuzione del comando, prima selezioniamo sul comando e poi andiamo a cliccare su quell'icona in alto evidenziata in blu. A quel punto torniamo sul programma (perché questo)