Metodi di valutazione delle politiche pubbliche - Appunti

Come si svolge un esperimento clinico?

Un esperimento clinico si svolge nel seguente modo:

1. tutti i partecipanti sono suddivisi in due gruppi in base ad una estrazione a sorte

(denominata “assegnazione casuale al trattamento). I due gruppi sono i trattati che

ricevono la cura ed i non-trattati che non ricevono la cura ma un placebo. Anche il

personale medico durante il monitoraggio non conosce se i pazienti sono trattati o

con il placebo

2. Si monitorizzano le condizioni e gli effetti collaterali dei trattati e non trattati senza

che quest’ultimi sappiano di ricevere il placebo (sono convinti di ricevere il

trattamento).

3. Si confrontano i risultati finali medi dei trattati e non trattati sia come evoluzione

della patologia da curare che come effetti collaterali. La stima d’impatto viene poi

ottenuta come differenza nei risultati dei due gruppi.

Qual è il ruolo della assegnazione casuale al trattamento nei protocolli

sperimentali?

Con numerosità sufficiente dei partecipanti all’esperimento elimina le differenze iniziali tra

trattati e non trattati.

In caso di numerosità bassa delle unità di osservazioni a quale pericolo per la

validità dell’analisi può essere esposto il protocollo sperimentale?

Alla distorsione da effetto di selezione: perché con numerosità bassa non si può più essere certi

che il gruppo dei trattati sia effettivamente simile a quello dei non-trattati.

Per quale motivo esistono difficoltà ad una ampia diffusione del protocollo

sperimentale?

Per motivi politici ed etici: è spesso difficile fare accettare alla collettività che i beneficiari di una

politica vengano scelti con estrazione a sorte.

Che cosa si intende per integrità del disegno sperimentale

Il fatto che chi è estratto nel gruppo di trattamento sia effettivamente coinvolto nella politica (sia

“davvero trattato”) e chi è estratto nel gruppo dei non-trattati non usufruisca effettivamente di

nessun intervento pubblico di tipo simile alla politica in esame.

Cosa si intende con il concetto di validità interna e esterna dell’analisi?

Validità interna = assenza di distorsioni nella stima d’impatto (cioè l’analisi è attendibile nel senso

di riuscire a separare l’effetto della politica dall’effetto su Y di altri fattori esterni).

Validità esterna = la misura in cui i risultati sono generalizzabili ad altre politiche simili (quindi

alta validità esterna se la politica valutata è di tipo diffuso e la numerosità dei beneficiari coinvolti

è importante )

Che cosa si intende per dati osservazionali?

Dati che derivano da una esecuzione della politica senza condizioni sperimentali. Cioè chi esegue

la valutazione è costretto ad osservare come la politica viene implementata e non ha nessun

controllo nel disegno della politica.

Qual è il principale pericolo per la validità dell’analisi che si corre con il confronto

tra trattati e non-trattati?

La distorsione da effetto di selezione: cioè confondere l’effetto della politica con l’effetto delle

differenze pre-intervento tra trattati e non-trattati (quest’ultimi sono usati come fonte dei dati

per stimare il contro-fattuale).

Qual è il principale pericolo per la validità dell’analisi che si corre con il pre-post

trattamento

La distorsione da dinamica spontanea (cioè confondere l’effetto della politica con l’effetto del

cambiamento di Y causato da mutamenti nel tempo esterni alla politica).

Come viene stimato il contro-fattuale con il metodo DD (differenza nelle

differenze)?

Viene stimato come la variazione di Y pre-post intervento registrata nelle unità non-trattate.

Come viene stimato il contro-fattuale con il metodo DDD (differenza nelle

differenze con 3 unità di tempo)?

Con tre unità di tempo il contro-fattuale viene stimato a partire dalla variazione di Y pre-post

intervento registrata nelle unità non-trattate. Tale variazione viene però corretta dal differenziale

di crescita di Y registrato nel periodo pre /pre-1 tra trattati e non trattati. Tale differenziale

registra (in assenza di trattamento) se i trattati (con caratteristiche diverse dai non trattati)

reagiscono in modo diverso dai non-trattati a comuni dinamiche economiche o sociali di

cambiamento che possono influire sulla Y.

Spiegare in che modo un modello di regressione lineare multipla è in grado di

stimare l’impatto di una politica di rivitalizzazione urbana applicata ad una serie di

distretti urbani in condizione di disagio iniziale. Ipotizzate ad esempio di avere a

disposizione i seguenti dati:

-una variabile Y (tasso di occupazione di ogni distretto);

-una variabile di trattamento T;

-quattro variabili di controllo: tasso di criminalità,

reddito pro-capite,

% di edifici in stato di abbandono

% di residenti appartenenti a minoranze etniche.

Il modello di regressione lineare in questo esempio fornisce una stima d’impatto mediante la

separazione dell’effetto su Y derivante dall’introduzione della politica rispetto all’effetto su Y

derivante da avere più o meno criminalità, reddito medio pro-capite, % di edifici abbandonati e %

di residenti appartenenti a minoranze etniche.

Con quale logica devono essere selezionate le così dette variabili di controllo nel

modello di regressione lineare multipla per la valutazione d’impatto?

Le variabili di controllo di un modello di regressione lineare multipla devono essere tutti i fattori

che influenzano Y indipendentemente dalla politica e che possono essere diversi tra trattati e non-

trattati.

Nel caso di politiche di rivitalizzazione urbana dove:

i = distretti urbani,

Y = tasso di disoccupazione

T = variabile trattamento T=1 / T=0;

CRIM = tasso criminalità

RED = reddito pro-capite

ABD = percentuale edifici abbandonati

MIN = percentuale minoranze etniche.

Qual è il parametro che stima l’impatto della politica della seguente formula?

Y = B + B T + B CRIM + B RED + B ABD + B MIN + e

i 0 t i 1 i 2 i 3 i 4 i i

Il parametro è B t

Qual è in termini intuitivi il modo in cui si ottiene il parametro propensity score ?

Qual è il suo significato nell’analisi d’impatto?

Il propensity score si ottiene come la probabilità stimata per ciascuna unità di osservazione di

essere un beneficiario del trattamento in base al valore pre-intervento delle variabili di controllo.

In termini intuitivi il propensity score riassume, in un unico parametro, tutte le caratteristiche

iniziali che possono influire sulla Y indipendentemente dalla politica.

Con quale tipo di modello di stima si ottiene il parametro propensity score? Qual è il

suo possibile ranch di valori?

Il propensity score si stima con il modello logit o probit. Il range possibile di valori e tra ZERO e

UNO (ciò in quanto è una probabilità stimata).

Spiegare in termini intuitivi in che modo il parametro propensity score facilita

l’abbinamento statistico?

Facilita l’abbinamento statistico in quanto permette di riassumere in un unico parametro tante

diverse caratteristiche iniziali descritte nelle variabili di controllo usate per nel modello logit o

probit di stima. Due unità potranno così essere considerate con simili caratteristiche di partenza

(perché con simile propensity score) anche se hanno valori delle singole variabili di controllo

leggermente diversi: il propensity score permette una sorta di “compensazione”.

Illustrare il metodo di abbinamento sull’unità più vicina con propensity score

(nearest neighbour matching)

Rappresenta il metodo più semplice ed intuitivo di condurre l'abbinamento, in quanto consiste

nell'abbinare ad ogni unità trattata quella particolare unità non-trattata che ha il propensity score

più vicino numericamente. Lo svantaggio principale di questo metodo è che è possibile abbinare

ad alcune unità trattate delle unità non-trattate con un propensity score molto distante, pur

essendo il più vicino tra quelli disponibili. Quindi il metodo nearest neighbour non garantisce che

le stime siano basate del tutto su osservazioni che hanno un supporto comune.

Spiegare quali sono i vantaggi e gli svantaggi della reimmissione nel propensity

Score Matching

il metodo della reimmissione permette di assegnare la stessa unità non-trattata come controllo, a

più unità trattate. Il numero di unità non-trattate effettivamente utilizzate per la stima dell'effetto

della politica può essere anche di molto inferiore a quello delle unità trattate. Questo fa diminuire

la dimensione del campione effettivamente utilizzato e quindi fa aumentare l'errore standard della

stima dell'effetto. La reimmissione consente tuttavia di utilizzare non-trattati mediamente più

simili ai trattati. Nel linguaggio tecnico si dice che c'è un trade-off tra bias (distorsione) e

variance.

Che cosa si intende per supporto comune nel propensity Score Matching

Il supporto comune sono caratteristiche comuni tra le varie unità, che ci permette di confrontarle

ed eliminare la distorsione da selezione.

Come possono essere eliminate le unità fuori dal supporto comune utilizzando il

parametro propensity Score?

Con il matching a raggio.

Illustrare la procedura dell’abbinamento statistico a raggio con propensity Score.

L'idea fondamentale è restringere l'abbinamento alle unità non-trattate il cui propensity score

cade in un intorno ristretto, cioè in un certo raggio Y (che sarà un numero molto vicino allo zero:

ad esempio 0,01 o 0,05). persino le unità trattate vengono scartate quando non si trova nessuna

unità non-trattata con un propensity score che cade nell'intervallo.

Illustrare la procedura del caliper matching con propensity Score

Si parla di caliper matching quando solo l'unità più vicina all'interno del raggio viene abbinata.

Tale procedura si distingue dal radius matching in cui si abbinano tutte le unità trovate nel

raggio.

Nel matching a raggio quali vantaggi e svantaggi si hanno nello scegliere un raggio

più o meno elevato?

La scelta del raggio va fatta considerando che, se il raggio è molto piccolo, si perderanno alcune

unità trattate ma si avrà il vantaggio di effettuare un confronto tra unità molto più simili. Al

contrario, un raggio più ampio permetterà di aumentare il numero di controlli, col rischio però

che questi siano meno simili all'unità trattata di quanto si desideri.

Illustrare la procedura di stima d’impatto mediante abbinamento statistico con

s