Metodi di valutazione delle politiche pubbliche - Appunti

Metodi per la valutazione delle politiche pubbliche

La logica della valutazione contro-fattuale

Illustrare la logica della valutazione contro-fattuale accanto ad altri tipi di analisi. È utile per verificare la capacità di un intervento di modificare nella direzione desiderata i comportamenti o le condizioni di una determinata popolazione di destinatari. La valutazione controfattuale mira a stimare l'impatto della politica (rispetto a ciò che si sarebbe verificato in assenza di quest'ultima) su una variabile Y (variabile risultato) che esprime una misura del problema su cui l'intervento pubblico voleva incidere. L'aspetto cruciale è la stima del nesso causale tra la politica e il cambiamento registrato nella variabile risultato Y.

Termini e definizioni

Con quale termine si indica la dimensione su cui si stima l'impatto della politica? Con il termine variabile risultato (outcome) e simbolo Y.

In che modo si traduce nell'analisi l'intervento della politica? Attraverso variabili di trattamento binario di tipo T= 0 (se l'unità non ha ricevuto l'intervento); =1 (se l'unità ha ricevuto l'intervento).

Definire l'impatto di una politica

Come può essere definito l'impatto/effetto di una politica? Illustrare in termini descrittivi e con formula matematica.

L'impatto di una politica è definibile come la differenza tra il valore atteso (valore medio) di Y registrato nei trattati (T=1) dopo il trattamento e il valore atteso (valore medio) di Y che si sarebbe registrato nei trattati dopo il trattamento ma in assenza della politica (contro fattuale).

In formula: 1 0Y = E(Y | T=1) – E(Y | T=1)

Minacce alla validità dell'analisi

Quali sono le minacce alla validità dell'analisi? La distorsione da dinamica spontanea e da effetto di selezione. La distorsione da dinamica spontanea si ha quando l'effetto della politica è confuso con lo "spontaneo cambiamento" di Y tra il periodo pre- e post-intervento causato da fattori esterni alla politica. La distorsione da effetto di selezione si ha quando l'effetto della politica è confuso con l'effetto delle differenze pre-intervento tra trattati e non-trattati nel caso in cui si adotti il confronto tra trattati e non-trattati come strategia per valutare l'impatto della politica (e quindi il dato dei non trattati funge da fonte per stimare il contro fattuale).

Esperimento clinico

Come si svolge un esperimento clinico?

• Tutti i partecipanti sono suddivisi in due gruppi in base a una estrazione a sorte (denominata "assegnazione casuale al trattamento"). I due gruppi sono i trattati che ricevono la cura e i non-trattati che non ricevono la cura ma un placebo. Anche il personale medico durante il monitoraggio non conosce se i pazienti sono trattati o con il placebo.
• Si monitorizzano le condizioni e gli effetti collaterali dei trattati e non trattati senza che quest'ultimi sappiano di ricevere il placebo (sono convinti di ricevere il trattamento).
• Si confrontano i risultati finali medi dei trattati e non trattati sia come evoluzione della patologia da curare che come effetti collaterali. La stima d'impatto viene poi ottenuta come differenza nei risultati dei due gruppi.

Ruolo dell'assegnazione casuale

Qual è il ruolo dell'assegnazione casuale al trattamento nei protocolli sperimentali? Con numerosità sufficiente dei partecipanti all'esperimento elimina le differenze iniziali tra trattati e non trattati.

Pericoli e difficoltà nei protocolli sperimentali

In caso di numerosità bassa delle unità di osservazioni, a quale pericolo per la validità dell'analisi può essere esposto il protocollo sperimentale? Alla distorsione da effetto di selezione: perché con numerosità bassa non si può più essere certi che il gruppo dei trattati sia effettivamente simile a quello dei non-trattati.

Per quale motivo esistono difficoltà ad una ampia diffusione del protocollo sperimentale? Per motivi politici ed etici: è spesso difficile fare accettare alla collettività che i beneficiari di una politica vengano scelti con estrazione a sorte.

Integrità del disegno sperimentale

Che cosa si intende per integrità del disegno sperimentale? Il fatto che chi è estratto nel gruppo di ...