Riassunto esame Valutazione delle politiche pubbliche, Prof. Di Liberto Adriana, libro consigliato Valutare il successo delle Politiche Pubbliche, Martini, Sisti

Valutazione delle politiche pubbliche

Capitolo 1 - Politica pubblica, implementazione ed effettiva valutazione

Definizione di: ‘‘Attività tesa alla produzione sistematica di informazioni per dare giudizi su azioni pubbliche, con l’intento di migliorarle’’.

Questa definizione consta di quattro elementi:

• Produzione di informazioni sull’azione pubblica 1) (in maniera sistematica ovvero oggettiva)
• Giudizio sull’azione pubblica 2) (confrontando gli obiettivi preposti inizialmente)
• Migliorare l’azione pubblica 3) (nei suoi elementi di criticità)
• Attenzione sulle esigenze conoscitive degli utilizzatori della 4) valutazione (attenzione alle domande poste che verranno utilizzate dai valutatori)

Questa azione pubblica è definita come politica adottata.

Nella terminologia italiana, per politica, intendiamo varie ed ampie definizioni. Infatti, ciò che seguiremo è ciò che la terminologia anglosassone differisce in due accezioni:

Politics

a) Politics

‘‘Sistema di relazioni competitive che si instaurano tra intendiamo quel soggetti che ambiscono a conquistare il potere di assumere delle decisioni in nome e per conto di una certa comunità’’. Esso è associato al termine del potere.

Policy

b) Policy

È quell’insieme di azioni decise da un attore, o da un gruppo di attori, al fine di affrontare un problema collettivo. In sintesi, è la politica pubblica, oggetto del nostro corso.

Centrale nella nostra definizione di politica pubblica è il problema collettivo da risolvere, ovvero quella ‘‘situazione che sia socialmente percepita come negativa e perciò meritevole di cambiamento’’. È sotto questo aspetto che possiamo leggere la politica pubblica come una terapia.

Terapia della policy

È per questo che valutare il successo di una politica pubblica è importante perché ci consente di individuare quel giudizio che pone rimedio al malessere sociale. In altri termini ci consente di individuare quella terapia che cura, o allevia, quella patologia.

Fondamentale è individuare quattro elementi:

• Patologia 1) (individuata)
• Terapia 2) (utilizzata)
• Pazienti 3) (da curare o i suoi beneficiari)
• Valutazione delle Politiche Pubbliche possibile miglioramento 4) (verificato e di conseguenza valutato)

Un esempio può essere:

• Patologia: Incidenti sulle strade
• Terapia: Patente a punti
• Pazienti: Automobilisti e loro passeggeri
• Possibile miglioramento: Riduzione del numero di decessi sulle strade

Valutazione delle Politiche Pubbliche

Capitolo 6 - Effetti delle politiche e la logica controfattuale

Valutazione policy

Per poter definire la di una è necessario comprendere:

• A) Effetto su cosa

Si tratta di ricercare su quale dimensione vanno ricercati gli effetti della policy. In sostanza si parla di individuare le variabili-risultato (outcome) che possono essere molteplici.

• B) Effetto di cosa

È poi necessario individuare operativamente il trattamento in cui concretamente si traduce l’intervento pubblico e di cui si intende valutare l’effetto (variabile-trattamento).

Domanda di valutazione

Una volta formulata la (effetto su cosa ed effetto di cosa) si tratta di individuare quel nesso causale tra la variabile-risultato e la variabile-trattamento, ossia si ricerca l’effetto.

Definizione di effetto: ‘‘Differenza che vi è tra la situazione fattuale e la situazione controfattuale’’.

• 1) Situazione fattuale: è quella situazione effettivamente misurabile una volta completata la policy.
• 2) Situazione controfattuale: è quella situazione ipotetica non misurabile (ma esclusivamente stimabile con metodi scientifici cui ci si può solo avvicinare) che sarebbe successa se non fosse stata adottata quella policy per quegli stessi beneficiari nel lasso di tempo della situazione fattuale.

Un esempio può essere l’adozione di una politica che presti dei sussidi a dei lavoratori per aumentarne l’occupazione. La situazione fattuale si può misurare visionando i dati di quante persone sono state occupate. La situazione controfattuale non misurabile ci fornisce il dato per cui le persone occupate sono state effettivamente aiutate dall’introduzione di quella policy.

Inganno: può succedere, infatti, che se si analizza esclusivamente la situazione fattuale si può cadere in inganno. Per esempio, una volta adottata quella policy che incentiva l’occupazione, si misurano dati superiori del 50% di Valutazione delle Politiche Pubbliche occupati non significa che per forza quel 50% sia dato dalla policy. Può essere che ella abbia contribuito per un 30% ed il restante 20% abbiano contribuito altri fattori. Il compito del valutatore è proprio questo: cercare di comprenderne sia l’associazione che la situazione fattuale ma soprattutto avvicinarsi il più possibile a quella scienza non esatta della stima della situazione controfattuale.

L’effetto (certo) di una politica è la differenza tra ciò che è successo e ciò che sarebbe successo in sua assenza (controfattuale). Il primo elemento è osservabile, il secondo no.

Non saremo mai assolutamente certi di quale effetto una politica abbia avuto. Bisogna quindi capire come calcolare una ragionevole e credibile approssimazione.

Bisogna ricostruire il valore controfattuale con dati che siano osservabili e allo stesso tempo approssimino, nel modo più credibile possibile, ciò che sarebbe successo ai soggetti esposti alla politica se non lo fossero stati.

In altre parole, bisogna identificare una plausibile strategia di identificazione.

Due sono gli elementi fondamentali per valutare una policy; una politica pubblica, per essere valutata, deve essere rappresentabile mediante una variabile, un indicatore, che presenti delle variazioni osservabili nel tempo tra soggetti.

Una politica costante e universale che sottopone tutti allo stesso trattamento e che non subisce alcun tipo di variazione nel tempo non è valutabile. In genere tutte le politiche sono soggette a qualche modifica nel tempo o tra soggetti.

Adesso faremo un esempio che ricorrerà spesso nella nostra spiegazione tra la logica fattuale e quella controfattuale:

L’esempio delle borse lavoro

Politica D.R.I.L. (Direzione Regionale Inserimenti Lavorativi): esempio di una politica attiva del lavoro.

Le condizioni sono:

• Erogazione di borse lavoro (500 euro) della durata di un anno;
• Destinate a ex tossicodipendenti, con l’obiettivo di reinserirli in una situazione lavorativa vera e creare un ponte verso un’occupazione stabile;
• I beneficiari devono seguire un corso di formazione di 100 ore mensili;

Valutazione delle Politiche Pubbliche

• Ed effettuare attività quali manutenzione verde pubblico, pulizie.

Domanda di valutazione: l’offerta della borsa lavoro (variabile trattamento) serve realmente a reinserire nel mercato del lavoro gli ex tossicodipendenti (variabile/i risultato)?

Domande più specifiche (osservabili e misurabili):

• 1) Qual è l’effetto della borsa l’anno successivo alla fruizione (reddito percepito)?
• 2) Ad un anno dalla conclusione, qual è la situazione occupazionale (% occupati a tempo indeterminato)?

A) Effetto di cosa (variabile trattamento)?

Variabile binaria trattati/non trattati, intesa come l'insieme degli interventi della politica D.R.I.L. (500 euro + corso formazione + esperienza di lavoro).

B) Effetto su cosa (variabile/i risultato)?

Reddito; esito nel mercato del lavoro… tutti dati che possiamo e dobbiamo raccogliere.

Variabile binaria:

• Trattati = 1
• Non trattati = 0

Adesso verifichiamo se i dati raccolti dal D.R.I.L. servano per la ricostruzione fattuale e controfattuale, ed in base alle loro deduzioni, se quest’ultimi siano attendibili o meno.

Poniamo subito tre casi:

• 1) Ho raccolto solo il dato principale (variabile risultato) sui soli trattati (=1) post-policy
• 2) Ho raccolto il dato principale (variabile risultato) sui soli trattati (=1) sia pre-policy che post-policy
• 3) Ho raccolto solo il dato principale (variabile risultato) sui trattati (=1) e su un gruppo di non trattati (=0) post-policy.

Valutazione delle Politiche Pubbliche

La dinamica spontanea

Valutazione delle Politiche Pubbliche

In questo caso l’affermazione nel rapporto del DRIL è:

‘‘I dati mostrano come le borse-lavoro abbiano avuto un impatto significativo sulla situazione reddituale dei beneficiari delle borse, che hanno avuto un reddito medio di euro 9835, che rispetto agli euro 5642 del 1999 rappresenta un incremento di euro 4192, pari al 74%. È chiaro come tali effetti positivi giustifichino la spesa sostenuta dall’amministrazione regionale per le borse lavoro’’.

Anche in questo caso la DRIL descrive correttamente solo la situazione fattuale. Non viene descritta però correttamente la situazione controfattuale.

Questo poiché essa conta il fatto per cui le migliorie reddituali dei trattati siano da attribuire totalmente al sussidio, quando questo non è così!

Valutazione delle Politiche Pubbliche

Infatti, ci sono persone che potrebbero aver migliorato le condizioni economiche dal 1999 al 2001 per diversi motivi:

• A) In due anni sono cresciute ed hanno maturato una maggiore responsabilità sul fatto di lavorare;
• B) Nel 1999 versavano in condizioni disperate poiché hanno chiesto il sussidio. È normale che si tenda a risalire da un punto di vista economico;
• C) Il periodo economico potrebbe aver favorito maggiori condizioni sociali che hanno migliorato le condizioni economiche.

Ecco che notiamo che la borsa-lavoro può aver inciso in parte e non totalmente.

Questa situazione si chiama dinamica spontanea:

‘‘La dinamica spontanea è la tendenza naturale di un fenomeno ad evolversi nel tempo a prescindere dal trattamento a cui il fenomeno è stato sottoposto.’’

La strategia di utilizzare le variazioni nel tempo della variabile risultato per il gruppo dei trattati (almeno nel modo semplice illustrato prima) non sembra fornire risultati credibili dell'effetto della politica DRIL sull'occupazione e reddito dei miei individui trattati.

Altra strategia: e se confrontassi ciò che è successo ai miei trattati con ciò che è successo ad altri individui che non hanno ricevuto la borsa DRIL (non trattati)?

Autoselezione

Caso 3: Ho raccolto solo il dato principale (variabile risultato) sui trattati (=1) e su un gruppo di non trattati (=0) post-policy.

Valutazione delle Politiche Pubbliche

In questo caso l’affermazione nel rapporto del DRIL è:

‘‘I dati mostrano come le borse-lavoro abbiano avuto un impatto significativo sulla situazione reddituale dei beneficiari delle borse, che hanno avuto un reddito medio di euro 2332, superiore del 31% a quello dei richiedenti esclusi per la mancanza di fondi. Inoltre, ben il 27,4% dei beneficiari della borsa ha un lavoro a tempo indeterminato alla fine del 2001, contro il 23,6% degli esclusi’’.

Ecco che anche qua quest’affermazione potrebbe essere falsa per il semplice fatto che le condizioni di partenza dei trattati (=1) e dei non trattati esclusi dal beneficio (=0) siano totalmente differenti. Ad esempio:

• A) Chi fa la domanda tardi e dunque non può percepire il sussidio per via delle risorse limitate è meno motivato a lavorare;
• B) Chi fa la domanda tardi e dunque non può percepire il sussidio per via delle risorse limitate è meno informato;
• C) Chi fa la domanda tardi e dunque non può percepire il sussidio per via delle risorse limitate è meno istruito;

Ecco che avviene un’autoselezione:

‘‘Quel fatto per cui gli individui tendano a scegliere tra le alternative che hanno di fronte in modo non casuale, bensì in base alle proprie preferenze, aspirazioni, motivazioni e in generale alle proprie caratteristiche; tale processo crea differenze sistematiche (non sempre osservabili) tra coloro che hanno fatto scelte diverse. Possiamo considerare l’autoselezione come un fatto naturale dell’esistenza umana; un’ovvia conseguenza del libero arbitrio’’.

Valutazione delle policy

Ricapitolando. Chi deve fare deve stare attento a due cose:

Valutazione delle Politiche Pubbliche

• Dinamica spontanea
• Autoselezione

Capitolo 8 - Il metodo sperimentale

L’idea fondamentale che sta alla base del metodo sperimentale è la stessa della sperimentazione clinica utilizzata per testare l’efficacia dei farmaci.

Vengono suddivisi due gruppi mediante randomizzazione ovvero tramite sorteggio, il quale elimina la distorsione da selezione:

• 1) Gruppo sperimentale: soggetto al trattamento della variabile T di ricerca (T=1); riproduzione della situazione fattuale 
• 2) Gruppo di controllo: non soggetto al trattamento (T=0); riproduzione della situazione controfattuale 

Valutazione delle Politiche Pubbliche

Ricordiamo che la differenza tra la situazione fattuale e quella controfattuale è