Riassunto esame Valutazione delle politiche pubbliche, Prof. Di Liberto Adriana, libro consigliato Valutare il successo delle Politiche Pubbliche, Martini, Sisti

Valutazione delle Politiche Pubbliche

CAPITOLO 1

POLITICA PUBBLICA, IMPLEMENTAZIONE ED

EFFETTI

VALUTAZIONE

Definizione di :

‘’Attività tesa alla PRODUZIONE sistematica di INFORMAZIONI per dare

GIUDIZI su azioni pubbliche, con l’intento di MIGLIORARLE’’

Questa definizione consta di quattro elementi:

Produzione di informazioni sull’azione pubblica

1) (in maniera sistematica

ovvero oggettiva)

Giudizio sull’azione pubblica

2) (confrontando gli obiettivi preposti inizialmente)

Migliorare l’azione pubblica

3) (nei suoi elementi di criticità)

Attenzione sulle esigenze conoscitive degli utilizzatori della

4) valutazione (attenzione alle domande poste che verranno utilizzate dai valutatori)

Questa azione pubblica è definita come POLITICA adottata.

Nella terminologia italiana, per POLITICA, intendiamo varie ed ampie

definizioni. Infatti, ciò che seguiremo è ciò che la terminologia anglosassone

differisce in due accezioni:

a) POLITICS

‘’sistema di relazioni competitive che si instaurano tra

Intendiamo quel

soggetti che ambiscono a conquistare il potere di assumere delle decisioni in

nome e per conto di una certa comunità’’. Esso è associato al termine del

POTERE.

b) POLICY

quell’insieme di azioni decise da un attore, o da un gruppo di attori, al fine di

È

affrontare un problema collettivo. In sintesi, è la POLITICA PUBBLICA, oggetto

del nostro corso.

Centrale nella nostra definizione di POLITICA PUBBLICA è il PROBLEMA

‘’situazione che sia socialmente

COLLETTIVO da risolvere, ovvero quella

percepita come negativa e perciò meritevole di cambiamento’’. E sotto questo

aspetto che possiamo leggere la politica pubblica come una TERAPIA.

TERAPIA DELLA POLICY

È per questo che valutare il successo di una politica pubblica è importante

perché ci consente di individuare quel giudizio che pone rimedio al malessere

sociale. In altri termini ci consente di individuare quella terapia che cura, o

allevia, quella patologia.

Fondamentale è individuare quattro elementi:

PATOLOGIA

1) (individuata)

TERAPIA

2) (utilizzata)

PAZIENTI

3) (da curare o i suoi beneficiari) Valutazione delle Politiche Pubbliche

POSSIBILE MIGLIORAMENTO

4) (verificato e di conseguenza valutato)

Un esempio può essere:

- PATOLOGIA: Incidenti sulle strade

- TERAPIA: Patente a punti

- PAZIENTI: Automobilisti e loro passeggeri

- POSSIBILE MIGLIORAMENTO: Riduzione del numero di decessi sulle

strade Valutazione delle Politiche Pubbliche

CAPITOLO 6

EFFETTI DELLE POLITICHE E LA LOGICA

CONTROFATTUALE

VALUTAZIONE POLICY

Per poter definire la di una è necessario

comprendere:

a) Effetto SU COSA

Si tratta di ricercare su quale dimensione vanno ricercati gli effetti della policy.

In sostanza si parla di individuare le VARIABILI-RISULTATO (out come) che

possono essere molteplici.

b) Effetto DI COSA

È poi necessario individuare operativamente il trattamento in cui

concretamente si traduce l’intervento pubblico e di cui si intende valutare

l’effetto (VARIABILE-TRATTAMENTO).

DOMANDA DI VALUTAZIONE

Una volta formulata la (effetto su cosa

ed effetto di cosa) si tratta di individuare quel NESSO CAUSALE tra la

VARIABILE-RISULTATO e la VARIABILE-TRATTAMENTO, ossia si ricerca

l’EFFETTO. EFFETTO

Definizione di : FATTUALE

‘’Differenza che vi è tra la situazione e la situazione

CONTROFATTUALE’’ .

FATTUALE effettivamente misurabile

1) Situazione : è quella situazione

una volta completata la policy situazione ipotetica non

2) Situazione CONTROFATTUALE: è quella

misurabile (ma esclusivamente stimabile con metodi scientifici cui ci si

può solo avvicinare) che sarebbe successa se non fosse stata adottata

quella policy per quegli stessi beneficiari nel lasso di tempo della

situazione fattuale.

Un esempio può essere l’adozione di una politica che presti dei sussidi a dei

lavoratori per aumentarne l’occupazione. La situazione fattuale si può misurare

visionando i dati di quante persone sono state occupate. La situazione

controfattuale non misurabile ci fornisce il dato per cui le persone occupate

sono state effettivamente aiutate dall’introduzione di quella policy.

INGANNO: può succedere, infatti, che se si analizza esclusivamente la

situazione fattuale si può cadere in inganno. Per esempio, una volta adottata

quella policy che incentiva l’occupazione, si misurano dati superiori del 50% di

Valutazione delle Politiche Pubbliche

occupati non significa che per forza quel 50% sia dato dalla policy. Può essere

che ella abbia contribuito per un 30% ed il restante 20% abbiano contribuito

altri fattori. Il compito del valutatore è proprio questo: cercare di comprenderne

sia l’associazione che la situazione fattuale ma soprattutto avvicinarsi il più

possibile a quella scienza non esatta della stima della situazione

CONTROFATTUALE.

L’effetto (certo) di una politica è la differenza tra ciò che è successo e ciò che

sarebbe successo in sua assenza (controfattuale). Il primo elemento è

OSSERVABILE, il secondo NO.

Non saremo mai assolutamente certi di quale effetto una politica abbia avuto.

Bisogna quindi capire come calcolare una ragionevole e credibile

approssimazione. CONTROFATTUALE

Bisogna ricostruire il valore con DATI che siano

OSSERVABILI e allo stesso tempo APPROSSIMINO, nel MODO PIÙ

CREDIBILE possibile, ciò che sarebbe successo ai soggetti esposti alla politica

se non lo fossero stati.

In altre parole, bisogna identificare una PLAUSIBILE STRATEGIA DI

IDENTIFICAZIONE.

Due sono gli elementi fondamentali per VALUTARE una POLICY; Una politica

pubblica, per essere valutata, deve essere rappresentabile mediante una

variabile, un indicatore, che presenti delle variazioni osservabili

TEMPO SOGGETTI

nel tra

Una politica costante e universale che sottopone tutti allo stesso trattamento e

che non subisce alcun tipo di variazione nel tempo non è valutabile. In genere

tutte le politiche sono soggette a qualche modifica nel tempo o tra soggetti.

Adesso faremo un esempio che ricorrerà spesso nella nostra spiegazione tra la

logica fattuale e quella controfattuale:

L’ESEMPIO DELLE BORSE LAVORO

Politica D.R.I.L. (Direzione Regionale Inserimenti Lavorativi): esempio di una

politica attiva del lavoro.

Le condizioni sono:

- Erogazione di borse lavoro (500 EURO) della durata di UN ANNO;

- Destinate a EX TOSSICODIPENDENTI, con l’obiettivo di reinserirli in una

situazione lavorativa vera e creare un ponte verso un’occupazione

stabile;

- I beneficiari devono seguire un corso di FORMAZIONE di 100 ORE

mensili; Valutazione delle Politiche Pubbliche

- Ed effettuare attività quali MANUTENZIONE VERDE PUBBLICO, pulizie.

Domanda di valutazione:

l’offerta della BORSA LAVORO (VARIABILE

TRATTAMENTO)

serve realmente a REINSERIRE nel mercato del LAVORO

gli EX TOSSICODIPENDENTI (VARIABILE/I RISULTATO)?

Domande più specifiche (osservabili e misurabili):

1) Qual è l’effetto della borsa l’anno successivo alla fruizione (reddito

percepito)?

2) Ad un anno dalla conclusione, qual è la situazione occupazionale (%

occupati a tempo indeterminato)?

A) Effetto di cosa (variabile trattamento)?

Variabile binaria trattati/non trattati, intesa come l'insieme degli interventi

della politica D.R.I.L. (500 euro + corso formazione + esperienza di lavoro).

B) Effetto su cosa (variabile/i risultato)?

Reddito; esito nel mercato del lavoro…tutti dati che possiamo e dobbiamo

raccogliere.

VARIABILE BINARIA:

TRATTATI = 1

NON TRATTATI = 0

Adesso verifichiamo se i dati raccolti dal D.R.I.L. servano per la ricostruzione

FATTUALE e CONTROFATTUALE, ed in base alle loro deduzioni, se

quest’ultimi siano attendibili o meno.

Poniamo subito tre casi:

1) Ho raccolto solo il dato principale (variabile risultato) sui soli

trattati (=1) post-policy

2) Ho raccolto il dato principale (variabile risultato) sui soli trattati

(=1) sia pre-policy che post-policy

3) Ho raccolto solo il dato principale (variabile risultato) sui trattati

(=1) e su un gruppo di non trattati (=0) post-policy.

Valutazione delle Politiche Pubbliche

LA DINAMICA SPONTANEA

Valutazione delle Politiche Pubbliche

In questo caso l’affermazione nel rapporto del DRIL è:

‘’ I dati mostrano come le borse-lavoro abbiano avuto un impatto significativo

sulla situazione reddituale dei beneficiari delle borse, che hanno avuto un

reddito medio di euro 9835, che rispetto agli euro 5642 del 1999 rappresenta

un incremento di euro 4192, pari al 74%. È chiaro come tali effetti positivi

giustifichino la spesa sostenuta dall’amministrazione regionale per le borse

lavoro’’.

Anche in questo caso la DRIL descrive correttamente solo la SITUAZIONE

FATTUALE. Non viene descritta però correttamente la SITUAZIONE

CONTROFATTUALE.

Questo poiché essa conta il fatto per cui le migliorie reddituali dei trattati siano

da attribuire totalmente al sussidio, quando questo NON È COSI!

Valutazione delle Politiche Pubbliche

Infatti, ci sono persone che potrebbero aver migliorato le condizioni

economiche dal 1999 al 2001 per diversi motivi: maggiore

a) In due anni sono cresciute ed hanno maturato una

responsabilità lavorare

sul fatto di ;

b) Nel 1999 versavano in condizioni disperate poiché hanno chiesto il

tenda a risalire

sussidio. È normale che si da un punto di vista

economico;

periodo economico

c) Il potrebbe aver favorito maggiori condizioni sociali

che hanno migliorato le condizioni economiche.

Ecco che notiamo che la BORSA-LAVORO può aver inciso IN PARTE e NON

TOTALMENTE. DINAMICA SPONTANEA

Questa situazione si chiama :

‘’ La dinamica spontanea è la tendenza naturale di un fenomeno ad evolversi

nel tempo a prescindere dal trattamento a cui il fenomeno è stato sottoposto.’’

La strategia di utilizzare le variazioni nel tempo della variabile risultato per il

gruppo dei trattati (almeno nel modo semplice illustrato prima) non sembra

fornire risultati credibili dell'effetto della politica DRIL sull'occupazione e reddito

dei miei individui trattati.

Altra strategia: e se confrontassi ciò che è successo ai miei trattati con ciò che

è successo ad altri individui che non hanno ricevuto la borsa DRIL (non

trattati)? AUTOSELEZIONE

Caso 3: Ho raccolto solo il dato principale (variabile risultato) sui trattati (=1) e

su un gruppo di non trattati (=0) post-policy.

Valutazione delle Politiche Pubbliche

In questo caso l’affermazione nel rapporto del DRIL è:

‘’ I dati mostrano come le borse-lavoro abbiano avuto un impatto significativo

sulla situazione reddituale dei beneficiari delle borse, che hanno avuto un

reddito medio di euro 2332, superiore del 31% a quello dei richiedenti esclusi

per la mancanza di fondi. Inoltre, ben il 27,4% dei beneficiari della borsa ha un

lavoro a tempo indeterminato alla fine del 2001, contro il 23,6% degli esclusi’’.

Ecco che anche qua quest’affermazione potrebbe essere FALSA per il semplice

fatto che le CONDIZIONI DI PARTENZA dei trattati (=1) e dei non trattati

esclusi dal beneficio (=0) siano totalmente DIFFERENTI. Ad esempio:

a) Chi fa la domanda tardi e dunque non può percepire il sussidio per via

delle risorse limitate è MENO MOTIVATO A LAVORARE;

b) Chi fa la domanda tardi e dunque non può percepire il sussidio per via

delle risorse limitate è MENO INFORMATO;

c) Chi fa la domanda tardi e dunque non può percepire il sussidio per via

delle risorse limitate è MENO ISTRUITO;

un’AUTOSELEZIONE

Ecco che avviene :

‘’Quel fatto per cui gli individui tendano a scegliere tra le alternative che hanno

di fronte in modo NON CASUALE, bensì in base alle proprie preferenze,

aspirazioni, motivazioni e in generale alle proprie caratteristiche; tale processo

crea differenze sistematiche (non sempre osservabili) tra coloro che hanno

fatto scelte diverse. Possiamo considerare l’autoselezione come un fatto

naturale dell’esistenza umana; un’ovvia conseguenza del libero arbitrio’’.

VALUTAZIONE DELLE POLICY

Ricapitolando. Chi deve fare deve

stare attento a due cose: Valutazione delle Politiche Pubbliche

DINAMICA SPONTANEA

AUTOSELEZIONE

CAPITOLO 8

IL METODO SPERIMENTALE

L’idea fondamentale che sta alla base del metodo sperimentale è la stessa

della SPERIMENTAZIONE CLINICA utilizzata per testare l’efficacia dei

farmaci.

Vengono suddivisi due gruppi mediante RANDOMIZZAZIONE ovvero tramite

SORTEGGIO, il quale elimina la DISTORSIONE DA SELEZIONE:

SPERIMENTALE

1) Gruppo : soggetto al trattamento della variabile T

di ricerca (T=1);

Riproduzione della situazione FATTUALE

 CONTROLLO

2) Gruppo di : non soggetto al trattamento (T=0);

Riproduzione della situazione CONTROFATTUALE

 Valutazione delle Politiche Pubbliche

Ricordiamo che la differenza tra la situazione fattuale e quella controfattuale &egra