Valutazione delle politiche pubbliche

VALUTAZIONE POLITICHE PUBBLICHE

LEZIONE 1:

Politica pubblica = intervento = programma

La valutazione esprime giudizi, non etici o morali, ma sono valutazioni basate sull’osservazione della

realtà; quindi, basate sui metodi di applicazione di analisi scientifica. Qualsiasi attività di tipo

valutativo ha bisogno di info, sottoforma di dati di tipo quantitativo (o qualitativo). L'obiettivo di

raccogliere info è quello di esprimere un giudizio sull’attività relativa alla politica. L'espressione di un

giudizio comporta un confronto con un termine di paragone che deve essere esplicitato. A seconda

del termine di paragone che si usa, otterremo una valutazione diversa.

Usare i dati affinché si possano apporre dei correttivi su una politica, o per farne una nuova. La

valutazione aiuta chi ha responsabilità decisionali ad assumere scelte più consapevoli.

Politica pubblica: policy. Insieme di azioni poste in essere da qualcuno (non per forza i politici) per

affrontare (risolvere) un problema collettivo. Quest’ultimo è una situazione ritenuta socialmente

problematica o insoddisfacente. Si chiama politica pubblica non perché chi le promulga è un

soggetto politico, ma perché riguarda un problema che riguarda il pubblico (ha rilevanza collettiva),

cioè tutti. Un sinonimo di policy è intervento o programma.

L'obiettivo della policy è quello di correggere un comportamento o una condizione ritenute

problematiche. Successo: capacità di modificare questa situazione. La valutazione deve misurare

l’impatto della politica: cioè se sono stati raggiunti gli obiettivi che quella policy si era prefissata di

raggiungere. Ma la valutazione deve anche far capire quali sono gli interventi che hanno avuto

successo e quali no.

Il compito fondamentale della policy è la valutazione degli effetti, cioè quello di riuscire a capire se i

risultati osservati sono merito della politica (da imputare in modo causale alla politica), o se si

sarebbero prodotti ugualmente (magari influenzati da altri eventi, si sarebbe modificata la situazione

indipendentemente dalle azioni messe in campo). Quindi importante è l’attribuzione della causalità:

è stato l’intervento a produrre i risultati osservati?

Abbiamo una valutazione per ogni fase di vita della politica: noi ci occuperemo solo della valutazione

degli effetti. Ma c’è anche una valutazione dell’implementazione, che cerca di chiarire quali sono le

ragioni (di tipo organizzativo, di contesto), per cui un cambiamento si è verificato o no. È un’attività

di tipo propedeutico alla valutazione degli effetti perché si occupa di analizzare la fase di attuazione

della policy (come si sono svolte le azioni sul campo) e soprattutto come si sono svolte le azioni

rispetto al disegno della politica.

Causalità: tra azione prevista dalla politica e risultati effettivamente osservati.

Valutazione effetti: verificare gli effetti della politica sulla modifica dei comportamenti problematici.

Valutazione implementazione: verificare se la politica sia conforme al suo progetto iniziale, quindi se

dal disegno fino alla sua attuazione sul campo, la politica sia rimasta intatta o se vi siano state delle

discrepanze nel suo passaggio, e se sì quali ne sono state le cause. Differenza tra le due: è il termine

di confronto. Per la seconda è capire se la politica si sia conformata a come era stata disegnata al suo

progetto iniziale (cò che era stato programmato a ciò che è stato realizzato); per la prima lo vedremo

dopo. Gli obiettivi delle due analisi sono diversi, e sono diversi anche gli strumenti.

Le due valutazioni sono però complementari: entrambe le valutazioni concorrono al raggiungimento

dell’obiettivo. Se da una delle due valutazioni risulta una fallacia, non si riuscirà ad arrivare

all’obiettivo previsto. Ad esempio, per quel che riguarda la valutazione degli effetti: se i nessi causali

ipotizzati alla base della logica della policy non sono plausibili, è chiaro che i risultati non sono quelli

sperati.

Si fanno quindi delle verifiche tra come è stata disegnata e come è stata effettuata (valutazione

implementazione) e infine sui risultati effettivi e quelli attesi (valutazione effetti).

Varie fasi dell’attuazione di una policy:

1) preparazione policy (organizzazione e regole)

2) selezione dei beneficiari (si misura l’accuratezza dei destinatari previsti)

3) erogazione dei benefici/servizi: modalità con cui sono erogati, accessibilità ai servizi, difformità a

livello locale, oppure esistenza di trattamenti alternativi o concomitanti (che possono inficiare i

benefici attesi)

4) reazione dei beneficiari: verifica se i destinatari si conformano con le ipotesi alla base del disegno.

Può evidenziare dei comportamenti inattesi o devianti e cerca di individuarne le ragioni. Se le

reazioni di discostano da quelle attese: questo può aiutarci a capire perché una politica non ha avuto

i risultati sperati.

Tutti le attività valutative sopraelencate, che rientrano nella valutazione dell’implementazione,

aiutano a interpretare e capire i risultati ottenuti nella valutazione degli effetti. Quando non ci sono

effetti, la valutazione dell’implementazione ci permette di capire se ciò sia dovuto a qualche

mancanza dovuta all’implementazione, oppure se c’erano delle mancanze già all’origine, e cioè nel

disegno stesso della politica (si è sbagliato strumento per risolvere un problema; e cioè si sono

supposti dei nessi logici causali (che legano le azioni ai risultati attesi) che si sono rilevati fallaci).

Ci sono vari tipi di valutazioni:

VALUTAZIONE EX-POST: ci occuperemo della valutazione ex post (perché viene fatta

successivamente all’implementazione della policy, dopo che l’intervento è stato realizzato). Lo scopo

di questo tipo di valutazione è di accertare quali siano gli effetti (cosa ha prodotto la policy) e di

fornire elementi utili per eventualmente modificare la policy e valutare se si è il caso di continuare

così come sono state disegnate ed implementate, oppure se modificare qualcosa (parzialmente o

deciderne l’interruzione).

VALUTAZIONE EX-ANTE: serve per scegliere i diversi elementi da utilizzare per disegnare la policy nel

modo migliore possibile.

ATTIVITA’ DI MONITORAGGIO VS ATTIVITA’ DI VALUTAZIONE: l’attività di monitoraggio è sempre

descrittiva e sistematica, ma si differenzia dall’attività di valutazione perché la prima è di tipo

continuativo, perché ha lo scopo di documentare i diversi aspetti della performance di una politica

sia per quanto riguarda il processo di attuazione, che i benefici attesi. L’attività di monitoraggio è

propedeutica a quella della valutazione degli effetti.

…

Problema collettivo: malattia da curare (ritenute socialmente indesiderabili, che si vuole correggere).

L’intervento è il trattamento, la cura. Le caratteristiche della malattia e le modalità adottate per

affrontarla determinano la quantità e il tipo di pazienti a cui la politica si rivolge. Popolazione target

= insieme dei beneficiari a cui la politica si rivolge. I destinatari possono coincidere con i beneficiari,

ma non necessariamente.

Quali sono i passi preliminari per fare una valutazione degli effetti? Innanzitutto, non è sempre

possibile farla (lunga, perché per vedere gli effetti ci vuole tempo e dispendiosa). Deve essere quindi

possibile identificare degli obiettivi espressi in maniera chiara e che siano misurabili.

1) Il primo passo è identificare le dimensioni su cui vanno ricercati e misurati gli effetti di una

politica (outcome), e devono poi essere tradotti in variabili che siano osservabili e misurabili.

Deve essere possibile definire almeno una variabile risultato, che è osservabile e misurabile.

2) Poi, deve essere possibile verificare la variabile di trattamento, che identifichi gli strumenti

in cui si traduce la politica e di cui si intende valutare l’effetto.

3) Infine, bisogna poter valutare l’effetto; definire un termine di effetto (di paragone).

1) outcome (variabili risultato): dimensioni osservabili su cui si vogliono misurare gli effetti. Questa è

la condizione che la policy vuole modificare o la caratteristica della popolazione di target. Deve avere

due caratteristiche: deve poter essere misurata anche in situazioni/individui in cui l’intervento non

esiste (perché la variabile deve essere possibile misurarla anche in assenza del trattamento, nel caso

in cui i destinatari non partecipino alla policy); deve rappresentare una caratteristica misurabile per

ogni singola unità della popolazione (no indicatore aggregato). Quindi non è un indicatore misurato

sulla collettività, ma su ogni individuo. Ovviamente, deve rappresentare anche una dimensione

rilevante del problema che si vuole analizzare. Possiamo anche avere un solo outcome ma più

variabili risultato (cioè più variabili che ci indicano lo stesso risultato, nel caso dell’esempio di seguito

occupato/disoccupato):

Variabile di trattamento: è una variabile che traduce quantitativamente gli strumenti di cui si

compone la policy (descrive il tipo di intervento specifico in cui consiste la politica). Occorre

individuare una variabile che definisca quale specifico strumento è stato somministrato.

Una variabile trattamento non può essere uguale nel tempo per tutti gli individui, ma si devono

poter osservare delle variazioni. Dunque, deve avere o l’una o l’altra delle seguenti caratteristiche:

• Deve o variare nel tempo (deve essere possibile individuare almeno un periodo pre-

intervento e uno post-intervento);

La prima è una politica universale, con un periodo pre e post che vale universalmente (per tutti gli

individui), quindi si parla di leggi che obbligano o vietano. La seconda è invece una politica con un

pre e post che varia da individuo a individuo (quindi uno che ha ricevuto un trattamento vs uno che

non lo ha ricevuto).d

• Varia nello spazio (varia tra soggetti); il che significa che in un certo periodo di tempo devo

individuare dei soggetti che sono esposti alla politica e altri che non lo sono (la maggior

parte delle policy).

Se la variabile non rispetta nessuna delle due condizioni sopra elencate, non posso fare niente.

Una variabile di trattamento, nella forma più semplice, è quella di tipo dicotomico, o binaria, o

dummy, cioè che assume solo due valori che rappresentano la presenza/assenza di trattamento o

l’esposizione o meno dei membri della popolazione alla policy (si e no, oppure, trasformati in

quantitativi, 1 = cittadino esposto al trattamento e 0 = non esposto).

ESEMPIO #1: PROGRESA

ESEMPIO #2: INTRODUZIONE DELLA PATENTE A PUNTI

La variabilità, nell’esempio #2 è solo nel tempo ma non fra individui (legge universale); quindi l’unica

possibilità per definire la variabile di trattamento è definirla nel tempo (utilizzare una dicotomica che

definisca un pre e un post).

ESEMPIO #3: LISTE DI MOBILITA’

Domanda: questi strumenti favoriscono la rioccupazione dei licenziati? Variabile outcome: tasso di

occupazione in ciascun mese successivo al licenziamento. Il trattamento varia in funzione di due

fattori: l’età del lavoratore al momento del licenziamento e la dimensione dell’impresa licenziante.

Grazie a questo mix di strumenti non è possibile individuare lavoratori che sono completamente

esclusi dal trattamento (ognuno è incluso almeno in una lista). Si riesce quindi a valutare l’effetto

differenziale da un trattamento all’altro (che mette a confronto due diversi pacchetti di benefici).

Sono definite dunque due variabili di trattamento: una dummy, che identifica la percezione o meno

dell’indennità (il cui coefficiente misura l’effetto indennità) e viene calcolata per diversi sottogruppi

di individui, di diverse età. E un’altra variabile per la durata della permanenza in lista. Questo perché,

per come è definita la politica, non è possibile stimare differentemente l’effetto di ciascuna

componente. Ciascun effetto è differenziale: mette a confronto diversi mix di trattamenti all’interno

della policy. Si confronta l’effetto dell’indennità tra gruppi diversi di permanenze in lista, (effetto

differenziale).

LEZIONE 2:

ANALISI DI IMPATTO: terzo elemento per la valutazione degli effetti (o impatto): definizione di

effetto. Abbiamo detto che l’obiettivo della valutazione degli effetti è vedere quale modifica del

problema può essere imputata in modo causale alla policy. Ma l’effetto non è il generale

cambiamento della variabile risultato (la quale può cambiare grazie a molti altri fattori), ma è il

cambiamento sulla variabile risultato che sappiamo che è una diretta conseguenza della sola policy

che abbiamo applicato.

Notiamo quindi come l’impatto sia la differenza tra due termini: il primo, cioè l’outcome nel periodo

T all’implementazione della policy è il termine osservabile, che chiameremo valore fattuale. L’altro

misura un periodo T successivo alla policy, ma se la policy non fosse stata attuata, e quindi ipotetico.

Questo è il valore controfattuale.

Quindi l’analisi d’impatto è il possibile insieme di tecniche il cui compito è trovare

un’approssimazione plausibile del valore controfattuale, cioè di quello che non possiamo osservare.

Due strategie per ottenere una stima del controfattuale: la prima sfrutta la variabilità nel tempo

della variabile trattamento; la seconda sfrutta la variabilità esistente tra i soggetti della variabile

trattamento. Entrambe hanno un problema metodologico, cioè che il controfattuale viene

approssimato da un termine sulla base di una specifica ipotesi. Nel primo caso, l’ipotesi è che il

valore osservato prima della policy non sarebbe variato (significa assumere che non esiste influenza

di altri fattori esterni). Nella seconda, approssimare il controfattuale con quello che è successo ad un

gruppo di unità escluse dall’intervento, significa che sto assumendo che i due gruppi siano uguali,

ignorando il fatto che i due gruppi potrebbero essere diversi in partenza e quindi avere livelli diversi

di outcome indipendentemente dall’intervento.

Capiamo perché è difficile ricostruire il controfattuale tramite un esempio:

Prima strategia: confrontare gli individui beneficiari nel periodo precedente e successivo alla policy:

Considerare il valore dell’outcome considerato prima dell’intervento come stima del controfattuale

produce un errore che chiamiamo errori da variabili omesse, perché ignoriamo l’effetto di altri

possibili fattori che potevano agire sull’outcome.

A priori non sappiamo quanta parte del cambiamento sia da attribuirsi alla politica e quanta parte

invece sia da attribuirsi ad altri fattori esogeni (indipendenti dalla politica stessa).

Abbiamo quindi cercato di approssimare il controfattuale utilizzando il valore della variabile

outcome osservata prima dell’intervento. Questa strategia produce stime distorte (soggette ad

errore). La grandezza di questo errore dipende da quanto ciò che abbiamo ipotizzato si avvicina alla

realtà.

Seconda strategia: ora osservo individui diversi nello stesso periodo di tempo T (periodo successivo

al trattamento). Sto quindi considerando gli effetti della mia policy su individui differenti,

rispettivamente quelli che hanno partecipato e quelli che non hanno partecipato alla policy, che

partono quindi da due condizioni differenti (diverse propensioni a spendere).

Errore di selezione è un errore di tipo sistematico in cui si incorre quando confrontiamo individui

differenti, che avranno quindi caratteristiche diverse, per ottenere una stima dell’impatto, che

possono rendere diversi i livelli di outcome nei due gruppi anche in assenza di intervento. Quando le

differenze influiscono sull’outcome si genera questo errore.

Modello che formalizza i concetti visti finora: modello di Rubin o dei risultati potenziali:

Media della variabile outcome nella popolazione di riferimento. Ovviamente si può calcolare anche

la media condizionata dei non trattati.

Il fenomeno in esame è la partecipazione al corso di formazione:

Quelle cerchiate in nero sono le variabili potenziali (cioè in potenza), ma per uno specifico individuo

posso osservarne solo una delle due. Anche se uno dei due non è direttamente osservabile, posso

comunque definire quel valore mancante.

Alle due equazioni di sopra se pongo rispettivamente D = 1 (trattato), otterrò che Y(i) = Y(1). Se

invece pongo D = 0, ottengo Y(i) = Y(0). La prima equazione può essere riscritta in un altro modo,

cioè come la seconda equazione (indicano comunque la stessa cosa). Nella seconda abbiamo che

l’outcome è uguale al reddito se non si partecipa al corso + la differenza tra i due valori potenziali

dell’outcome. L’effetto del differenziale di reddito si verifica solo se l’individuo è formato (trattato),

perché quella differenza è moltiplicata per D, e se la D = 0, quell’effetto scomparirebbe.

L’unico problema di questa differenza è che non possiamo mai calcolarla per ogni individuo: questo

perché l’individuo è o trattato o non trattato; non può essere contemporaneamente entrambe le

cose. Dunque, uno dei due redditi per ogni individuo è ipotetico, e quindi non osservabile

direttamente.

Possiamo provare a stimare un effetto medio nella popolazione o in alcune sottopopolazioni. L’unica

cosa che possiamo fare è stimare un effetto medio per una sottopopolazione. Abbiamo 3 misure di

effetto medio.

Prima misura per calcolare l’effetto medio:

È definita come diff tra due valori medi condizionati: il valore medio di Y (1) nella sottopopo