Valutazione delle politiche pubbliche

Valutazione politiche pubbliche

Lezione 1: Politica pubblica = intervento = programma

La valutazione esprime giudizi, non etici o morali, ma sono valutazioni basate sull'osservazione della realtà; quindi, basate sui metodi di applicazione di analisi scientifica. Qualsiasi attività di tipo valutativo ha bisogno di info, sottoforma di dati di tipo quantitativo (o qualitativo). L'obiettivo di raccogliere info è quello di esprimere un giudizio sull’attività relativa alla politica. L'espressione di un giudizio comporta un confronto con un termine di paragone che deve essere esplicitato. A seconda del termine di paragone che si usa, otterremo una valutazione diversa. Usare i dati affinché si possano apporre dei correttivi su una politica, o per farne una nuova. La valutazione aiuta chi ha responsabilità decisionali ad assumere scelte più consapevoli.

Politica pubblica: policy. Insieme di azioni poste in essere da qualcuno (non per forza i politici) per affrontare (risolvere) un problema collettivo. Quest’ultimo è una situazione ritenuta socialmente problematica o insoddisfacente. Si chiama politica pubblica non perché chi le promulga è un soggetto politico, ma perché riguarda un problema che riguarda il pubblico (ha rilevanza collettiva), cioè tutti. Un sinonimo di policy è intervento o programma.

L'obiettivo della policy è quello di correggere un comportamento o una condizione ritenute problematiche. Successo: capacità di modificare questa situazione. La valutazione deve misurare l’impatto della politica: cioè se sono stati raggiunti gli obiettivi che quella policy si era prefissata di raggiungere. Ma la valutazione deve anche far capire quali sono gli interventi che hanno avuto successo e quali no.

Il compito fondamentale della policy è la valutazione degli effetti, cioè quello di riuscire a capire se i risultati osservati sono merito della politica (da imputare in modo causale alla politica), o se si sarebbero prodotti ugualmente (magari influenzati da altri eventi, si sarebbe modificata la situazione indipendentemente dalle azioni messe in campo). Quindi importante è l’attribuzione della causalità: è stato l’intervento a produrre i risultati osservati?

Abbiamo una valutazione per ogni fase di vita della politica: noi ci occuperemo solo della valutazione degli effetti. Ma c’è anche una valutazione dell’implementazione, che cerca di chiarire quali sono le ragioni (di tipo organizzativo, di contesto), per cui un cambiamento si è verificato o no. È un’attività di tipo propedeutico alla valutazione degli effetti perché si occupa di analizzare la fase di attuazione della policy (come si sono svolte le azioni sul campo) e soprattutto come si sono svolte le azioni rispetto al disegno della politica.

Causalità e valutazione

Causalità: tra azione prevista dalla politica e risultati effettivamente osservati.

Valutazione effetti: verificare gli effetti della politica sulla modifica dei comportamenti problematici.

Valutazione implementazione: verificare se la politica sia conforme al suo progetto iniziale, quindi se dal disegno fino alla sua attuazione sul campo, la politica sia rimasta intatta o se vi siano state delle discrepanze nel suo passaggio, e se sì quali ne sono state le cause. Differenza tra le due: è il termine di confronto. Per la seconda è capire se la politica si sia conformata a come era stata disegnata al suo progetto iniziale (cò che era stato programmato a ciò che è stato realizzato); per la prima lo vedremo dopo. Gli obiettivi delle due analisi sono diversi, e sono diversi anche gli strumenti.

Le due valutazioni sono però complementari: entrambe le valutazioni concorrono al raggiungimento dell’obiettivo. Se da una delle due valutazioni risulta una fallacia, non si riuscirà ad arrivare all’obiettivo previsto. Ad esempio, per quel che riguarda la valutazione degli effetti: se i nessi causali ipotizzati alla base della logica della policy non sono plausibili, è chiaro che i risultati non sono quelli sperati.

Si fanno quindi delle verifiche tra come è stata disegnata e come è stata effettuata (valutazione implementazione) e infine sui risultati effettivi e quelli attesi (valutazione effetti).

Varie fasi dell’attuazione di una policy

• Preparazione policy (organizzazione e regole)
• Selezione dei beneficiari (si misura l’accuratezza dei destinatari previsti)
• Erogazione dei benefici/servizi: modalità con cui sono erogati, accessibilità ai servizi, difformità a livello locale, oppure esistenza di trattamenti alternativi o concomitanti (che possono inficiare i benefici attesi)
• Reazione dei beneficiari: verifica se i destinatari si conformano con le ipotesi alla base del disegno. Può evidenziare dei comportamenti inattesi o devianti e cerca di individuarne le ragioni. Se le reazioni di discostano da quelle attese: questo può aiutarci a capire perché una politica non ha avuto i risultati sperati.

Tutte le attività valutative sopraelencate, che rientrano nella valutazione dell’implementazione, aiutano a interpretare e capire i risultati ottenuti nella valutazione degli effetti. Quando non ci sono effetti, la valutazione dell’implementazione ci permette di capire se ciò sia dovuto a qualche mancanza dovuta all’implementazione, oppure se c’erano delle mancanze già all’origine, e cioè nel disegno stesso della politica (si è sbagliato strumento per risolvere un problema; e cioè si sono supposti dei nessi logici causali (che legano le azioni ai risultati attesi) che si sono rilevati fallaci).

Vari tipi di valutazioni

Valutazione ex-post: ci occuperemo della valutazione ex post (perché viene fatta successivamente all’implementazione della policy, dopo che l’intervento è stato realizzato). Lo scopo di questo tipo di valutazione è di accertare quali siano gli effetti (cosa ha prodotto la policy) e di fornire elementi utili per eventualmente modificare la policy e valutare se si è il caso di continuare così come sono state disegnate ed implementate, oppure se modificare qualcosa (parzialmente o deciderne l’interruzione).

Valutazione ex-ante: serve per scegliere i diversi elementi da utilizzare per disegnare la policy nel modo migliore possibile.

Attività di monitoraggio vs attività di valutazione: l’attività di monitoraggio è sempre descrittiva e sistematica, ma si differenzia dall’attività di valutazione perché la prima è di tipo continuativo, perché ha lo scopo di documentare i diversi aspetti della performance di una politica sia per quanto riguarda il processo di attuazione, che i benefici attesi. L’attività di monitoraggio è propedeutica a quella della valutazione degli effetti.

Problema collettivo: malattia da curare (ritenute socialmente indesiderabili, che si vuole correggere). L’intervento è il trattamento, la cura. Le caratteristiche della malattia e le modalità adottate per affrontarla determinano la quantità e il tipo di pazienti a cui la politica si rivolge. Popolazione target = insieme dei beneficiari a cui la politica si rivolge. I destinatari possono coincidere con i beneficiari, ma non necessariamente.

Quali sono i passi preliminari per fare una valutazione degli effetti? Innanzitutto, non è sempre possibile farla (lunga, perché per vedere gli effetti ci vuole tempo e dispendiosa). Deve essere quindi possibile identificare degli obiettivi espressi in maniera chiara e che siano misurabili.

• Il primo passo è identificare le dimensioni su cui vanno ricercati e misurati gli effetti di una politica (outcome), e devono poi essere tradotti in variabili che siano osservabili e misurabili. Deve essere possibile definire almeno una variabile risultato, che è osservabile e misurabile.
• Poi, deve essere possibile verificare la variabile di trattamento, che identifichi gli strumenti in cui si traduce la politica e di cui si intende valutare l’effetto.
• Infine, bisogna poter valutare l’effetto; definire un termine di effetto (di paragone).

Outcome (variabili risultato): dimensioni osservabili su cui si vogliono misurare gli effetti. Questa è la condizione che la policy vuole modificare o la caratteristica della popolazione di target. Deve avere due caratteristiche: deve poter essere misurata anche in situazioni/individui in cui l’intervento non esiste (perché la variabile deve essere possibile misurarla anche in assenza del trattamento, nel caso in cui i destinatari non partecipino alla policy); deve rappresentare una caratteristica misurabile per ogni singola unità della popolazione (no indicatore aggregato). Quindi non è un indicatore misurato sulla collettività, ma su ogni individuo. Ovviamente, deve rappresentare anche una dimensione rilevante del problema che si vuole analizzare. Possiamo anche avere un solo outcome ma più variabili risultato (cioè più variabili che ci indicano lo stesso risultato, nel caso dell’esempio di seguito occupato/disoccupato).

Variabile di trattamento: è una variabile che traduce quantitativamente gli strumenti di cui si compone la policy (descrive il tipo di intervento specifico in cui consiste la politica). Occorre individuare una variabile che definisca quale specifico strumento è stato somministrato. Una variabile trattamento non può essere uguale nel tempo per tutti gli individui, ma si devono poter osservare delle variazioni. Dunque, deve avere o l’una o l’altra delle seguenti caratteristiche:

• Deve o variare nel tempo (deve essere possibile individuare almeno un periodo pre-intervento e uno post-intervento);
• Varia nello spazio (varia tra soggetti); il che significa che in un certo periodo di tempo devo individuare dei soggetti che sono esposti alla politica e altri che non lo sono (la maggior parte delle policy).

Se la variabile non rispetta nessuna delle due condizioni sopra elencate, non posso fare niente. Una variabile di trattamento, nella forma più semplice, è quella di tipo dicotomico, o binaria, o dummy, cioè che assume solo due valori che rappresentano la presenza/assenza di trattamento o l’esposizione o meno dei membri della popolazione alla policy (si e no, oppure, trasformati in quantitativi, 1 = cittadino esposto al trattamento e 0 = non esposto).

Esempio #1: PROGRESA

Esempio #2: Introduzione della patente a punti

La variabilità, nell’esempio #2 è solo nel tempo ma non fra individui (legge universale); quindi l’unica possibilità per definire la variabile di trattamento è definirla nel tempo (utilizzare una dicotomica che definisca un pre e un post).

Esempio #3: Liste di mobilità

Domanda: questi strumenti favoriscono la rioccupazione dei licenziati? Variabile outcome: tasso di occupazione in ciascun mese successivo al licenziamento. Il trattamento varia in funzione di due fattori: l’età del lavoratore al momento del licenziamento e la dimensione dell’impresa licenziante. Grazie a questo mix di strumenti non è possibile individuare lavoratori che sono completamente esclusi dal trattamento (ognuno è incluso almeno in una lista). Si riesce quindi a valutare l’effetto differenziale da un trattamento all’altro (che mette a confronto due diversi pacchetti di benefici). Sono definite dunque due variabili di trattamento: una dummy, che identifica la percezione o meno dell’indennità (il cui coefficiente misura l’effetto indennità) e viene calcolata per diversi sottogruppi di individui, di diverse età. E un’altra variabile per la durata della permanenza in lista. Questo perché, per come è definita la politica, non è possibile stimare differentemente l’effetto di ciascuna componente. Ciascun effetto è differenziale: mette a confronto diversi mix di trattamenti all’interno della policy. Si confronta l’effetto dell’indennità tra gruppi diversi di permanenze in lista, (effetto differenziale).

Lezione 2: Analisi di impatto

Terzo elemento per la valutazione degli effetti (o impatto): definizione di effetto. Abbiamo detto che l’obiettivo della valutazione degli effetti è vedere quale modifica del problema può essere imputata in modo causale alla policy. Ma l’effetto non è il generale cambiamento della variabile risultato (la quale può cambiare grazie a molti altri fattori), ma è il cambiamento sulla variabile risultato che sappiamo che è una diretta conseguenza della sola policy che abbiamo applicato.

Notiamo quindi come l’impatto sia la differenza tra due termini: il primo, cioè l’outcome nel periodo T all’implementazione della policy è il termine osservabile, che chiameremo valore fattuale. L’altro misura un periodo T successivo alla policy, ma se la policy non fosse stata attuata, e quindi ipotetico. Questo è il valore controfattuale.

Quindi l’analisi d’impatto è il possibile insieme di tecniche il cui compito è trovare un’approssimazione plausibile del valore controfattuale, cioè di quello che non possiamo osservare. Due strategie per ottenere una stima del controfattuale: la prima sfrutta la variabilità nel tempo della variabile trattamento; la seconda sfrutta la variabilità esistente tra i soggetti della variabile trattamento. Entrambe hanno un problema metodologico, cioè che il controfattuale viene approssimato da un termine sulla base di una specifica ipotesi. Nel primo caso, l’ipotesi è che il valore osservato prima della policy non sarebbe variato (significa assumere che non esiste influenza di altri fattori esterni). Nella seconda, approssimare il controfattuale con quello che è successo ad un gruppo di unità escluse dall’intervento, significa che sto assumendo che i due gruppi siano uguali, ignorando il fatto che i due gruppi potrebbero essere diversi in partenza e quindi avere livelli diversi di outcome indipendentemente dall’intervento.

Capiamo perché è difficile ricostruire il controfattuale tramite un esempio:

Prima strategia: confrontare gli individui beneficiari nel periodo precedente e successivo alla policy: Considerare il valore dell’outcome considerato prima dell’intervento come stima del controfattuale produce un errore che chiamiamo errori da variabili omesse, perché ignoriamo l’effetto di altri possibili fattori che potevano agire sull’outcome. A priori non sappiamo quanta parte del cambiamento sia da attribuirsi alla politica e quanta parte invece sia da attribuirsi ad altri fattori esogeni (indipendenti dalla politica stessa). Abbiamo quindi cercato di approssimare il controfattuale utilizzando il valore della variabile outcome osservata prima dell’intervento. Questa strategia produce stime distorte (soggette ad errore). La grandezza di questo errore dipende da quanto ciò che abbiamo ipotizzato si avvicina alla realtà.

Seconda strategia: ora osservo individui diversi nello stesso periodo di tempo T (periodo successivo al trattamento). Sto quindi considerando gli effetti della mia policy su individui differenti, rispettivamente quelli che hanno partecipato e quelli che non hanno partecipato alla policy, che partono quindi da due condizioni differenti (diverse propensioni a spendere). Errore di selezione è un errore di tipo sistematico in cui si incorre quando confrontiamo individui differenti, che avranno quindi caratteristiche diverse, per ottenere una stima dell’impatto, che possono rendere diversi i livelli di outcome nei due gruppi anche in assenza di intervento. Quando le differenze influiscono sull’outcome si genera questo errore.

Modello di Rubin o dei risultati potenziali

Media della variabile outcome nella popolazione di riferimento. Ovviamente si può calcolare anche la media condizionata dei non trattati. Il fenomeno in esame è la partecipazione al corso di formazione: Quelle cerchiate in nero sono le variabili potenziali (cioè in potenza), ma per uno specifico individuo posso osservarne solo una delle due. Anche se uno dei due non è direttamente osservabile, posso comunque definire quel valore mancante.

Alle due equazioni di sopra se pongo rispettivamente D = 1 (trattato), otterrò che Y(i) = Y(1). Se invece pongo D = 0, ottengo Y(i) = Y(0). La prima equazione può essere riscritta in un altro modo, cioè come la seconda equazione (indicano comunque la stessa cosa). Nella seconda abbiamo che l’outcome è uguale al reddito se non si partecipa al corso + la differenza tra i due valori potenziali dell’outcome. L’effetto del differenziale di reddito si verifica solo se l’individuo è formato (trattato), perché quella differenza è moltiplicata per D, e se la D = 0, quell’effetto scomparirebbe.

L’unico problema di questa differenza è che non possiamo mai calcolarla per ogni individuo: questo perché l’individuo è o trattato o non trattato; non può essere contemporaneamente entrambe le cose. Dunque, uno dei due redditi per ogni individuo è ipotetico, e quindi non osservabile direttamente.

Possiamo provare a stimare un effetto medio nella popolazione o in alcune sottopopolazioni. L’unica cosa che possiamo fare è stimare un effetto medio per una sottopopolazione. Abbiamo 3 misure di effetto medio.

Prima misura per calcolare l’effetto medio: È definita come diff tra due valori medi condizionati: il valore medio di Y (1) nella sottopopolazione...