Appunti di Politiche pubbliche

Politiche pubbliche – valutazione

Capitoli 1 e 6: Ripasso modulo decisione e implementazione

Le 5 fasi del processo di policy

• Agenda settings (dilemma sociale che emerge dalla collettività)
• Formulazione della politica pubblica
• Adozione
• Implementazione
• Valutazione: ci interessa capire se la politica pubblica abbia avuto successo o meno

Nel dibattito pubblico si coglie insoddisfazione nei confronti dei decision makers, accusati di:

• Non capire i bisogni e i problemi dei cittadini — problema nel processo di rappresentanza
• Non sapere elaborare le norme — inerzia o incapacità legislativa
• Non saper applicare correttamente le norme — inerzia amministrativa

Questi problemi si collocano nella fase del processo di policy dell'implementazione. Da questo deriva una richiesta di valutare il successo delle politiche pubbliche per:

• Individuare e premiare i migliori — meritocrazia
• Individuare i peggiori e cercare di correggerne l'operato — controllo
• Rendere conto ai cittadini/elettori di cosa si è fatto con le risorse assegnate — responsabilità

In particolare, è bene valutare il successo di una politica pubblica per apprendere e per capire, esprimendo un giudizio empiricamente fondato, se la politica pubblica sia riuscita ad affrontare il problema collettivo per il quale era stata formulata. La valutazione serve a individuare gli errori commessi in modo da non ripeterli in futuro.

Due modi per intendere il successo e la valutazione

1. Implementation analysis (analisi di implementazione)

Una politica è di successo se ha trovato concreta attuazione e se è passata dallo stato di dettaglio normativo a quello di pratica amministrativa. L'obiettivo cognitivo è capire cosa è stato fatto e come la politica pubblica è stata attuata. Lo scopo è identificare il deficit di attuazione. Le tecniche sono qualitative come l'analisi del processo gestionale ex post. La tempistica può essere condotta in itinere (quando è in corso).

2. Impact analysis (analisi degli effetti)

Una politica è di successo se ha prodotto i risultati sperati. L'obiettivo cognitivo è verificare se quello che è stato fatto è riuscito a trasformare la realtà. Lo scopo è stimare gli effetti prodotti dalla politica pubblica. Le tecniche sono economico e statistiche ex post. La tempistica può essere condotta solo ex post.

Produce a service vs produce a change

Produce a service

La formazione professionale è interpretata come prestazioni didattiche offerte a certi allievi a un certo costo. Valutare significa:

• Rilevare la qualità della didattica offerta
• Giudicare se i costi sostenuti sono ragionevoli
• Misurare le conoscenze acquisite dagli allievi
• Rilevare le opinioni espresse dagli allievi (questionario)

Produce a change

La formazione professionale è interpretata come politica pubblica che intende migliorare le prospettive occupazionali degli allievi. Capire se quella formazione professionale abbia prodotto un cambiamento sulla realtà. Valutare significa:

• Stimare in che misura il tasso di disoccupazione diminuisce grazie alla formazione professionale
• Stimare se le probabilità di occupazione dei formati è aumentata grazie alla formazione ricevuta
• Esempio: se ha aumentato la probabilità che gli studenti trovino lavoro

Politics vs policy

Politics

È il sistema di relazioni che si instaurano tra i soggetti che ambiscono a conquistare il potere di assumere decisioni (lotta per il potere). Esistono tre obiettivi:

• Vote seeking: prendere più voti
• Office seeking: avere posizioni di prestigio
• Policy seeking

Policy (politica pubblica)

È l'insieme di azioni decise e condotte da più attori al fine di affrontare un problema collettivo. È pubblica perché affronta un problema percepito come rilevante dalla collettività.

Metafora della politica pubblica come terapia

La politica pubblica può essere vista come una terapia o un trattamento somministrato a certi soggetti per curare una malattia sociale. La malattia sociale è la situazione percepita come insoddisfacente, meritevole di cambiamento dalla collettività (patologia). I pazienti sono la popolazione target, ovvero i trattati. I beneficiari possono coincidere con i pazienti oppure no.

Valutare una politica pubblica significa:

• Verificare la sua capacità di prevenire i sintomi o curare la malattia sociale
• Esprimere giudizi empiricamente fondati sul successo ottenuto da una politica pubblica nell'affrontare uno specifico problema collettivo

I giudizi empiricamente fondati sono basati su osservazioni della realtà (sono dati empirici e non pensieri personali o idee). Il successo è la capacità della politica pubblica di produrre gli effetti desiderati.

La motivazione e le valutazioni di impatto

La motivazione è l'incertezza che la politica pubblica sia effettivamente in grado di produrre gli effetti indesiderati: c'è il dubbio che i miglioramenti osservati siano davvero merito della politica e che i peggioramenti osservati siano davvero colpa della politica. Le valutazioni di impatto funzionano solo quando il committente vuole davvero scoprire se ha investito bene o male. Valutare la politica pubblica è inutile quando il committente vuole sentirsi dire che ha fatto bene.

Esempio: Malattia sociale disoccupazione giovanile — Terapia (politica pubblica) corso di formazione professionale — Valutare l'efficacia della politica pubblica a un anno di distanza dalla fine del corso, il 70% dei partecipanti ha trovato lavoro.

Pertanto, possiamo dire che la politica pubblica ha avuto successo? No. Quando la politica pubblica viene implementata, dà vita a una realtà alternativa a quella di partenza. Nella realtà di partenza i ragazzi non seguono nessun corso. Nella realtà alternativa generata dalla politica pubblica i ragazzi seguono il corso.

Per capire se la politica pubblica ha avuto successo, dovremmo comparare il tasso di occupazione dei ragazzi che hanno frequentato il corso di formazione professionale (70%) al tasso di occupazione che quegli stessi ragazzi avrebbero avuto nella realtà di partenza. Dobbiamo stimare cosa sarebbe successo ai partecipanti del corso se il corso non avesse avuto luogo. Tuttavia, una volta che la politica pubblica è implementata, la realtà di partenza nella quale i ragazzi non frequentano nessun corso, scompare.

Effetto su cosa vs effetto di cosa

Effetto su cosa

Bisogna capire quali sono le caratteristiche osservabili e misurabili, a cui posso assegnare un valore (numerico), della popolazione su cui la politica interviene e che meglio rappresentano i comportamenti che la politica intende modificare (outcome variables). Si tratta di individuare delle variabili-risultato che rappresentino il problema/la malattia sociale su cui la politica intende incidere in modo positivo.

Esempio: valutare un progetto di formazione professionale:

• Obiettivo generico: combattere la disoccupazione
• Finalità più specifica: ridurre i tempi di ricerca di lavoro dopo il completamento del ciclo formativo
• Possibili variabili-risultato:
  • La percentuale di occupati a una certa distanza temporale dalla conclusione del ciclo formativo
  • La durata media della ricerca di lavoro necessaria a trovare la prima occupazione
  • Il numero di settimane di lavoro svolte nell'anno successivo alla conclusione del ciclo formativo

Effetto di cosa

È necessario individuare una variabile-trattamento e che questa presenti variazioni osservabili. Si usa una variabile dicotomica (0,1 o SI, NO) che rappresenterà l'assenza o la presenza del trattamento, l'esposizione o non esposizione dei membri della popolazione al trattamento. È indispensabile che ci sia variabilità, ovvero la popolazione deve avere entrambe le variabili (non è possibile che sia 0 o 1 per tutti).

Definizioni scorrette di effetto

1. L'effetto è il valore della variabile-risultato osservato nei soggetti esposti al trattamento dopo l'attuazione della politica. (dobbiamo sempre avere una stima controfattuale)
2. L'effetto è la differenza tra il valore della variabile-risultato osservato nei soggetti esposti al trattamento dopo l'attuazione della politica e il valore della variabile-risultato osservato nei soggetti esposti al trattamento prima dell'attuazione della politica. Questa definizione è scorretta perché nel momento in cui una politica pubblica viene implementata genera una realtà parallela. Ma noi dobbiamo capire quale sarebbe stato il risultato qualora la politica pubblica non fosse stata implementata.

Definizione corretta di effetto

L'effetto di una politica pubblica è la differenza tra il valore della variabile-risultato osservato nei soggetti trattati dopo l'attuazione della politica (valore fattuale) e il valore della variabile-risultato che si sarebbe osservato nei soggetti trattati in assenza della politica (valore contro-fattuale). Tuttavia, il valore controfattuale non può essere osservato.

Dilemma di Holland

Il valore fattuale può essere osservato, ma il valore controfattuale no. La non-osservabilità del valore controfattuale è il problema fondamentale dell'inferenza causale. Quindi, nel valutare l'effetto di una politica pubblica non possiamo ambire alla certezza assoluta. Tuttavia, si può cercare di ricostruire il valore controfattuale in modo credibile sulla base di evidenze empiriche.

Lo scopo è fornire ai policy makers e all'opinione pubblica evidenze empiriche solide, basate su analisi statistiche replicabili.

Capitolo 7 e Battistin e Berton fino a 3.3

Il modello di Rubin

Il modello dei risultati potenziali o modello di Rubin è un modo molto formalizzato per esprimere l'idea di controfattuale. Per ogni singola unità sulla quale si intende verificare l'effetto di una particolare azione, si possono definire due risultati potenziali:

• Il valore assunto dalla variabile risultato Y per l’unità i-esima (l’individuo) in assenza di trattamento 0 (Yi0) es. quanto potenzialmente guadagnerebbe Marco qualora NON si laureasse, il suo reddito.
• Il valore assunto dalla variabile risultato Y per l’unità i-esima (l’individuo) in presenza di trattamento 1 (Yi1) es. quanto potenzialmente guadagnerebbe Marco qualora SI laureasse.

I due risultati potenziali sono definiti a prescindere da quale trattamento è stato ricevuto, che è definito dalla variabile:

• Ti = 1 se l’unità è stata realmente esposta al trattamento (si laurea)
• Ti = 0 se l’unità non è stata esposta al trattamento (non si laurea)

L’effetto del trattamento su sarà definito come:

• Quando Ti = 1, cioè quando l’individuo è soggetto al trattamento
• Quando Ti = 0, cioè quando l’individuo non è soggetto al trattamento

Solo uno dei due risultati potenziali è osservabile nella realtà.

Per identificare l’effetto della politica pubblica sulla popolazione non è necessario scrivere l'apice. E() è il valore atteso, ovvero la media di quello che c’è tra parentesi. | la barra “tra”, indica il condizionamento a un sotto-insieme della popolazione (es. la media dei voti condizionando alle ragazze). Ci interessa la sotto-popolazione dei trattati.

Effetto medio del trattamento sui trattati ATT:

• Y1|T=1: il reddito dei trattati laureati
• Y0|T=1: il reddito dei trattati non laureati e se fossero laureati. È il controfattuale che non posso osservare quindi devo stimarlo in qualche modo.

Quello che possiamo osservare è il fattuale E(Y1|T=1) – E(Y0|T=0) differenza osservata trattati meno non trattati. Fattuale meno fattuale.

Quello che vorremmo stimare è il controfattuale E(Y1|T=1) – E(Y0|T=1) effetto medio sui trattati ATT. Fattuale meno controfattuale.

Equazione del modello di Rubin

Media reddito laureati – media reddito non laureati = differenza tra il valore fattuale Y1|T=1 e il valore controfattuale Y0|T=1 (effetto vero della politica) + la distorsione da selezione quindi il valore atteso della variabile E in condizione di non trattamento Y0 guardando ai soggetti trattati T=1 – il valore atteso della variabile E in condizione di non trattamento Y0 guardando ai soggetti non trattati T=0.

La differenza osservata tra T=1 e T=0 sarà una stima distorta dell’effetto sui trattati perché differenza E(Y0|T=1) – E(Y0|T=0) difficilmente sarà uguale a 0.

Distorsione da selezione

La distorsione da selezione è la differenza tra trattati e non trattati. E(Y0|T=1) - E(Y0|T=0) mostra l’effetto della politica pubblica + le differenze che si sarebbero manifestate nella variabile risultato tra trattati e non trattati a causa del processo di autoselezione. Es. le differenze nel reddito tra laureati e non laureati sono date dall’effetto della laurea + le differenze di partenza tra i due gruppi (motivazione, volontà).

Distorsione da dinamica spontanea

È la tendenza dei fenomeni di cambiare nel tempo indipendentemente dalla presenza di una politica pubblica.

Introduzione del tempo

• Periodo t-1 è il periodo precedente all’implementazione della politica pubblica.
• Periodo t la politica pubblica è implementata.
• Periodo t+1 periodo successivo all’implementazione della politica pubblica.

Ogni individuo avrà tre risultati potenziali:

• Risultato potenziale da trattato, dopo l’implementazione della politica pubblica (osservabile)
• Risultato potenziale da non trattato, dopo l’implementazione della politica pubblica (controfattuale)
• Risultato potenziale da non trattato, prima dell’implementazione della politica pubblica (osservabile perché prima di laurearsi potrebbe aver lavorato)

Passiamo alla popolazione soggetta alla politica pubblica (T=1 è sottointeso), quindi otteniamo tre medie dei risultati potenziali.