Appunti utili alla preparazione dell'esame di Metodi di valutazione di programmi e politiche pubbliche

Metodi di valutazione di programmi e politiche pubbliche

La definizione di valutazione viene presa da un’articolo del 2009 intitolato “Le molte logiche

della valutazione”:

Valutazione: attività tesa alla produzione sistematica di informazioni per dare giudizi su azioni

pubbliche, con l’intento di migliorarle. Definizione assai poco restrittiva che, proprio per

questo motivo, ha il pregio di adattarsi a molteplici interpretazioni.

Questa attività prevede l’uso di strumenti d’analisi mutuati dall’esperienza delle scienze

sociali. L’aggettivo sistematica riferito a produzione di informazioni allude proprio al suo

fondamento empirico ed analitico: essa si basa sull’osservazione della realtà, condotta

attraverso procedure condivise da una comunità scientifica di riferimento e si distingue dal

pronunciamento di un giudizio puramente personale e soggettivo.

La valutazione comporta l’espressione di un giudizio basato su un qualche termine di

confronto. Possiamo anzi affermare il principio che senza un confronto non si può avere

valutazione.

Problema: chiarire qual è il termine di confronto utilizzato per formulare tale giudizio, perché è

stato adottato proprio tale termine e come si è giunti alla sua costruzione.

Il termine di confronto può essere dichiarato dai decisori pubblici in qualche documento

ufficiale. Tale termine è in genere implicito, ambiguo, difficilmente riconoscibile, e neppure

esprimibile attraverso un semplice numero. Sta all’abilità del valutatore individuare, proporre

e trovare le argomentazioni giuste per far accettare come credibile un determinato termine di

confronto.

La valutazione incorpora un fondamentale intento migliorativo dell’azione pubblica. La volontà

di incidere sul processo decisionale pubblico costituisce la vera ragion d’essere di tale attività:

ogni valutazione nasce per produrre risultati analitici utilizzabili da chi decide. La missione di

ogni valutatore consiste nell’aiutare chi ha responsabilità decisionali ad assumere scelte più

informate e consapevoli.

L’informazione statistica si distingue dai giudizi personali perché viene rilevata sul campo ed

elaborata, è quindi oggettiva; una parte delle statistiche viene prodotta estraendo

informazioni da grandi banche dati provenienti dai social. Le tecniche che sfruttano queste

banche dati trasformano i big data in dati statistici. Per fare una valutazione si esprime

sempre un giudizio, in genere si esprime potendo fare un confronto o avendo un benchmark.

La vera sfida per il valutatore è il confronto, bisognerà confrontare con una situazione in cui

non vi era la politica pubblica per capire se ne è valsa la pena di spendere soldi pubblici. La

difficoltà sarà quella di trovare due situazioni comparabili. Valutiamo dopo aver definito la

domanda, essa è a monte.

Gli enti dopo aver attuato i programmi dovranno fare una valutazione.

Le logiche della valutazione:

1. Valutare per scegliere (fra più alternative)

2. Valutare per gestire le organizzazioni

3. Valutare per rendere conto soggetti esterni

4. Valutare per apprendere: mettendo in evidenza pregi e difetti, costi ed effetti prodotti; a

distanza di tempo posso apprendere da esperienze precedenti.

5. Valutare per motivare le collettività verso un obiettivo comune: per far riconoscere il valore

della politica pubblica.

L’approccio di analisi delle logiche valutative:

1) Valutare per scegliere (fra più alternative): all’interno della PA nasce spesso l’esistenza di

valutare al fine di scegliere tra operazioni alternative. Attraverso la valutazione si vuol

produrre un giudizio comparativo: ovvero un giudizio non assoluto. È una valutazione ex-

ante.

Quando fa una scelta la PA deve saper legittimare il modo in cui viene effettuata la scelta.

Vi sono tre passaggi essenziali:

Individuazione dei criteri, qualitativi o quantitativi, sui quali comparare gli n oggetti

 sottoposti a valutazione.

Esplicazione delle intenzioni del decisore pubblico traducendole in dimensioni

 osservabili. Scegliere, a volte, pesi diversi da assegnare ai criteri: spesso il peso varia in

ragione della presunta rilevanza del criterio individuato. Successivamente si assegna

uno specifico valore creando poi delle graduatorie. I valori assegnati possono derivare

da una misurazione oggettiva (il costo per la costruzione di un infrastruttura) o

soggettiva (opinione di un amministratore).

Aggregazione dei valori al fine di poter comparare gli oggetti.



Le tecniche:

Analisi costi-benefici: tenta di ricondurre il confronto tra le varie opzioni a valori

 monetari.

Analisi multicriteri: una famiglia di metodi che affronta la multidimensionalità di un

 problema decisionale senza tentare di riportare tutto al solo criterio monetario.

2) Valutare per gestire le organizzazioni: speso la PA si trova nella situazione di voler

migliorare il proprio funzionamento, oppure quello di enti o unità organizzative che da essa

dipendono. Questo tipo di valutazione va a valutare:

Ciò che l’organizzazione ha prodotto

 La performance



Le fasi che caratterizzano questo tipo di valutazione sono cinque:

Individuazione degli aspetti (dimensioni) dell’ agire dell’organizzazione che si ritiene

 utile tenere sotto controllo.

Definizione delle variabili (indicatori) capaci di descrivere la performance.

 Determinazione di standard per ciascun indicatore

 Raccolta dei dati per ricavare il valore di ciascun indicatore

 Interpretazione delle deviazioni della performance osservata dagli standard con

 l’introduzione di un meccanismo di premi e sanzioni per le organizzazioni.

L’individuazione degli standard si servono di valori osservati in passato da organizzazioni

simili che servono da benchmark.

3) Valutare per rendere conto a soggetti esterni: il primo stakeholder di cui dobbiamo

preoccuparci è colui che fornisce le risorse, il finanziatore (nel nostro caso l’UE). E

dovranno essere descritte le realizzazioni prodotte dalle amministrazioni pubbliche al fine

di poterne rendere conto agli stakeholders.

Un’elemento importante è la trasparenza: la PA deve legittimare il proprio ruolo agli occhi

di un pubblico esterno (finanziatori, contribuenti, utenti o elettori).

Il termine di confronto ideale è solitamente costituito da documento programmatico

all’interno del quale in precedenza l’ente aveva dichiarato pubblicamente che cosa

intendeva realizzare e come. La comparazione tra gli impegni assunti e le realizzazioni

prodotte determina il giudizio finale (es. bilancio sociale).

4) Valutare per apprendere: si confrontano azioni alternative per apprendere quale sia la

scelta più adeguata.

Si verifica la performance di un’organizzazione per apprendere come farla funzionare

meglio. Si chiede conto del raggiungimento degli impegni assunti per apprendere se le

risorse sono state utilizzate correttamente. Si intende imparare qualcosa di nuovo

sull’utilità degli interventi pubblici attuati. Attività analitica per sottoporre a verifica

empirica le ipotesi sulle quali si basa il disegno di una certa politica pubblica.

Non sempre l’idea di fare un’attività di valutazione viene proprio dall’amministrazione, a

volta viene spinta da altri portatori di interesse. I destinatari di tale conoscenza non sono

soltanto i finanziatori della politica pubblica, o i responsabili della sua gestione, ma un

insieme molto più ampio di soggetti accomunati dall’interesse di trovare soluzione ad un

certo problema sociale.

5) Valutare per motivare una certa collettività verso uno scopo comune: ci si rivolge ad un

valutatore a cui si richiede un contributo per l’individuazione dell’elemento più importante

da osservare e che possa diventare la spinta per il cambiamento. La valutazione non ha lo

scopo di produrre un risultato conoscitivo puntuale ma è inserito all’interno di un processo

di riflessione.

Fondi Strutturali Politica di Coesione:

I fondi strutturali europei sono lo strumento principale della politica degli investimenti

dell’Unione europea, per favorire la crescita economica e occupazionale delle regioni, e la

cooperazione territoriale europeo.

La politica di Coesione (o politica regionale europea) è la politica che l’Unione europea mette

in campo per ridurre le disparità di sviluppo fra. Le regioni degli Stati membri e per rafforzare

la coesione economica, sociale e territoriale.

Se guardiamo i fondi del 2014-2020:

I regolamenti che determinano le somme a disposizione sono entrati in vigore il 21 dicembre

2013 nell’ambito della “prospettiva finanziaria”, l’esercizio finanziario dell’Unione per i

successivi sette anni. Erano stati stanziati 351,8 miliardi di EUR (1/3 del bilancio dell’Unione)

per le politiche di coesione.

Vengono distribuiti in base a vari criteri, vengono innanzitutto classificate le regioni e i paesi

secondo un sistema di classificazione definito: vengono divise in base alla differenza

percentuale del PIL rispetto alla media del PIL dell’UE.

Avendo un impatto notevole sull’economia dei paesi ogni tre anni la Commissione pubblica

una “relazione sulla coesione” che descrive lo sviluppo della regione e l’impatto della politica.

In questo caso si è avuto un aumento del PIL pro capite nelle regioni meno sviluppate (di

convergenza) dell’UE, la creazione di 600.000 nuovi posti di lavoro di cui almeno 1/3 nelle PMI

e altri risultati. Bisogna guardare al risultato e poi andare oltre guardando gli effetti; le

valutazioni saranno ex-ante, in itinere e anche ex-post. La crescente importanza attribuita alla

valutazione della politica di coesione dell'UE fa parte di una più ampia diffusione della

valutazione delle politiche e dei programmi, che riflette un bisogno percepito di legittimare e

giustificare l'intervento di governo - anche se con grandi differenze tra i paesi. La

combinazione di una elevata spesa e le decisioni contestate sul suo utilizzo hanno portato a

pressioni per una maggiore responsabilità nella spesa, che si riflette nella creazione di un

sistema di valutazione sempre più ampio, nonché obblighi più rigorosi per il monitoraggio, la

gestione finanziaria e la revisione contabile di spese.

La definizione di valutazione

La valutazione è un’attività di tipo conoscitivo finalizzata a esprimere un giudizio su azioni, nel

nostro caso poste in essere dalla pubblica amministrazione, con l’intento di migliorarle.

Questa attività di tipo conoscitivo può assumere varie connotazioni; ad esempio: descrizione

quantitativa o qualitativa dell’attività svolta, descrizione comparata tra diverse attività,

costruzione di graduatorie tra progetti, ecc.

Le fasi di valutazione secondo le diverse accezioni:

Monitoraggio: misurare quello che si è fatto

 Valutazione di efficienza: giudicare come si è fatto

 Valutazione di efficacia: misurare gli effetti

 Previsione: prevederne gli impatti futuri

 Benchmarking: giudicare gli attori delle azioni, fare un confronto



La valutazione delle politiche è diversa dalla valutazione dei servizi pubblici:

Politica: un intervento che ha lo scopo di modificare una situazione a vantaggio di

 qualcuno o di risolvere un problema – ha senso chiedersi quali sono gli effetti

dell’intervento

Servizi: la produzione di un bene pubblico – è necessario chiedersi quale è l’output della

 produzione di quel servizio e se questo soddisfa gli utenti

Anche la valutazione dei risultati di un’azione dipende da questo tipo di contesto:

Se riguarda una politica, ovvero un intervento che ha lo scopo di modificare una situazione

 a vantaggio di qualcuno o di risolvere un problema, i risultati riguardano la capacità di

generare un effetto (un cambiamento), e di raggiungere i soggetti che a questo

cambiamento sono interessati;

Riguarda la produzione di un bene pubblico, ovvero generalmente una prestazione di

 servizio per soddisfare un bisogno pubblico, i risultati riguardano la capacità di soddisfare

gli utenti e di offrire un servizio a tutti i destinatari.

Valutazione in itinere e valutazione ex-post: In senso stretto, con il termine valutazione ci si

riferisce alla valutazione delle scelte di intervento compiute con l’obiettivo di identificarne gli

effetti (cosa è successo di ricollegabile agli interventi). Adottando una terminologia coniata in

ambito comunitario, si parla di valutazione ex-post (dopo che l’intervento è stato realizzato) o

in itinere (mentre l’intervento è ancora in fase di implementazione). In questi casi la

valutazione ha lo scopo non solo di accertare cosa le politiche effettivamente realizzate

abbiano prodotto, ma anche di estrarre da questa attività conoscitiva elementi generali e

specifici per modificare gli interventi in essere, accertarsi dell’opportunità della loro

continuazione o disegnare nuovi interventi o diverse modalità di attuazione.

Valutazione ex ante: si utilizza il termine valutazione anche per indicare attività di ricognizione

ragionata di una situazione (settoriale, territoriale) per identificare l’opportunità e la tipologia

di interventi necessari a un suo miglioramento; base per poter definire gli obiettivi e gli

strumenti di intervento. In questo caso si parla di valutazione ex-ante. In altri casi, si usa il

termine di valutazione ex-ante per indicare attività puntuali per esprimere un giudizio su

proposte progettuali alternative, sulle quali il policy maker opererà una scelta.

Valutazione ex post e monitoraggio: l’attività di monitoraggio consiste nella descrizione di una

politica in termini di procedure (es. tempi di erogazione di incentivi), realizzazioni (es. incentivi

concessi), risultati (es. numero di progetti realizzati), impatti (es. posti di lavoro attivati).

Questa analisi viene svolta attraverso la costruzione di appositi indicatori (indicatori di

realizzazione, di risultato , di impatto ecc.), espressi generalmente in termini quantitativi.

L’attività di monitoraggio è richiesta (insieme a quella di valutazione) in modo esplicito per

l’utilizzo dei fondi strutturali della UE. In questo caso si parla (forse più propriamente) di

attività di rendicontazione (della spesa, ovvero finanziaria, o delle realizzazioni, ovvero

“fisica”)

Questa attività di monitoraggio è solitamente propedeutica alla valutazione come analisi degli

effetti delle politiche, in quanto raccoglie informazioni su fenomeni connessi all’attuazione

della politica stessa. Non esprime giudizi. Non deve quindi essere confusa con l’attività di

valutazione in senso proprio, che invece ha come obiettivo l’individuazione degli effetti delle

politiche. Come vedremo, non è infatti possibile considerare, a meno di ipotesi molto

restrittive, la semplice variazione nel tempo degli indicatori di realizzazione o d’impatto quale

stima degli effetti delle politiche.

La valutazione diventa efficace se applicata durante tutto il ciclo di programmazione, nella

fase di definizione dei programmi e progetti, nella successiva fase di gestione ed infine per

l'analisi dei risultati e degli effetti. Tale valutazione avviene anche tramite l’analisi di opportuni

indicatori di contesto e di impatto, indicati nei diversi programmi. Una valutazione dettagliata

dell'intervento prevede l'analisi di alcuni aspetti specifici che permettono di caratterizzare il

processo di valutazione. I quesiti chiave riguardano i seguenti aspetti:

Efficacia: si confronta quanto è stato realizzato rispetto a quanto era stato programmato;

 Efficienza: rappresenta il rapporto tra realizzazioni, risultati e impatti e le risorse (in

 particolare quelle finanziarie);

Utilità e sostenibilità: si valuta se il programma ha avuto un'incidenza sui gruppi o sulle

 popolazioni destinatarie rispetto ai loro bisogni e se i cambiamenti (o i benefici) si

manterranno nel tempo una volta completato il programma;

Pertinenza: si analizza se gli obiettivi del programma sono pertinenza rispetto

 all’evoluzione dei bisogni della popolazione e dell’economia.

A seconda delle tecniche valutative utilizzate vi può essere una domanda maggiore o minore

di informazioni quantitative ovvero di insiemi di indicatori statistici. Questo tipo di

informazione non esaurisce mai l’intera attività valutativa che è fatta di interpretazione e di

ricostruzione delle catene causali, attività queste necessarie ad esprimere un giudizio in

relazione alla “qualità” dell’intervento, tuttavia, gli stessi benchmark della valutazione, ovvero

gli obiettivi dell’intervento, vengono generalmente qualificati ricorrendo a grandezze

statistiche possibilmente scelte tra quelle non direttamente manipolabili dal policy maker.

Indicatore: è la misura di un obiettivo, una risorsa, un effetto, un giudizio di qualità o una

variabile di contesto; l’indicatore produce informazione quantitativa con l’obiettivo di aiutare

gli operatori a conoscere, comunicare e prendere decisioni. Non usano indicatori le

misurazioni qualitative e le procedure di scoring.

Un indicatore può misurare fatti, opinioni e può anche essere costruito appositamente per la

valutazione o più derivare da un sistema di monitoraggio. Hanno due caratteristiche:

Significatività: indicatori rappresentativi degli obiettivi perseguiti dal programma.

 Misurabilità: devo poterlo quantificare.



Classificazione degli indicatori:

Secondo la struttura:

Elementari: informazione di base per altri indicatori (es. studenti maschi laureati in

 statistica)

Derivati: in genere rapporti (quota di studenti maschi laureati in statistica su totale)

 Sintetici: somma ponderata di indicatori elementari o derivati, con pe