Appunti utili alla preparazione dell'esame di Metodi di valutazione di programmi e politiche pubbliche

Metodi di valutazione di programmi e politiche pubbliche

Definizione di valutazione

La definizione di valutazione viene presa da un articolo del 2009 intitolato “Le molte logiche della valutazione”:

Valutazione: attività tesa alla produzione sistematica di informazioni per dare giudizi su azioni pubbliche, con l'intento di migliorarle. Definizione assai poco restrittiva che, proprio per questo motivo, ha il pregio di adattarsi a molteplici interpretazioni.

Questa attività prevede l'uso di strumenti d'analisi mutuati dall'esperienza delle scienze sociali. L'aggettivo sistematica riferito a produzione di informazioni allude proprio al suo fondamento empirico ed analitico: essa si basa sull'osservazione della realtà, condotta attraverso procedure condivise da una comunità scientifica di riferimento e si distingue dal pronunciamento di un giudizio puramente personale e soggettivo.

La valutazione comporta l'espressione di un giudizio basato su un qualche termine di confronto. Possiamo anzi affermare il principio che senza un confronto non si può avere valutazione.

Problema di valutazione

Problema: chiarire qual è il termine di confronto utilizzato per formulare tale giudizio, perché è stato adottato proprio tale termine e come si è giunti alla sua costruzione. Il termine di confronto può essere dichiarato dai decisori pubblici in qualche documento ufficiale. Tale termine è in genere implicito, ambiguo, difficilmente riconoscibile, e neppure esprimibile attraverso un semplice numero. Sta all'abilità del valutatore individuare, proporre e trovare le argomentazioni giuste per far accettare come credibile un determinato termine di confronto.

La valutazione incorpora un fondamentale intento migliorativo dell'azione pubblica. La volontà di incidere sul processo decisionale pubblico costituisce la vera ragion d'essere di tale attività: ogni valutazione nasce per produrre risultati analitici utilizzabili da chi decide. La missione di ogni valutatore consiste nell'aiutare chi ha responsabilità decisionali ad assumere scelte più informate e consapevoli.

L'informazione statistica si distingue dai giudizi personali perché viene rilevata sul campo ed elaborata, ed è quindi oggettiva; una parte delle statistiche viene prodotta estraendo informazioni da grandi banche dati provenienti dai social. Le tecniche che sfruttano queste banche dati trasformano i big data in dati statistici. Per fare una valutazione si esprime sempre un giudizio, in genere si esprime potendo fare un confronto o avendo un benchmark.

La vera sfida per il valutatore è il confronto, bisognerà confrontare con una situazione in cui non vi era la politica pubblica per capire se ne è valsa la pena di spendere soldi pubblici. La difficoltà sarà quella di trovare due situazioni comparabili. Valutiamo dopo aver definito la domanda, essa è a monte. Gli enti dopo aver attuato i programmi dovranno fare una valutazione.

Le logiche della valutazione

• Valutare per scegliere (fra più alternative)
• Valutare per gestire le organizzazioni
• Valutare per rendere conto a soggetti esterni
• Valutare per apprendere: mettendo in evidenza pregi e difetti, costi ed effetti prodotti; a distanza di tempo posso apprendere da esperienze precedenti.
• Valutare per motivare le collettività verso un obiettivo comune: per far riconoscere il valore della politica pubblica.

L'approccio di analisi delle logiche valutative

1) Valutare per scegliere (fra più alternative)

All'interno della PA nasce spesso l'esigenza di valutare al fine di scegliere tra operazioni alternative. Attraverso la valutazione si vuol produrre un giudizio comparativo: ovvero un giudizio non assoluto. È una valutazione ex-ante.

Quando fa una scelta la PA deve saper legittimare il modo in cui viene effettuata la scelta. Vi sono tre passaggi essenziali:

• Individuazione dei criteri, qualitativi o quantitativi, sui quali comparare gli oggetti sottoposti a valutazione.
• Esplicazione delle intenzioni del decisore pubblico traducendole in dimensioni osservabili. Scegliere, a volte, pesi diversi da assegnare ai criteri: spesso il peso varia in ragione della presunta rilevanza del criterio individuato. Successivamente si assegna uno specifico valore creando poi delle graduatorie. I valori assegnati possono derivare da una misurazione oggettiva (il costo per la costruzione di un'infrastruttura) o soggettiva (opinione di un amministratore).
• Aggregazione dei valori al fine di poter comparare gli oggetti.

Le tecniche

• Analisi costi-benefici: tenta di ricondurre il confronto tra le varie opzioni a valori monetari.
• Analisi multicriteri: una famiglia di metodi che affronta la multidimensionalità di un problema decisionale senza tentare di riportare tutto al solo criterio monetario.

2) Valutare per gestire le organizzazioni

Spesso la PA si trova nella situazione di voler migliorare il proprio funzionamento, oppure quello di enti o unità organizzative che da essa dipendono. Questo tipo di valutazione va a valutare:

• Ciò che l'organizzazione ha prodotto
• La performance

Le fasi che caratterizzano questo tipo di valutazione sono cinque:

• Individuazione degli aspetti (dimensioni) dell'agire dell'organizzazione che si ritiene utile tenere sotto controllo.
• Definizione delle variabili (indicatori) capaci di descrivere la performance.
• Determinazione di standard per ciascun indicatore.
• Raccolta dei dati per ricavare il valore di ciascun indicatore.
• Interpretazione delle deviazioni della performance osservata dagli standard con l'introduzione di un meccanismo di premi e sanzioni per le organizzazioni.

L'individuazione degli standard si serve di valori osservati in passato da organizzazioni simili che servono da benchmark.

3) Valutare per rendere conto a soggetti esterni

Il primo stakeholder di cui dobbiamo preoccuparci è colui che fornisce le risorse, il finanziatore (nel nostro caso l'UE). Ed dovranno essere descritte le realizzazioni prodotte dalle amministrazioni pubbliche al fine di poterne rendere conto agli stakeholders.

Un elemento importante è la trasparenza: la PA deve legittimare il proprio ruolo agli occhi di un pubblico esterno (finanziatori, contribuenti, utenti o elettori). Il termine di confronto ideale è solitamente costituito da documento programmatico all'interno del quale in precedenza l'ente aveva dichiarato pubblicamente che cosa intendeva realizzare e come. La comparazione tra gli impegni assunti e le realizzazioni prodotte determina il giudizio finale (es. bilancio sociale).

4) Valutare per apprendere

Si confrontano azioni alternative per apprendere quale sia la scelta più adeguata. Si verifica la performance di un'organizzazione per apprendere come farla funzionare meglio. Si chiede conto del raggiungimento degli impegni assunti per apprendere se le risorse sono state utilizzate correttamente. Si intende imparare qualcosa di nuovo sull'utilità degli interventi pubblici attuati. Attività analitica per sottoporre a verifica empirica le ipotesi sulle quali si basa il disegno di una certa politica pubblica. Non sempre l'idea di fare un'attività di valutazione viene proprio dall'amministrazione, a volta viene spinta da altri portatori di interesse. I destinatari di tale conoscenza non sono soltanto i finanziatori della politica pubblica, o i responsabili della sua gestione, ma un insieme molto più ampio di soggetti accomunati dall'interesse di trovare soluzione ad un certo problema sociale.

5) Valutare per motivare una certa collettività verso uno scopo comune

Ci si rivolge ad un valutatore a cui si richiede un contributo per l'individuazione dell'elemento più importante da osservare e che possa diventare la spinta per il cambiamento. La valutazione non ha lo scopo di produrre un risultato conoscitivo puntuale ma è inserito all'interno di un processo di riflessione.

Fondi strutturali politica di coesione

I fondi strutturali europei sono lo strumento principale della politica degli investimenti dell'Unione europea, per favorire la crescita economica e occupazionale delle regioni, e la cooperazione territoriale europea. La politica di coesione (o politica regionale europea) è la politica che l'Unione europea mette in campo per ridurre le disparità di sviluppo fra le regioni degli Stati membri e per rafforzare la coesione economica, sociale e territoriale.

Se guardiamo i fondi del 2014-2020: i regolamenti che determinano le somme a disposizione sono entrati in vigore il 21 dicembre 2013 nell'ambito della “prospettiva finanziaria”, l'esercizio finanziario dell'Unione per i successivi sette anni. Erano stati stanziati 351,8 miliardi di EUR (1/3 del bilancio dell'Unione) per le politiche di coesione. Vengono distribuiti in base a vari criteri, vengono innanzitutto classificate le regioni e i paesi secondo un sistema di classificazione definito: vengono divise in base alla differenza percentuale del PIL rispetto alla media del PIL dell'UE.

Avendo un impatto notevole sull'economia dei paesi ogni tre anni la Commissione pubblica una “relazione sulla coesione” che descrive lo sviluppo della regione e l'impatto della politica. In questo caso si è avuto un aumento del PIL pro capite nelle regioni meno sviluppate (di convergenza) dell'UE, la creazione di 600.000 nuovi posti di lavoro di cui almeno 1/3 nelle PMI e altri risultati. Bisogna guardare al risultato e poi andare oltre guardando gli effetti; le valutazioni saranno ex-ante, in itinere e anche ex-post.

La crescente importanza attribuita alla valutazione della politica di coesione dell'UE fa parte di una più ampia diffusione della valutazione delle politiche e dei programmi, che riflette un bisogno percepito di legittimare e giustificare l'intervento di governo - anche se con grandi differenze tra i paesi. La combinazione di una elevata spesa e le decisioni contestate sul suo utilizzo hanno portato a pressioni per una maggiore responsabilità nella spesa, che si riflette nella creazione di un sistema di valutazione sempre più ampio, nonché obblighi più rigorosi per il monitoraggio, la gestione finanziaria e la revisione contabile di spese.

La definizione di valutazione

La valutazione è un'attività di tipo conoscitivo finalizzata a esprimere un giudizio su azioni, nel nostro caso poste in essere dalla pubblica amministrazione, con l'intento di migliorarle. Questa attività di tipo conoscitivo può assumere varie connotazioni; ad esempio: descrizione quantitativa o qualitativa dell'attività svolta, descrizione comparata tra diverse attività, costruzione di graduatorie tra progetti, ecc.

Le fasi di valutazione secondo le diverse accezioni

• Monitoraggio: misurare quello che si è fatto
• Valutazione di efficienza: giudicare come si è fatto
• Valutazione di efficacia: misurare gli effetti
• Previsione: prevederne gli impatti futuri
• Benchmarking: giudicare gli attori delle azioni, fare un confronto

Valutazione delle politiche vs. valutazione dei servizi pubblici

Politica: un intervento che ha lo scopo di modificare una situazione a vantaggio di qualcuno o di risolvere un problema – ha senso chiedersi quali sono gli effetti dell'intervento.

Servizi: la produzione di un bene pubblico – è necessario chiedersi quale è l'output della produzione di quel servizio e se questo soddisfa gli utenti.

Anche la valutazione dei risultati di un'azione dipende da questo tipo di contesto:

• Se riguarda una politica, ovvero un intervento che ha lo scopo di modificare una situazione a vantaggio di qualcuno o di risolvere un problema, i risultati riguardano la capacità di generare un effetto (un cambiamento), e di raggiungere i soggetti che a questo cambiamento sono interessati;
• Riguarda la produzione di un bene pubblico, ovvero generalmente una prestazione di servizio per soddisfare un bisogno pubblico, i risultati riguardano la capacità di soddisfare gli utenti e di offrire un servizio a tutti i destinatari.

Valutazione in itinere e valutazione ex-post

In senso stretto, con il termine valutazione ci si riferisce alla valutazione delle scelte di intervento compiute con l'obiettivo di identificarne gli effetti (cosa è successo di ricollegabile agli interventi). Adottando una terminologia coniata in ambito comunitario, si parla di valutazione ex-post (dopo che l'intervento è stato realizzato) o in itinere (mentre l'intervento è ancora in fase di implementazione).

In questi casi la valutazione ha lo scopo non solo di accertare cosa le politiche effettivamente realizzate abbiano prodotto, ma anche di estrarre da questa attività conoscitiva elementi generali e specifici per modificare gli interventi in essere, accertarsi dell'opportunità della loro continuazione o disegnare nuovi interventi o diverse modalità di attuazione.

Valutazione ex ante

Si utilizza il termine valutazione anche per indicare attività di ricognizione ragionata di una situazione (settoriale, territoriale) per identificare l'opportunità e la tipologia di interventi necessari a un suo miglioramento; base per poter definire gli obiettivi e gli strumenti di intervento. In questo caso si parla di valutazione ex-ante. In altri casi, si usa il termine di valutazione ex-ante per indicare attività puntuali per esprimere un giudizio su proposte progettuali alternative, sulle quali il policy maker opererà una scelta.

Valutazione ex post e monitoraggio

L'attività di monitoraggio consiste nella descrizione di una politica in termini di procedure (es. tempi di erogazione di incentivi), realizzazioni (es. incentivi concessi), risultati (es. numero di progetti realizzati), impatti (es. posti di lavoro attivati). Questa analisi viene svolta attraverso la costruzione di appositi indicatori (indicatori di realizzazione, di risultato, di impatto ecc.), espressi generalmente in termini quantitativi.

L'attività di monitoraggio è richiesta (insieme a quella di valutazione) in modo esplicito per l'utilizzo dei fondi strutturali della UE. In questo caso si parla (forse più propriamente) di attività di rendicontazione (della spesa, ovvero finanziaria, o delle realizzazioni, ovvero “fisica”).

Questa attività di monitoraggio è solitamente propedeutica alla valutazione come analisi degli effetti delle politiche, in quanto raccoglie informazioni su fenomeni connessi all'attuazione della politica stessa. Non esprime giudizi. Non deve quindi essere confusa con l'attività di valutazione in senso proprio, che invece ha come obiettivo l'individuazione degli effetti delle politiche. Come vedremo, non è infatti possibile considerare, a meno di ipotesi molto restrittive, la semplice variazione nel tempo degli indicatori di realizzazione o d’impatto quale stima degli effetti delle politiche.

Valutazione durante il ciclo di programmazione

La valutazione diventa efficace se applicata durante tutto il ciclo di programmazione, nella fase di definizione dei programmi e progetti, nella successiva fase di gestione ed infine per l'analisi dei risultati e degli effetti. Tale valutazione avviene anche tramite l’analisi di opportuni indicatori di contesto e di impatto, indicati nei diversi programmi. Una valutazione dettagliata dell'intervento prevede l'analisi di alcuni aspetti specifici che permettono di caratterizzare il processo di valutazione. I quesiti chiave riguardano i seguenti aspetti:

• Efficacia: si confronta quanto è stato realizzato rispetto a quanto era stato programmato;
• Efficienza: rappresenta il rapporto tra realizzazioni, risultati e impatti e le risorse (in particolare quelle finanziarie);
• Utilità e sostenibilità: si valuta se il programma ha avuto un'incidenza sui gruppi o sulle popolazioni destinatarie rispetto ai loro bisogni e se i cambiamenti (o i benefici) si manterranno nel tempo una volta completato il programma;
• Pertinenza: si analizza se gli obiettivi del programma sono pertinenti rispetto all’evoluzione dei bisogni della popolazione e dell’economia.

A seconda delle tecniche valutative utilizzate vi può essere una domanda maggiore o minore di informazioni quantitative ovvero di insiemi di indicatori statistici. Questo tipo di informazione non esaurisce mai l'intera attività valutativa che è fatta di interpretazione e di ricostruzione delle catene causali, attività queste necessarie ad esprimere un giudizio in relazione alla qualità dell’intervento, tuttavia, gli stessi benchmark della valutazione, ovvero gli obiettivi dell’intervento, vengono generalmente qualificati ricorrendo a grandezze statistiche possibilmente scelte tra quelle non direttamente manipolabili dal policy maker.

Indicatore

Un indicatore è la misura di un obiettivo, una risorsa, un effetto, un giudizio di qualità o una variabile di contesto; l’indicatore produce informazione quantitativa con l’obiettivo di aiutare gli operatori a conoscere, comunicare e prendere decisioni. Non usano indicatori le misurazioni qualitative e le procedure di scoring. Un indicatore può misurare fatti, opinioni e può anche essere costruito appositamente per la valutazione o più derivare da un sistema di monitoraggio. Hanno due caratteristiche:

• Significatività: indicatori rappresentativi degli obiettivi perseguiti dal programma.
• Misurabilità: devo poterlo quantificare.

Classificazione degli indicatori

Secondo la struttura:

• Elementari: informazione di base per altri indicatori (es. studenti maschi laureati in statistica)
• Derivati: in genere rapporti (quota di studenti maschi laureati in statistica su totale)
• Sintetici: somma ponderata di indicatori elementari o derivati, con pe...