Valutazione delle politiche pubbliche

Valutazione delle politiche pubbliche

Prof.ssa Righettini - 26/04/2021

Introduzione

1. Qual è la mia esperienza di valutazione?

La valutazione non è una novità; da quando siamo piccoli veniamo valutati a scuola, c'è la valutazione medica, esprimere un giudizio sulla salute, quindi è una diagnosi; una valutazione è anche alimentare, si sceglie cosa piace o no. Di solito non pensiamo alla nostra vita come valutazione e sono connesse, le valutazioni, a politiche: il sistema sanitario, il sistema scolastico, le politiche alimentari.

La prima valutazione ce l'abbiamo appena nasciamo, infatti vi è l'indice di Apgar per misurare il concetto di vitalità del neonato; è una costruzione sociale per far fronte all'alto numero di morti neonatali. A ogni parametro si assegnano degli aspetti, ai quali assegniamo un voto. Permette una diagnosi, un approccio e un intervento nella realtà. Quindi si parte dall'osservazione di alcuni indici, poi si fa un'analisi, e il risultato della valutazione ci permette di capire se intervenire o meno.

Tornando alla scuola, tipico esempio di valutazione sono le prove Invalsi: misurano in modo standardizzato le competenze in italiano, matematica e inglese. Standardizzazione significa che viene valutato l'apprendimento e lo rende comparabile in tutte le scuole italiane; ma dal punto di vista delle politiche scolastiche perché dovrebbe essere importante valutare l'apprendimento? Perché si presume che le competenze come quelle delle prove siano prerequisiti per poter performare e avere più chance di collocazione nel mondo del lavoro.

Cos'è la valutazione e perché si valuta?

Molte sono le definizioni in letteratura, ma si può dire che la valutazione oltre ad essere la capacità di esprimere un giudizio, valutare è una attività sociale, una ricerca sociale perché ha le caratteristiche della ricerca sociale finalizzata ad investigare politiche e la loro rispondenza a un insieme di standard impliciti o espliciti (concordanza tra risultati attesi e realmente conseguiti/inattesi). Tutto il processo di investigazione porta ad esprimere un giudizio e prelude ad un intervento.

La valutazione quindi si basa sulla raccolta sistemata di dati e informazioni che consentono un apprezzamento, basato su criteri scientifici (ricerca della causalità) del rispetto di standard, delle performance e del valore prodotto da una politica, programma servizio o soggetto. Cercare la causa della cattiva qualità di un servizio può voler dire indagare sulle cause che l'hanno prodotta e ragionare/predisporre interventi.

Differenza tra valutazione e misurazione: sono due cose diverse, perché nel momento che misuro non ho un giudizio; la misurazione viene espressa come una quantità di qualcosa. Si può misurare senza valutare, cioè senza esprimere un giudizio comparativo rispetto alle attese di un risultato. Mettendo insieme i dati misurati però, posso esprimere un giudizio. Quindi misurare è fondamentale per poi giudicare in modo appropriato. La valutazione, quindi, comprende la misurazione ma non viceversa ed è espressa come un giudizio di qualche natura (efficacia, efficienza, qualità, adeguatezza, ecc).

Valutare vuol dire sempre comparare, quindi vi sarà una unità di misura più grande che verrà comparata con una più piccola e alla fine comparandole avrò un risultato, verrà attuata una scelta, invece con la sola misurazione non si avrà un risultato. Il punto di partenza della valutazione sono i concetti, le parole.

Due idee di politica pubblica

Pag.28 esistono delle idee di politica che non ci possono permettere di far coincidere le intenzioni con la realtà, spesso la parte normativa si auspica che venga perseguita ma poi nella realtà non succede, le intenzioni magari ci sono ma poi le applicazioni sono parziali ed ecco che la valutazione ci permette di capire cosa sta succedendo nella realtà e perché, quindi analizzare le cause.

• Basata sulla sua presunzione di efficacia, sulla perfetta coincidenza tra disegno e realizzazione (implementation gap)
• Come ipotesi di intervento da verificare ed eventualmente correggere; come processo cognitivo e di (learning by doing).

La valutazione nel ciclo di policy: La è una attività finalizzata a conseguire uno stato credenza, di cioè una condizione atta a formulare un giudizio (positivo e/o negativo) su una politica o programma, fugando il/i dubbi derivanti dalla mera osservazione della realtà. La ricerca valutativa si basa su osservazioni guidate da ipotesi. La policy può essere considerata un'ipotesi di cambiamento che mette sull'attenzione pubblica un problema.

Es: isolamento sociale come strategia per ridurre il contagio del virus. Vi sono vari tipi di valutazione che si collocano all'inizio del ciclo, valutazioni in itinere ed expost. Quest'ultime sono le valutazioni sui risultati ma vi è anche la valutazione di impatto, la quale ha una dinamica temporale diversa rispetto a quella sugli outcomes. Infatti, la valutazione di impatto è di breve periodo. Importanti i termini output, outcomes e impatto. La valutazione è quindi un approccio epistemologico/cognitivo che serve per decidere e per agire sulla capacità cognitiva degli attori amministrativi/istituzionali (Simon H.).

La valutazione è quindi funzionale a potenziare la capacità di analisi della realtà all'organizzazione interna amministrativa (performance organizzative e dei servizi) ed esterna - policy makers e contesti delle decisioni, ma anche per potenziare la capacità di design delle politiche pubbliche e programmi, capacità di identificare, definire, trattare i problemi pubblici e individuare strategie e strumenti che producono impatto positivo.

Differenza tra politiche e programmi

(vedi CASO 1. Pagina 19): la politica è un programma d'azione indirizzato a trattare e migliorare lo stato di un problema (es. riduzione inquinamento città); i programmi sono un insieme di azioni progettuali, caratterizzate dal fatto che tendono a perseguire obiettivi specifici di una stessa politica ed in un tempo stabilito (es. ZTL, TPL, piste ciclabili).

Valutare quindi serve ad elevare il grado di giudizio dei policy makers ma anche il giudizio sul risultato di queste politiche e quindi dei cittadini. È una attività finalizzata a produrre conoscenza su processi ed esiti delle decisioni pubbliche al fine di migliorarli e anche per aiutare il policy-making. Quindi si vuole mettere a fuoco il problema che spesso alcuni obiettivi sono condivisi ma gli strumenti non sono sempre condivisi.

I tre obiettivi del perché si persegue la valutazione

• Si misura il cambiamento introdotto dall'intervento pubblico, si va a vedere il successo o l'insuccesso di un programma; si valuta anche per apprendere, ovvero misurare in che modo la politica sia stata in grado di modificare il comportamento dei soggetti interessati (apprendimento significa modificare o correggere l'intervento antecedentemente adottato per definire uno nuovo o abbandonare il tipo di intervento a completamento o a correzione del precedente, ed infine significa adottare un intervento alternativo);
• Per controllare l'incertezza, ovvero valutare la politica per capire come prevenire certi fenomeni (l'incertezza si può verificare principalmente in tre fasi del ciclo di policy: nella fase di agenda setting, decision making e nella fase di implementazione.

Nel primo caso l'agenda politica può non essere formulata in modo adeguato rispetto al problema e l'iscrizione dello stesso all'interno dell'agenda non garantisce una immediata decisione; ecco che una valutazione di tipo ex ante in cui adeguatezza e fattibilità della definizione in agenda possono essere valutati con altri aspetti e confrontati in termini di urgenza o opportunità. Nella seconda fase si possono riscontrare fattori di incertezza quali la razionalità limitata perché la decisione è frutto di una logica di adeguatezza, di leadership, incertezza relativa alla propensione al compromesso e all'adattamento invece che decidere in modo efficiente ed efficace.

Ecco che per migliorare la capacità di decidere una valutazione dei risultati è possibile migliorare la scelta dei mezzi e dei fini da adottare nei programmi. Infine, nella fase di implementazione, al fine di ridurre l'incertezza causata da una difficile attuazione delle politiche per la molteplicità dei livelli di governo coinvolti o per il complesso sistema di organizzazione delle amministrazioni, è possibile monitorare i processi di implementazione con strumenti di valutazione per accrescere l'accountability, ovvero la responsabilità pubblica dei risultati raggiunti.

Le basi filosofiche della valutazione

Utilitarismo morale, David Hume: ricerca dell'utilità per la comunità. Mancanza di un denominatore comune di valore per molteplici programmi con lo stesso fine - Nell'ambito della stessa politica che ha come fine «vita più sostenibile in città» possiamo avere più programmi che sono privi di un denominatore comune di valore esprimibile in una unità di misura o esprimono valori alternativi in presenza di scarsità di risorse. Decisione di policy e conseguente scelta degli indicatori più appropriati.

Pragmatismo; Peirce: teoria della conoscenza. Pensiero critico, l'importanza delle ipotesi teoriche dipende dalla loro capacità di previsione. Collegamento tra pensiero e azione; tra credenze (valori) e modi di azione (programmi); l'attività pratica, che agisce direttamente sulla realtà, deve avere la preminenza sulle attività speculative; la validità di una teoria è affidata alla sua verifica pratica: lo studio dei fatti e teoria per spiegarli. Comportamenti orientati a verifica empirica.

Pragmatismo e valutazione: «La scienza è produttrice di nuove idee, nuovi modi di vedere le cose. La novità è prodotta dall'osservazione delle cose, della realtà ma deve fornire un'interpretazione di tale realtà. Spiegare fatti noti significa penetrare nella struttura nascosta delle cose, nei meccanismi celati, nei rapporti segreti e vincolanti, nella logica intima dell'oggettività» (i dati e la descrizione dei fatti non bastano).

Induzione–dai dati alla teoria

Deduzione – dalla teoria ai dati

Abduzione o congettura ipotetica (Peirce)– capacità di avanzamento di una certa ipotesi interpretativa alla luce dei dati raccolti su un certo insieme di fatti - basata sulla disambiguazione dei concetti e formazione di nuove ipotesi. Sull'abduzione si basa la logica valutativa e la costruzione degli indicatori – che trasforma concetti astratti in concetti empirici cioè osservabili.

Strumentalismo; John Dewey: Filosofo, pedagogista, alla Scuola di Chicago adottò metodi sperimentali per verificare i suoi principi pedagogici e didattici che si adattavano al suo strumentalismo filosofico. Concetto centrale della sua dottrina è quello di ‘esperienza’ intesa come insieme di tutte le possibili relazioni che l'individuo si costruisce in relazione con l'ambiente naturale e sociale in cui vive. Attraverso l'esperienza l'individuo conosce la situazione per modificarla e creare una situazione migliore, vale a dire, a lui più favorevole. Trasferisce la concezione dell'esperienza nel processo educativo, soprattutto con riferimento alla responsabilità e al lavoro di gruppo.

Il pensiero scaturisce dall'esperienza umana e sociale – Scuola di Chicago; rapporto tra conoscenza e azione; ricerca sociale e politica al servizio dell'interesse generale.

Indagine e azione: La realtà è complessa ricca di rischi e incertezze; Rapporto tra conoscenza (razionale) e azione; La conoscenza razionale è un modo di ordinare la realtà, i fini e i mezzi per raggiungerli, e di correggere gli errori. Un «problema» è la situazione indeterminata che costituisce il punto di partenza di qualsiasi indagine. Il primo risultato del produrre un indagine è che la situazione viene riconosciuta come problematica. Un problema non viene eliminato o distrutto dalla sua soluzione, non è affatto detto che non si ripresenterà più. La soluzione consente, entro certi limiti di risolvere il problema tutte le volte che si presenta.

Diffusione della valutazione

Utopia pragmatica (anni ‘60): approccio sperimentale alle politiche; Espansione valutazione: (anni ’80) NPM UK; Riformare la Pubblica amministrazione (Clinton) Reinventing Government Osborne e Gaebler, (1995) Attribuire maggiore attenzione ai risultati; Uso politico della valutazione: Destra: efficienza, Sinistra: efficacia.

Ruolo della valutazione nella storia americana: come è stata creata la metrica del potere e delle politiche; Come è stato rappresentato e valutato il ruolo dell'intervento pubblico (stato e istituzioni) e come la ricerca scientifica ha supportato l'azione pubblica e l'analisi dei suoi esiti. Anni 30 - New Deal (Roosevelt); Anni 40 e 50 Post bellico welfare state; Anni 60 Great Society – rilancio politiche sociali e istruzione (Johnson); Anni 70 - Crisi petrolifera e finanziaria; Anni 80 e 90 - New public Management; XXI sec. – Impatto sociale delle politiche - TOC.

Grande interesse per la spesa pubblica, i livelli di spesa e la sua efficienza. Uno dei primi scritti di Valutazione è un articolo di R. Rose e G. Peters: Can Government Go Bankrupt? Interesse per gli sprechi e i fallimenti delle politiche. Interesse non solo per la distribuzione del potere per il rapporto tra differenti livelli di governo Federale, Statale e Locale ma anche per il tema del rapporto costi/benefici. Infatti, nella storia federale americana c'è una proliferazione di organismi di valutazione in seno agli uffici di bilancio e di controllo di gestione.

Carol Weiss (1927-2013), Evaluation: method for studying programs and policies (1997)

Il ruolo del valutatore

Poiché la valutazione ha una connotazione politica (politics), si chiede come la valutazione possa “nutrire” le politiche pubbliche in un regime democratico. Il rapporto tra ricerca e policy making è un terreno delicato e scarsa è la considerazione dei policy makers per la valutazione (ragioni?) Non crede nella distinzione tra ricerca di base e ricerca applicata per quanto concerne la valutazione.

La scarsa considerazione dei policy makers per la valutazione dipende in gran parte dal background della classe politica, dalla cultura (valori) di riferimento: si va da chi aborrisce la valutazione perché ritiene che sia uno strumento discrezionale, a chi la considera come un’attività di natura burocratica: da controllare o ignorare perché scarsamente rilevante per il consenso. Nel mezzo ci sono quei (pochi) amministratori che la sanno usare in modo intelligente per governare.

Il problema dell'utilizzazione: Utilità della ricerca e della conoscenza che la valutazione produce per le decisioni politico/amministrative. Una valutazione è utilizzabile se:

• È scientificamente fondata (vari tipi di approcci e tecniche per attribuire causalità);
• Entra a far parte del bagaglio di idee e punti di riferimento di coloro cui è destinata, quindi se influenza le azioni dei decisori.

Ci si chiede quindi quanti dei metodi e delle tecniche prodotti dalla comunità scientifica e disponibili sono conosciuti ed utilizzati dai decisori e dalle istituzioni e QUAL'È IL POTENZIALE DI UTILIZZAZIONE DELLA VALUTAZIONE.

L'importanza delle domande nel processo cognitivo e valutativo: la teorica Hammond sostiene che l'azione di domandare in una organizzazione o in un gruppo influenza in qualche modo il gruppo stesso.

Appreciative inquiry Hammond è una teorica della un approccio al sapere che si basa sul riconoscimento della produzione di valore nel processo di ricerca sociale. Approccio al cambiamento (organizzativo e non solo) che valorizza l'interazione, la coproduzione e lo scambio tra membri dell'organizzazione per produrre valore.

27/04/2021

Razionalità limitata

H.A. Simon: visione della razionalità limitata che ha superato la razionalità assoluta (one best way). La razionalità limitata: il soggetto non valuta tutte le possibili opzioni ma solo quelle necessarie e le compara. La scelta ottimale non è il criterio che prevale ma lo è quello di soddisfazione; risponde alla funzione del raggiungimento di un obiettivo funzionale e non di ottimizzazione, quindi risolve un problema. La decisione è soddisfacente quando risolve un problema e quando è frutto di un compromesso, ovvero essendo una organizzazione fatta da più individui e decisori, allora il compromesso si ha tra le decisioni che spesso sono in conflitto.

La razionalità limitata quindi è importante per la misurazione dei risultati delle politiche perché questo risultato è frutto di un adattamento alla realtà. Simon afferma che le valutazioni che le PA cercano di realizzare sono raramente esprimibili in termini concreti, mentre fini come quelli di una agenzia di pubblica assistenza (educazione civica, miglioramento della salute pubblica ecc) vanno espressi in maniera tangibile e reale altrimenti i risultati non vengono osservati e non vengono valutati i concetti astratti allora vanno trasformati/tradotti in concetti empirici così da poterli misurare.

La razionalità limitata sta nel fatto che si hanno valori astratti sui quali idealmente siamo d'accordo ma poi nell'individuazione degli strumenti e nel raggiungimento...