Riassunto esame Progettazione e valutazione per l'innovazione sociale, Prof. Lo Presti Veronica, libro consigliato Valutazione pluralista, Nicoletta Stame

Valutazione pluralista di Nicoletta Stame

Introduzione

Questo libro si occupa di valutazione delle politiche pubbliche, concepita come un processo democratico, sostenuto da un dialogo tra diverse posizioni. La valutazione delle politiche è una pratica sociale dei paesi democratici. Essa ha avuto origine negli USA dei grandi programmi sociali degli anni ’60: in quella cultura politica pragmatica molti approcci diversi si sono consolidati un insieme di concetti e di pratiche, che coinvolgono politici e pubblico, amministratori e professionisti, e che sono oggi patrimonio di tutti i sistemi in cui la valutazione è successivamente entrata.

Ma nei successivi adattamenti di diffusione, questa ricchezza e varietà di approcci non è sempre stata apprezzata, e anzi è presente una tendenza ad assolutizzare alcune impostazioni metodologiche a scapito di altre, impoverendo le potenzialità conoscitive della valutazione e riducendo le capacità di apprendimento dei cittadini. Quella originaria impostazione pluralista è poi alla base dell’evoluzione che tutti gli approcci che si sono fin da subito confrontati hanno vissuto per poter affrontare le sfide poste dalle nuove problematiche sociali e dalle innovazioni politiche.

Scopo di questo lavoro: offrire al lettore italiano un quadro della pluralità degli approcci e della loro evoluzione che possa orientare in questo momento in cui la valutazione sembra essere entrata a pieno titolo anche in Italia tra gli strumenti della governance e della partecipazione dei cittadini.

Valutazione pluralista

Perché "valutazione pluralista"?

• Esistono più modi di valutare una politica (un programma, un progetto), aventi uguale dignità teorica, e occorre riconoscerli per decidere quale sia più adatto alla situazione da valutare. Questi modi si sono sviluppati contemporaneamente e si sono evoluti in relazione tra loro. Non esiste il metodo migliore, l’unico, quello più avanzato, ma solo quello che nella interazione tra valutatore e stakeholder è ritenuto più adatto, oppure una combinazione più adatta di approcci differenti.
• Riguardo ad ogni aspetto principale della valutazione – dalle sue funzioni agli usi – è possibile contrapporre ad un modello mainstream dato per scontato prospettive alternative che si ispirano a teorie democratiche. Questo è il modo in cui il termine "valutazione pluralista" è stato introdotto in Francia, come strumento di qualità democratica capace di far intendere tra loro più soggetti e istituzioni.

Valutazione e teoria

Si discute molto su che tipo di disciplina sia la valutazione. Se sia una transdisciplina (Scriven), una scienza sociale applicata (Patton, Weiss), una disciplina pratica (Saunders). E certamente la valutazione è un po’ di tutto questo: transdisciplina perché insegna a giudicare in modi diversi ambiti sociali e non, si avvale dell’armamentario delle scienze sociali applicate, ha un forte risvolto pratico.

Questa molteplice natura si riflette nei tentativi di classificare le teorie della valutazione che sono state avanzate da diversi autori. NB: non classificazioni di approcci, ma analisi degli approcci in base alle componenti principali di una teoria della valutazione.

Shadish et al.: lo scopo di una teoria della valutazione è quello di specificare quali pratiche la valutazione può usare per costruire una conoscenza del valore dei programmi sociali che possa essere usata per migliorare i problemi sociali per cui il programma è rilevante. Una teoria della valutazione deve riguardare:

• Programmi sociali: natura, funzionamento e relazione ad altre istituzioni;
• Conoscenza: oggetto della valutazione;
• Valore: quali valori devono essere rappresentati in una valutazione e come costruire giudizi su quel valore;
• Uso: tipi
• Pratica di valutazione: decisione sulle domande di valutazione, metodi scelti, standard procedurali.

Con questa griglia viene analizzato il contributo di autori come Campbell, Scriven, Weiss, Rossi, House, Wholey, Cronbach, Stake. Scopo: mostrare la diversità nella valutazione ma anche il passaggio dalla diversità all’integrazione.

Alkin parte da un diverso punto di vista. Ogni teoria della valutazione si compone di 3 aspetti: valore, uso, metodo. Ogni teorico si è necessariamente occupato di tutti e tre, ma ha finito per privilegiarne uno. Alkin colloca gli autori su un albero della valutazione con tre tronchi corrispondenti a quegli aspetti.

Mentre Shadish et al. considerano gli autori visti nella loro identità e analizzano in che modo le 5 principali componenti siano state trattate da ciascuno di essi, Alkin tiene conto dell’aspetto che è prevalente in ciascun autore, ma poi si preoccupa di non isolare questo aspetto, e così la fotografia piatta dell’albero si trasforma in una figura a più dimensioni.

Il lavoro di Stame si è svolto indipendentemente da queste analisi ma vi sono delle convergenze. Entrambi i lavori presuppongono una dimensione pluralista MA prescindono da uno sviluppo temporale, anche se ne tengono comunque conto all’interno del percorso personale di ciascun autore, invece Stame ha ritenuto di dover capire come quegli approcci si siano evoluti in rapporto tra loro. Senso del lavoro di Stame: la teoria della valutazione ci aiuta a capire che tipo di pratica sociale si sta svolgendo, secondo quali approcci.

Diversi approcci si confrontano, si contaminano, evolvono, a contatto con i problemi che i programmi affrontano e con quelli incontrati nel corso delle valutazioni. Questa impostazione presuppone dei corollari:

• Il tema del contendere tra i diversi approcci non è il metodo di ricerca (qualitativo/quantitativo, sperimentale/studio di caso), ma l’insieme delle attività che rientrano in questa particolare pratica sociale, di cui la scelta del metodo di ricerca è solo una componente.
• Non bisogna confondere la teoria della valutazione con la teoria del programma, posta al centro dagli approcci di valutazione basata sulla teoria. Teoria della valutazione = modo di fare valutazione e cosa significa valutare una politica per i suoi attori e per il sistema sociale in cui è inserita. Teoria del programma = riguarda cosa ci si aspetta che succeda come conseguenza dell’attuazione di un programma.

Questi due aspetti sono correlati. Per tanto tempo si è identificata la valutazione con i metodi di ricerca utilizzati, e il campo della valutazione era lacerato dalla guerra dei paradigmi tra metodi quantitativi e qualitativi, finché alcuni, in primis Weiss, sono riusciti a spostare l’attenzione dai metodi alla teoria del programma e ad indicare che la scelta dei metodi doveva essere conseguente alla natura del programma, secondo quel capovolgimento di prospettiva che Patton ha chiamato paradigma della scelta o situational responsiveness.

Valutazione democratica

L’ispirazione pluralista si accompagna alla ricerca del modo democratico con cui fare la valutazione:

• Democrazia nella valutazione (la valutazione deve essere fatta in modo democratico)
• Valutazione nella democrazia (la valutazione esiste in un sistema democratico, e contribuisce ad un sistema democratico).

Mac Donald (1977) distingue 3 modi di rispondere alle domande politiche della valutazione: chi controlla il modo in cui si persegue la conoscenza? Chi vi ha accesso?

• Valutazione burocratica = servizio incondizionato a coloro che nelle agenzie governative hanno il controllo delle risorse; il valutatore accetta i valori di chi dirige l’ufficio e agisce come un consulente il cui criterio di successo è la soddisfazione del cliente; non ha indipendenza, né controllo sull’uso che viene fatto dell’informazione. Si giustifica con la “realtà del potere”.
• Valutazione autocratica = servizio condizionato a quelli che nelle agenzie governative hanno maggiore controllo sull’allocazione delle risorse. Il valutatore è un accademico e metodologo che offre una validazione esterna della policy in cambio dell’accoglimento delle sue raccomandazioni. È indipendente, le sue tecniche di ricerca devono portare verso una prova scientifica, ed è responsabile verso l’accademia da cui proviene, e a cui rivolge i suoi lavori. Si giustifica con la “responsabilità dell’ufficio”
• Valutazione democratica: valutatore offre un servizio di informazione alla comunità sulle caratteristiche di un programma, raccoglie le reazioni al programma, riconosce il pluralismo dei valori e agisce come un mediatore nello scambio tra i differenti gruppi e i cittadini, a cui assicura l’anonimato. Il rapporto deve essere accessibile ai non specialisti e non contiene raccomandazioni. Si giustifica per il “diritto a conoscere”.

Mac Donald pensava che le valutazioni dei primi due tipi fossero state fino ad allora prevalenti, e che fosse ora di sviluppare il terzo tipo. Ma i suoi suggerimenti sono di grande orientamento anche nel nostro panorama attuale:

• Valutazione burocratica è quella che combattiamo dicendo che si fa per adempimento es. nelle Università e nella pubblica amministrazione;
• Valutazione autocratica è il modo come anche da noi si è sviluppata come esercizio di applicazione di metodi di ricerca che trova giustificazione nel proprio rigore metodologico;
• Valutazione democratica è quella a cui aspiriamo.

Intenzione di Stame: individuare spunti di valutazione democratica, provenienti da diversi approcci e da diverse teorie, che possano interpretare gli aspetti costitutivi della teoria della valutazione e che ci permettano di uscire dalla percezione diffusa della valutazione come operazione centralistica e punitiva da cui soggetti recalcitranti cercano ad ogni costo di difendersi: una visione non senza buone ragioni, dato il modo in cui la valutazione è entrata nelle amministrazioni burocratiche.

House e Howe (2000) hanno tracciato il profilo dei principi su cui deve basarsi la “valutazione deliberativa democratica”:

• Deve includere tutti gli stakeholders, non solo quelli che gestiscono il programma ma anche i decisori, i beneficiari, e tutti i coinvolti nel processo;
• Dialogica: punti di vista e interessi rispettivi si scoprono meglio attraverso un’interazione dialogica tramite cui le persone creano una propria opinione;
• Deliberativa: deve aiutare il processo decisionale esaminando i fatti e i valori tramite un procedimento razionale.

Altri autori hanno sottolineato altri aspetti. Es. Patton (2002) diceva che la valutazione è un processo democratico che si articola in: trasparenza, focalizzarsi su questioni importanti per la gente, usare un linguaggio comprensibile, promuovere un’interazione valutativa tra centro e periferia, sostenere un dialogo informato che include anche un dialogo metodologico, senza privilegiare un metodo, considerarli tutti ed essere aperti a scegliere insieme il metodo più appropriato.

PARTE I Approcci di valutazione

Introduzione: distinguere, combinare, proseguire

In questa parte vengono analizzati i diversi approcci alla valutazione e la loro evoluzione. Comincia richiamando la distinzione tra la cronologia delle fasi di sviluppo della valutazione e la tipologia degli approcci, per poi soffermarsi sull’evoluzione degli approcci.

Stame individua un criterio di distinzione tra gli approcci nel modo in cui si formula un giudizio, che è l’essenza della valutazione. Tipologia degli approcci principali alla valutazione, che corrispondono alla formulazione di un giudizio attraverso: il raggiungimento degli obiettivi (approccio positivista-sperimentale), l’aderenza a dei criteri di qualità (approccio pragmatista della qualità), il riconoscimento di un successo (approccio costruttivista del processo). Ognuno di questi approcci raggruppa una famiglia di diversi modelli.

MA Stame nota fin da subito l’esistenza di tendenze all’incontro degli approcci così individuati. Con il procedere degli sviluppi dei programmi e di nuovi modi di concepire decision-making e governance, Stame comprende il senso di queste tendenze: non si trattava solo di un dialogo tra approcci, ma anche di evoluzione dei singoli approcci.

Ciascuno di essi, infatti, poteva evolvere sia per continuità (riproponendo le sue caratteristiche principali all’interno di mutate condizioni di contesto o di nuove politiche), sia innovando (aggiungendo al primo bagaglio teorico elementi nuovi capaci di dargli maggiore presa su nuovi aspetti da valutare), sia anche contaminandosi con altri approcci. Al cap. 1 quindi seguono gli altri che indagano le svolte impresse agli approcci positivisti (per innovazione e continuità, cap. 2 e 3), agli approcci del riconoscimento del successo (per innovazione, cap. 4), agli approcci pragmatisti della qualità (per continuità e innovazione).

Se all’inizio l’ispirazione di Stame è stata quella di conoscere per poter scegliere l’approccio più adatto alla situazione da valutare, secondo il principio della situational responsiveness di Patton (1986), poi via via che procedeva si è trasformata nella sensazione che non bisogna avere paura di combinare.

CAP. 1 Tre approcci alla valutazione

La valutazione nasce negli anni ’60 negli USA come strumento di miglioramento a sostegno di programmi volti al contrasto dei dislivelli educativi (e di conseguenza sociali). Lo sviluppo della valutazione in una realtà come quella degli USA ha permesso la nascita di approcci diversi, compresenti in un periodo molto breve. Come è possibile?

Vd. Wildavsky (1987): USA non sono legati all'idea europea di burocrazia weberiana, inamovibile e monopolista delle competenze, che riduce il pensiero alla ricerca della tecnica giusta da mettere al servizio della burocrazia incompetente. Dopo una cronologia, Stame cerca di capire come possono essere distinti i diversi approcci. Tipologia che si fonda sul diverso criterio che ciascuno di essi utilizza per giudicare il risultato di un programma. Cronologia e tipologia si intersecano continuamente.

La cronologia di Stame riconduce lo sviluppo della valutazione al modo in cui risponde alle domande cruciali poste dall’evoluzione del welfare state in 3 grandi periodi:

• Ottimismo dei programmi e ottimismo della valutazione: metà ’60 e metà ’70, periodo dei programmi di guerra alla povertà e delle grandi sperimentazioni sociali. Nascono gli approcci positivista-sperimentale e pragmatista. Valutazione per dimostrare impatto/validità dei programmi tramite una metodologia appropriata, misurazione.
• Pessimismo dei programmi e scontro sulla valutazione: metà ’70 e metà ’80. Prime reazioni negative agli effetti perversi delle politiche di welfare. Più attenzione al processo di implementazione e alle influenze del contesto. Approccio positivista-sperimentale si rinnova e nasce quello costruttivista da filoni di pensiero ermeneutico (i due approcci sono in conflitto).
• Scomposizione dei programmi e pluralismo della valutazione: metà ’80 in poi. Si provano diverse misure di policy, attenzione sull’utilizzo delle valutazioni da parte di stakeholders, amministratori e beneficiari. L’approccio pragmatista viene (pragmatista della qualità) integrato con l'attenzione alla qualità mentre il costruttivista dialoga con filoni provenienti dall'analisi dell'implementazione delle politiche (costruttivista del processo).

Le innovazioni politiche avvenute in seguito aggiornano la cronologia:

• Rimedi ai fallimenti delle amministrazioni, nasce il New Public Management (fine anni ’80) che promuove il fiorire di valutazioni della performance delle PA. Nuovi orizzonti nell’approccio pragmatista della qualità.
• Rimedi a fallimenti dei programmi, movimento della Evidence Based Politics (fine ’90) che promuove le valutazioni di programmi simili per stabilire efficacia. Slancio dell’approccio positivista sperimentale, Theory Based Evaluation, metodi misti.

In questi due ultimi periodi, la valutazione deve dare risposte su successo/fallimento di programmi sempre più complessi sia in campo di obiettivi che di forze amministrative e sociali. Sviluppo dei 3 approcci principali sia innovando, che evolvendo con continuità che mescolandosi con altri approcci.

La cronologia di Stame mette al centro il rapporto tra valutazione e politica: valutazione come ricerca volta al miglioramento dell’azione e non come semplice ricerca sociale. Valutazione come ricerca sociale: ci si preoccupa unicamente della validità e attendibilità delle procedure di raccolta dei dati, si insegue una sua evoluzione lineare in tecniche sempre più sofisticate. Valutazione rivolta al miglioramento dell’azione: problemi di rilevanza, etica e utilizzabilità.

Ad ogni problema della politica possono essere date risposte diverse. Non esiste una valutazione ottimale, come non esiste una soluzione ottimale di un problema politico.

Cronologia di Stame ≠ cronologie basate su idee evolutive, vd. Stuffelbeam (1985) e Lincoln (1987), ≠ Guba che non prevedeva la convivenza tra modelli.

Tipologia di Stame che riconduce i modelli della letteratura (vd. Wildavsky) ad alcune famiglie principali che lei chiama approcci ( ≠ paradigmi, confini meno rigidi e coesistono). Ogni approccio si distingue dagli altri per la funzione che assolve la valutazione, in particolare l’elemento distintivo è l’elemento che funge da pietra di paragone. Brevemente:

Positivista-sperimentale. Elemento di confronto = obiettivi del programma. Valutazione = vedere se e in che modo gli obiettivi siano stati raggiunti grazie al programma.

Pragmatista-della qualità. Elemento di confronto = standard di qualità.