Progettazione e valutazione

Esistono due tipi di valutazione: sommativa e formativa

Esistono due modalità valutative:

Valutazione sommativa

La valutazione sommativa, detta anche finale o conclusiva, risponde allo scopo di fornire un indicatore finale in merito ai risultati raggiunti dal programma. Gli indicatori sono quantitativi e multifattoriali (somma di più elementi). La valutazione sommativa è una valutazione sintetica, spesso espressa con l'utilizzo di uno o più indicatori quantitativi. La finalità valutativa di questo tipo di valutazione risponde a una logica di rendicontazione (accountability) ed ha una funzione ispettiva e di controllo, legata al modello “obiettivi-risultati” (Tyler, 1970). Con alcune cautele, la valutazione sommativa è un elemento che permette di confrontare i caratteri di un progetto e le sue capacità di incrementare i risultati. La descrizione sommativa risponde anche ad esigenze sociali e politiche.

Valutazione formativa

La valutazione formativa risponde a un'altra finalità. È un'operazione intermedia, si svolge durante il programma, per offrire elementi valutativi utili a indirizzare scelte di tipo operativo. È spesso effettuata, in primo luogo, da coloro che gestiscono il programma (con forme di supervisione da parte dei valutatori). Ha carattere operativo interno al programma ed è utile per correggere o modificare situazioni non previste in fase di progettazione. La valutazione formativa porta alla flessibilità di progettazione. Risponde a una logica formativa in quanto la sua finalità è quella di apprendere per migliorare (learning).

Le due modalità valutative sono complementari, anche se, in linea di massima, nell'ambito di politiche pubbliche viene richiesta quella sommativa o finale (spesso i risultati servono a finanziatori pubblici o privati e a decisori amministrativi).

Valutazione globale o in profondità (Palumbo)

La valutazione risponde alla domanda: cosa otteniamo, con quali costi e con quali benefici. La valutazione globale è una valutazione più approfondita e più ampia e può riguardare vari ambiti. Con questo tipo di valutazione possiamo andare a valutare e confrontare, per esempio, 3 diversi corsi di formazione presenti sul territorio gestiti da enti diversi; può essere la valutazione dell’impatto di un programma o dell’impatto di più programmi su uno stesso pubblico o dell’impatto di parti di programmi su pubblici diversi. Ma cosa valuta?

• Le misure più costose
• Le misure più innovative
• Gli obiettivi più strategici
• Gli obiettivi più controversi
• Le priorità che interessano i decisori

Sulla base dei MEANS = acronimo: manuali di valutazione, dei volumi scritti da esperti tedeschi e inglesi di pedagogia sperimentale utilizzati per la valutazione su input dell’UE, utilizzati per la valutazione degli enti.

• Sono volumi descrittivi della valutazione di programmi europei, finalizzati alla FSE.
• Sono testi di valutazione scritti da esperti tedeschi e inglesi
• Utilizzati anche in Italia in quanto la cultura valutativa qui da noi nel settore della policy deriva dall’UE
• I valutatori italiani sono nati in relazione ai programmi comunitari

Valutazione trasversale di policy

• La descrizione dei cambiamenti osservabili
• La valutazione di gruppi non toccati dai programmi
• Analisi qualitative di programmi (case-study)
• Stima quantitativa degli impatti

Questi livelli di valutazione si legano a forme di vera e propria ricerca. Si può fare una valutazione di contrasto per valutare se la politica locale è stata più o meno lungimirante rispetto alla politica comunitaria. Questa possibile valutazione non è obbligatoria, non è quella che ogni programma prevede per routine (ex ante, in itinere, ex post) ma rappresenta una sensibilità più elevata degli operatori. Risponde alla domanda: cosa è successo? Quali sono stati gli esiti della ricerca in relazione a contesti più ampi? In Italia si fa da poco.

Modello generale di policy

Problema, obiettivi, strategia, valutazione. Si tratta di una catena più o meno complessa che vuole rendere visibile e valutabile la politica in un certo settore. Valutazione come atto pubblico preparato da una vera e propria procedura visibile e misurabile in cui è necessario documentare nel modo adeguato.

• Tutti valutano perché senza valutazione non si hanno i finanziamenti
• Vi è un nuovo modello di formazione professionale innovativo derivato dall’unione europea, che tiene per la prima volta conto dell’esperienza pratica (es. tirocinio nelle Università): nei paesi anglosassoni prima si fa esperienza e poi si aggiunge alla pratica la teoria

I modelli di analisi dei processi decisionali

Carol Weiss (2000a) afferma che la valutazione, al pari della ricerca, si sviluppi all'interno di processi decisionali reali, con i quali deve fare i conti: da questi viene usata e di questi si occupa. L'analisi del processo decisionale è rilevante per l'intero percorso della valutazione, ma soprattutto per sue fasi iniziali e finali. La definizione dell'oggetto è infatti ben diversa, a seconda che prevalga una concezione iper-razionale del processo decisionale, che propone risposte a domande ben precise o che prevalga una concezione negoziale, secondo la quale «una policy è il risultato di un compromesso politico tra policy makers, nessuno dei quali ha in mente il problema al quale la policy su cui si è raggiunto l'accordo costituisce la soluzione. L'interesse per la valutazione muta a seconda che il decisore sia preoccupato solo delle eventuali carenze o inadeguatezze delle analisi che supportano le scelte (secondo il modello razionale), o utilizzi la ricerca sociale e la valutazione per rafforzare le proprie posizioni o per indebolire quelle degli avversari. Sia i presupposti della valutazione sia le sue) assumono connotazioni ben diverse a seconda del modello di processo decisionale realmente operante nel contesto di riferimento della valutazione.

Il modello della razionalità assoluta

Nel modello della razionalità assoluta (olimpica, sinottica, a seconda degli autori) «la decisione consiste nell'adottare mezzi che permettano di raggiungere fini dati nel modo migliore possibile (più efficace, meno costoso) e si risolve in un processo di massimizzazione. La razionalità è orientata allo scopo. I presupposti su cui si fonda il modello sono: un decisore individuale o collettivo deve identificare un problema di policy sul quale c'è consenso tra i più rilevanti stakeholder. Un decisore individuale o collettivo deve definire e ordinare in modo consistente tutti gli scopi (goals) e gli obiettivi il cui conseguimento dovrebbe rappresentare la soluzione al problema; deve identificare tutte le policies alternative che possono contribuire al raggiungimento degli scopi e obiettivi; deve prevedere tutte le conseguenze che deriveranno dalla selezione di ogni alternativa; deve comparare ogni alternativa in rapporto alle sue conseguenze sul conseguimento di ogni scopo od obiettivo; deve scegliere l'alternativa che massimizza il conseguimento degli obiettivi.

L'impraticabilità di questo modello viene ricondotta a numerose ragioni, tra le quali l'impossibilità di ottenere le seguenti condizioni:

• La separazione tra mezzi e fini e la predeterminazione dei primi rispetto ai secondi
• Un decisore unico o comunque «capace di esprimere preferenze ordinate e non contraddittorie»
• La possibilità di analizzare (ex ante) tutte le alternative e le loro conseguenze
• Che siano disponibili il tempo e le risorse necessari per esaminare tutte le alternative, ammesso che questo sia possibile

Sotto il profilo epistemologico, il modello è retto dall'assunto in forza del quale sono disponibili modelli esplicativi del mondo sociale fondati su leggi di tipo causale, il modello trascura la componente relazionale, bene evidenziata da Donati in numerosi lavori e il radicamento contestuale dell'agire umano, che ha carattere "sociale" piuttosto che "individuale: metodo di tipo lineare: impone un criterio di mezzi e di fini a decisori e attuatori: il carattere di mezzo o fine che viene assegnato a un elemento dipende infatti dal modo in cui viene costruito un percorso causale; questo è inoltre raramente configurabile come lineare, almeno nelle scienze umane, sicché anche i mezzi finiscono per influenzare i fini; da ultimo, mezzi e fini sono spesso soggetti a vincoli comuni e covariano in modo circolare sia nella fase della decisione che in quella dell'attuazione. Sottovaluta il peso dell’ambiente, del contesto: Il modello assume inoltre che spiegazione e previsione siano coestensive, mentre nelle scienze sociali la capacità esplicativa di una scienza (di una teoria, di un modello) non va fatta coincidere con la sua capacità predittiva; tutti gli assunti sopra citati sono dunque irrealistici. La ragione più importante per considerare questo modello è costituita dal fatto che, come osserva Bobbio caduta la sua praticabilità sotto il profilo normativo, esso può essere assunto in funzione descrittiva per spiegare a posteriori l'adozione di determinate scelte politico amministrative, che vengono così interpretate come il risultato di processi intenzionali o razionali.

Rispetto all’uso nella valutazione, si deve osservare innanzi tutto che chi segue questo modello finisce per assegnare un consistente peso alla valutazione ex ante, in quanto essenziale per la previsione delle conseguenze delle politiche. La valutazione ex post è indubbiamente utile, ma per un fedele seguace della razionalità assoluta, gli scostamenti che può rilevare sono in ultima istanza attribuibili o al malfunzionamento del processo d'implementazione delle politiche o a una cattiva valutazione ex ante, che non ha permesso di evidenziare possibili "effetti perversi", tutto sommato prevedibili.

Il modello della razionalità processuale

Appare il più adeguato all'analisi dei processi decisionali. Esso si fonda sulla riconsiderazione critica dei presupposti del modello della razionalità assoluta e in particolare sostiene che:

• Mezzi e fini non sono separabili in modo netto; tanto meno i fini sono definiti con precisione prima di prendere in considerazione i mezzi; al contrario, esiste un continuo aggiustamento tra mezzi e fini, legato anche al fatto che
• Nessun attore dispone del tempo e delle risorse (anche cognitive) per prendere in considerazione tutte le alternative possibili, il che lo porta a scegliere la prima delle alternative vagliate che soddisfi a sufficienza i criteri su cui si basa la scelta (principio della razionalità limitata, Simon 1947);
• Il modo in cui viene raffigurato un problema influenza notevolmente il tipo di soluzioni che possono essere adottate; dunque i frame cognitivi influenzano quelli decisionali secondo modalità ben diverse da quelle postulate dai sostenitori del modello della razionalità assoluta;
• Da ultimo, i caratteri propri della complessità sociale e la consistente incidenza di percorsi causati circolari rendono sempre provvisoria e suscettibile di modifiche qualunque soluzione adottata

Il quadro si complica se si considera che di norma il processo decisionale conosce l'interazione tra soggetti diversi, portatori ciascuno di modi diversi di impostare i problemi, in un contesto in cui «decidere significa prima di tutto scegliere tra definizioni alternative di un problema. In questo quadro la razionalità non scompare, ma da sostanziale diviene procedurale. Il modello della razionalità processuale presiede anche alle concezioni pragmatista e costruttivista della valutazione e sposta l'accento dai temi della conoscenza e della decisione a quelli della comunicazione, della partecipazione, della negoziazione (nelle fasi sia decisionali che valutative). Evita anche di concepire come antitetiche la tecnica e la democrazia, in quanto incorpora nella produzione di conoscenza anche gli stakeholder e assegna alle sedi in cui si sviluppa il dibattito sugli interessi e sui valori importanti funzioni cognitive.

Il modello incrementale

Questo modello nasce come critica, ancor più radicale, alla razionalità sinottica e pone al centro della sua attenzione il fatto che la decisione viene assunta nel contesto dell’interazione tra più attori, dotati non solo di visioni diverse dei problemi (interessi e valori diversi), ma titolari altresì, sia pure pro quota, dei mezzi per risolverli. Il termine "incrementale" deriva dal fatto che ogni decisione verrebbe assunta comparando la soluzione proposta alla situazione attuale, con l'obiettivo di minimizzare le differenze tra le due. Si tratta di una situazione particolarmente vicina a quella della programmazione negoziata e, in generale, a quella della partnership decisionale, anche perché l'autore cui viene attribuita la paternità del modello ha ampiamente sottolineato che i contesti decisionali sono sempre più frammentati e sempre meno governabili in modo centralizzato.

In particolare, l'incrementalismo sconnesso (disjointed-incremental theory) afferma che un decisore individuale o collettivo:

• Considera solo gli obiettivi che differiscono in modo incrementale (ossia, per piccole quantità) dallo status quo
• Limita il numero di conseguenze previste per ogni alternativa (in accordo anche con il modello della razionalità limitata)
• Realizza mutui adeguamenti, da un lato, negli scopi e negli obiettivi e, dall'altro, tra un'alternativa e un'altra
• Riformula continuamente il problema, quindi gli scopi, gli obiettivi e le alternative, mentre assume nuove informazioni
• Analizza e valuta le alternative in una sequenza di passi, sicché le scelte sono continuamente aggiustate nel tempo, piuttosto che compierle in un solo punto precedente all'azione
• Condivide le responsabilità dell'analisi e valutazione con molti gruppi nella società, cosicché il processo di produzione delle scelte relative alle policies è frammentato o sconnesso

Questa concezione richiede competenze diverse all’analista e al valutatore, in quanto non possono più essere esclusivamente tecniche, ma devono riguardare anche il sistema delle integrazioni, la distribuzione delle risorse tra gli attori, le loro logiche di azione al fine di anticiparne le mosse e di facilitare l'emergere di una "razionalità a posteriori". In questa logica «governare significa piuttosto creare le condizioni perché la cooperazione tra più soggetti (istituzionali e non) possa svolgersi in modo proficuo e perché, attraverso l'interazione, possa svilupparsi un processo di apprendimento collettivo. Di particolare interesse anche il mutuo adeguamento tra scopi e obiettivi, che, oltre ad accomunarlo con il modello del garbage can, costituisce un ulteriore esempio della labilità del confine che separa i mezzi dai fini e del fatto che i primi possono anche modificare i secondi. Il problema per il valutatore riguarda in questo caso il grado e il modo in cui può avvalersi del principio di razionalità.

Il modello "garbage can"

"Cestino dei rifiuti": con questo lemma March e Olsen (1976) si riferiscono alla situazione in cui problemi e soluzioni vengono formulati insieme, attraverso un'interazione tra attori del processo decisionale non più guidata da una pre-definizione dei fini. Il modello è stato proposto per spiegare parte dell'attività di problem solving di cui è impregnato il nostro agire quotidiano; nei contesti decisionali è stato considerato da chi l'ha proposto come applicabile ai casi definiti "anarchie organizzate", che includono anche le istituzioni accademiche, caratterizzate da:

• Problematicità delle preferenze (incompatibili, eterogenee, mal definite, vengono scoperte dall'organizzazione nel corso dell’azione);
• Incertitudine tecnologica decisionale (assenza di procedure decisionali collaudate, prevalenza dell'apprendimento individuale e dell'intuito pragmatico);
• Fluidità della partecipazione (numero di partecipanti al processo e tempo e attenzione da questi dedicato sono variabili e non predefinite; gli stessi confini dell'organizzazione appaiono incerti.

La situazione non è infrequente quando una pluralità di decisori si chiede "che fare" per affrontare un problema definito in termini generali (un'area socialmente degradata, una zona in declino industriale, un alto tasso di disoccupazione). Se un problema costituisce lo stimolo a costruire una strategia d'intervento, è ben possibile che questa venga costruita, attraverso le interazioni che si determinano fra quattro "corsi d'azione" che scorrono, in modo relativamente indipendente, in un’organizzazione: i problemi, le soluzioni, i partecipanti e le occasioni di scelta. Più precisamente ogni partecipante è dotato di un proprio frame all'interno del quale difficilmente è possibile separare problemi e soluzioni, in quanto figli di uno stesso contesto; l'interazione decisionale favorisce l'incontro tra i frame (piuttosto che la nascita di uno comune): vengono messe sul tavolo e mescolate coppie diverse di problemi e soluzioni e si scelgono quelle su cui si ottiene il consenso. La conoscenza sembra far crescere le domande ad un ritmo superiore a quello a cui fa crescere le risposte. Produce troppe qualificazioni, riconosce troppa complessità.

Il metodo mixed scanning

Esistono diversi tipi di decisioni (strategiche ed operative), che di norma presentano tipi e gradi diversi di razionalità. In particolare, si applicherebbe la razionalità comprensiva nelle scelte strategiche, l’incrementalismo sconnesso in quelle operative.