Progettazione e valutazione

VALUTAZIONE IN ITINERE

In questo tipo di valutazione è essenziale la valutazione di efficienza: i destinatari ed i finanziatori del programma si chiedono se tale programma raggiunge i risultati per i quali è stato attivato. Comprende tutti gli strumenti tipici dell'analisi qualitativa: test di profitto, interviste, questionari di gradimento. Il questionario di gradimento in questa fase è uno strumento un po' debole in quanto è difficile che qualcuno che deve ultimare un corso con te ne parli male durante il corso stesso. Di solito gli adulti sono però più critici in tal senso.

VALUTAZIONE EX POST

Effettua una valutazione dell'efficacia esterna ex post, valutando se sono stati saturati i bisogni in relazione ai quali il programma è stato ideato. Inoltre, valuta l'efficacia interna ex post, verificando i risultati interni del programma. Infine, analizza nel complesso gli effetti del programma anche in relazione alle risorse economiche utilizzate. È una valutazione completa che considera tutti gli aspetti del programma.

valutazione del rapporto costi/efficacia

valutazioni esterne sono possibili anche valutazioni esterne in relazione alle buone pratiche, o repliche del programma.

VALUTAZIONE GLOBALE O IN PROFONDITA' (Palumbo)

La valutazione risponde alla domanda: cosa otteniamo, con quali costi e con quali benefici. La valutazione globale è una valutazione più approfondita e più ampia e può riguardare vari ambiti.

Con questo tipo di valutazione possiamo andare a valutare e confrontare, per esempio, 3 diversi corsi di formazione presenti sul territorio gestiti da enti diversi; può essere la valutazione dell'impatto di un programma o dell'impatto di più programmi su uno stesso pubblico o dell'impatto di parti di programmi su pubblici diversi. Ma cosa valuta?

• Le misure più costose
• Le misure più innovative
• Gli obiettivi più strategici
• Gli obiettivi più controversi

priorità che interessano i decisori•

Sulla base dei MEANS = acronimo: manuali di valutazione, dei volumi scritti da esperti tedeschi e inglesi di pedagogia sperimentale utilizzati per la valutazione su imput dell'UE, utilizzati per la valutazione degli enti.

MEANS• Sono volumi descrittivi della valutazione di programmi europei, finalizzati alla FSE.

Sono testi di valutazione scritti da esperti tedeschi e inglesi•

Utilizzati anche in Italia in quanto la cultura valutativa qui da noi nel settore della policy deriva dall'UE•

I valutatori italiani sono nati in relazione ai programmi comunitari

VALUTAZIONE TRASVERSALE DI POLICY•

La descrizione dei cambiamenti osservabili•

La valutazione di gruppi non toccati dai programmi•

Analisi qualitative di programmi (case-study)•

Stima quantitativa degli impatti•

Questi livelli di valutazione si legano a forme di vera e propria ricerca•

Si può fare una valutazione di

Contrasto per valutare se la politica locale è stata più o meno lungimirante rispetto alla politica comunitaria. Questa possibile valutazione non è obbligatoria, non è quella che ogni programma prevede per routine (ex ante, in itinere, ex post) ma rappresenta una sensibilità più elevata degli operatori. Risponde alla domanda: cosa è successo? Quali sono stati gli esiti della ricerca in relazione a contesti più ampi? In Italia si fa da poco.

MODELLO GENERALE DI POLICY

Problema, obiettivi, strategia, valutazione 61

Si tratta di una catena più o meno complessa che vuole rendere visibile e valutabile la politica in un certo settore. Valutazione come atto pubblico preparato da una vera e propria procedura visibile e misurabile in cui è necessario documentare nel modo adeguato.

• Tutti valutano perché senza valutazione non si hanno i finanziamenti
• Vi è un nuovo modello di formazione professionale innovativo

Derivato dall'unione europea, che tiene per la prima volta conto dell'esperienza pratica (es. tirocinio nelle Università): nei paesi anglosassoni prima si fa esperienza e poi si aggiunge alla pratica la teoria.

Definizione di valutazione di Bezzi tratta dal suo sito:

Valutazione = l'insieme delle attività per esprimere un giudizio per un fine decisionale; tale giudizio deve essere argomentato tramite procedure di ricerca valutativa che ne costituiscono elemento essenziale ed imprescindibile di argomentazione. Le espressioni di giudizio argomentate sulla base di dati e informazioni raccolti e analizzati per questo scopo, e finalizzate al sostegno della decisione, è ciò che distingue la valutazione scientifica e professionale dall'espressione di giudizi basati sul senso comune, su pregiudizi, su interessi di parte.

In questo senso la valutazione, pur essendo un concetto più ampio di quello di ricerca valutativa, e includendo

attività non di ricerca, finisce col confondersi con essa. Non esiste una valutazione affidabile, fuori dai processi di giudizio di puro senso comune, che non sia basata su attività di ricerca specifica e particolare definita ricerca valutativa. Valutazione e ricerca valutativa non devono essere confuse con Monitoraggio, Audit, Benchmarking, Certificazione.

Scriven (1991, 139-145) attribuisce tre significati al termine:

1. il processo di determinazione del valore di qualcosa, o del prodotto del suo processo; questo è il concetto chiave, e Scriven in realtà non parla di semplice 'valore' distinguendo tre declinazioni inglese difficilmente traducibili in italiano (merit, worth e value);
2. il nome di una disciplina autonoma; Scriven sostiene che la valutazione non è una branca di scienze sociali applicate ma una 'transdisciplina' con autonomo statuto (analogamente a statistica e logica; 1991, 364);
3. il nome dato, in maniera limitata e

effetti di una decisione presa. Questo elemento di complessità richiama la necessità di ricorrere a modelli di valutazione che consentono di confrontare fra di loro osservazioni, stime ed indicatori diversi per rilevanza e per strumenti di classificazione o misurazione; alla complessità del sistema che vede l'interazione di attori diversi dotati di propri sistemi di preferenza, non sempre fra loro coerenti. La possibilità di supportare un processo decisionale ex ante in una logica a razionalità limitata è legata alla capacità di tenere in considerazione contemporaneamente tutti questi fattori di complessità metodologica (Bertin 1995, 23).

Nella valutazione dello sviluppo:

Esame critico dell'iniziativa di cooperazione così come descritta in genere in un rapporto di identificazione iniziale. La valutazione ex-ante seleziona e classifica le varie soluzioni dal punto di vista della rilevanza; della fattibilità tecnica,

finanziaria e istituzionale; della redditività socio-economica; della vitalità. La valutazione ex-ante precede immediatamente la fase di approvazione, da parte delle autorità, dell'iniziativa proposta"

VALUTAZIONE EX POST

In generale è opportuno considerare momenti ed effetti diversi della valutazione ex post: la valutazione ex post delle realizzazioni, dei risultati e degli impatti. Valutazione di un intervento dopo che è stato completato. L'obiettivo della valutazione ex-post è quello di studiare se e come il progetto abbia raggiunto gli obiettivi prefissati (purpose) nonché immaginare soluzioni adeguate per interventi simili in futuro (Pennisi 1991, 431).

Valutazione realizzata appena un progetto è concluso, e basata generalmente su un consuntivo delle attività realizzate e sulla stima costi-benefici dell'investimento; viene anche chiamata 'valutazione a completamento', 'conclusiva'.

VALUTAZIONE IN ITINERE

Anche Valutazione in corso di esecuzione, è quella valutazione che si realizza mentre il processo valutato è ancora in corso, al fine di consentire l'adattamento e la correzione di eventuali deviazioni dal progetto o programma originario a causa di errori di progettazione o di modificazioni del contesto (causati probabilmente dallo svilupparsi del progetto stesso). Non va assolutamente confuso con il monitoraggio, né con la Valutazione a medio termine.

Nel contesto del Fondo Sociale Europeo si usa l'espressione Valutazione intermedia (equivalente a Valutazione a medio termine), che però dovrebbe essere tenuta distinta poiché indica una valutazione realizzata a una data (più o meno) stabilita per riorientare l'azione, e non un processo valutativo continuativo come prefigura il termine

valutazione in itinere.AP P R O C C I V A L U T A T I V I6