Che materia stai cercando?

Anteprima

ESTRATTO DOCUMENTO

e) analizza e valuta le alternative in una sequenza di passi, sicché le scelte sono continuamente

aggiustate nel tempo, piuttosto che compierle in un solo punto precedente all'azione

f) condivide le responsabilità dell' analisi e valutazione con molti gruppi nella società, cosicché il

processo di produzione delle scelte relative alle policies è frammentato o sconnesso.

Questa concezione richiede competenze diverse all’ analista e al valutatore, in quanto non possono più

essere esclusivamente tecniche, ma devono riguardare anche il sistema delle integrazioni, la distribuzione

delle risorse tra gli attori, le loro logiche di azione al fine di anticiparne le mosse e di facilitare l'emergere di

una "razionalità a posteriori". In questa logica «governare significa piuttosto creare le condizioni perché la

cooperazione tra più soggetti (istituzionali e non) possa svolgersi in modo proficuo e perché, attraverso

l'interazione, possa svilupparsi un processo di apprendimento collettivo. Di particolare interesse anche il

mutuo adeguamento tra scopi e obiettivi, che, oltre ad accomunarlo con il modello del garbage can,

costituisce un ulteriore esempio della labilità del confine che separa i mezzi dai :fini e del fatto che i primi

possono anche modificare i secondi

Il problema per il valutatore riguarda in questo caso il grado e il modo in cui può avvalersi del principio di

razionalità. IL MODELLO "GARBAGE CAN"

"Cestino dei rifiuti" con questo lemma March e Olsen (1976) si riferiscono alla situazione in cui problemi e

soluzioni vengono formulati insieme, attraverso un'interazione tra attori del processo decisionale non più

guidata da una pre – definizione dei fini.

Il modello è stato proposto per spiegare parte dell'attività di problem solving di cui è impregnato il nostro

agire quotidiano; nei contesti decisionali è stato considerato da chi l'ha proposto come applicabile ai casi

definiti "anarchie organizzate", che includono anche le istituzioni accademiche, caratterizzate da:

a) problematicità delle preferenze (incompatibili, eterogenee, mal definite, vengono scoperte

dall'organizzazione nel corso dell’ azione);

b) incerta tecnologia decisionale (assenza di procedure decisionali collaudate, prevalenza

dell'apprendimento individuale e dell'intuito pragmatico );

c) fluidità della partecipazione (numero di partecipanti al processo e tempo e attenzione da questi

dedicato sono variabili e non predefinite; gli stessi confini dell'organizzazione appaiono incerti.

La situazione non è infrequente quando una pluralità di decisori si chiede "che fare" per affrontare un

problema definito in termini generali (un'area socialmente degradata, una zona in declino industriale, un aho

tasso di disoccupazione). Se un problema costituisce lo stimolo a costruire una strategia d'intervento, è ben

possibile che questa venga costruita, attraverso le interazioni che si determinano fra quattro "corsi d'azione"

che scorrono, in modo relativamente indipendente, in un’ organizzazione: i problemi, le soluzioni, i

partecipanti e le occasioni di scelta. Più precisamente ogni partecipanteè dotato di un proprio frame

all'interno del quale difficilmente è possibile separare problemi e soluzioni, in quanto figli di uno stesso

contesto; l'interazione decisionale favorisce l'incontro tra i frame (piuttosto che la nascita di uno comune):

vengono messe sul tavolo e mescolate coppie diverse di problemi e soluzioni e si scelgono quelle su cui si

ottiene il consenso. La conoscenza sembra far crescere le domande ad un ritmo superiore a quello a cui fa

crescere le risposte. Produce troppe qualificazioni, riconosce troppa complessità.

IL METODO MIXED SCANNING

5

Esistono diversi tipi di decisioni (strategiche ed operative), che di norma presentano tipi e gradi diversi di

razionalità.

In particolare, si applicherebbe la razionalità comprensiva nelle scelte strategiche, l’incrementalismo

sconnesso in quelle operative. Per la verità si possono trovare evidenze contrarie in quanto tecniche ispirate

al principio della razionalità sinottica, come l'analisi costi benefici, vengono spesso utilizzate per selezionare

i progetti attuativi all'interno di Programmi le cui scelte di più vasta scala sono difficilmente riconducibili a

tale forma di razionalità. Molto spesso le policies di carattere routinario si sviluppano con modesti

aggiustamenti, nel segno della continuità. A questo riguardo un politologo ha addirittura osservato che,

perché vi sia una decisione innovativa, occorre o una catastrofe o un accordo completo tra i vari stakeholder

condizioni entrambe non molto frequenti.

LA VALUTAZIONE DI BEZZI: riassunto libro

1. Cos'è la valutazione

1.1. La brutta parola

"Valutazione" è proprio una brutta parola, che non piace a nessuno.

Tutti noi abbiamo speso molto tempo della nostra vita a valutare ed essere valutati: siamo stati valutati a

scuola (e in genere non c'è piaciuto), siamo stati valutati sul lavoro (e anche qui siamo stati di rado contenti),

siamo in qualche modo valutati in famiglia, con gli amici, nel tempo libero, e quando possiamo ci

vendichiamo valutando noi le circostanze, i risultati, le prove, l'impegno altrui, e così via.

la valutazione che fa tanta più paura dove c’è l’abitudine a rispettare le forme, la procedura, la norma e non

interrogarsi sugli effetti, i risultati, le conseguenze. Perché valutare vuole dire, appunto dare un giudizio, ma

di sostanza e non di semplice forma.

1.2. Giudicare cosa, giudicare perché?

Questo giudizio sostanziale ci interessa per capire come funzionano le cose anzi, se abbiano funzionato,

come e, soprattutto, perché, in quanto quest’ultima domanda ci consente di migliorare. Se dovessimo capire

che una certa attività ha funzionato bene, ha avuto buoni risultati,è pure costata poco e tutti son contenti,

potrebbe per noi essere conveniente replicarla, o quanto meno trarne spunto per altre azioni, mentre se ha

dato risultati negativi, le cose sono andate a rotoli, ecc., dovremo pur capire cosa esattamente ha fatto andare

storte le cose per non inciampare in futuro nello stesso errore.

Ecco allora la necessità di valutare, ovvero di vedere cosa succede alle nostre organizzazioni. ai nostri

programmi e progetti, di capire ogni volta cosa ha funzionato e perché, cosa non ha funzionato e perché.

La valutazione vuole capire le ragioni dei meccanismi sociali e dei suoi funzionamenti, in genere

limitatamente a quei processi sociali che sono oggetto di una programmazione.

• Qui programmazione è intesa in senso generale per significare che c’è l'idea di fare una certa cosa e

che tale idea deve essere strutturata con tempi previsti, persone che se ne occuperanno, danari che si

possono spendere, fruitori della "cosa" programmata, risultati che ci si aspetta di ottenere.

• bisogna voler valutare: i politici, i funzionari pubblici, i responsabili di tutti gli ordini e grado che

non vogliono alcuna "interferenza" perché loro non commettono errori

6

• In Italia è ancora diffusa la mentalità del controllo della correttezza procedurale piuttosto che la

mentalità della valutazione dell’efficacia dell’intervento. Spesso si sta più attenti alla norma

indipendentemente dalla sua logica e dei suoi effetti; si sta attenti alla procedura, ai tempi, al budget a

prescindere dalla relazione fra l’intervento e il risultato atteso.

• Valutare vuol dir capire: devo pormi delle domande e devo cercare delle risposte con la raccolta e

l’analisi di dati e informazioni pertinenti. Individuare punti deboli e punti di forza per imparare

dall’esperienza e fare meglio la prossima volta. Valutare per capire e migliorare è un intento

applicabile a qualunque azione sociale programmata: riguarda ciò che facciamo in forma organizzata

con la deliberata volontà di raggiungere un fine ( nel pubblico trova la migliore applicazione.

• I bisogni, gli interessi, i valori delle persone sono estremamente differenziati; gli strumenti di

intervento sono sempre più complessi e variegati, mentre le risorse sono sempre più limitate: servono

strumenti più penetranti di comprensione e di giudizio e la valutazione offre un sostegno alla

decisione, in particolare pubblica, che aiuta a capire, a scegliere, a programmare, a decidere.

1.3 Programmazione e valutazione

La valutazione non si pone domande astratte ma interviene in un contesto dove un soggetto che decide

vuole capire che cosa succederà in seguito alla sua decisione o quali conseguenze si sono prodotte in

seguito a una decisione già presa, come meglio può gestire il processo: tutte cose che hanno a che fare

con la decisione e la programmazione. ⇒

C'è un qualche "evento" che sollecita una decisione⇒ presa tale decisione qualcuno deve

implementare la decisione e quindi si procede gestendo il servizio o programma costruito. Segue un

periodo di adattamento, fin quando, per qualche ragione, le cose non funzionano più bene, gli adattamenti

reciproci non bastano, e nuove sollecitazioni inducono a prendere nuove decisioni riaprendo il ciclo.

Questa ciclicità dipende appunto dall'impossibile ingegnerizzazione sociale: Tutto cambia, e nessun

intervento sociale, economico, sanitario, può essere per sempre. Il ciclo decisione-programmazione è il

tentativo continuamente adattato alla realtà, di riportare costantemente in equilibrio il mondo complesso

dei bisogni che cambiano, dei valori sociali che mutano, degli interessi diversi che si affermano.

1.4. Valutazione come ricerca

Tutti noi valutiamo continuamente. Lo facciamo in maniera spontanea, e prevalentemente con uno stile

assertivo, ovvero senza necessità di argomentare le ragioni del nostro giudizio valutativo. Noi valutiamo,

esprimiamo giudizi che sono sempre basati su elementi che potremmo distinguere: fattori affettivi; fattori

etici e valoriali molto generali (e forse molto sullo sfondo) quando parliamo di politica; elementi estetici

che hanno a che fare coi nostri gusti e con la nostra cultura; competenze pregresse.

A differenza della valutazione "spontanea", quella tecnica e scientifica deve sapere e potere appoggiare la

propria argomentazione su informazioni solide, raccolte con procedure chiare e accettabili, e con una

coerenza complessiva convincente. Una adeguata sensibilizzazione alla cultura valutativa, associata a

competenza nel proprio ambito professionale può produrre capacità valutativa competente: solo con

capacità di comprensione dei contesti e alta competenza tecnico-scientifica si accede a quella valutazione

esperta che garantisce rigore di metodo e assicura la qualità del processo di ricerca valutativa. La ricerca è

quindi il motore della valutazione come sua fonte imprescindibile dì argomentazione. Cosa vuol dire fare

ricerca valutativa? Esprimere un "giudizio argamentato attraverso un processo di ricerca": poter

argomentare il giudizio valutativo tramite informazioni verificabili, devo cioè poter controllare il

7

processo di costruzione dell’informazione sulla quale si basa la valutazione, devo saper dire perché sono

arrivata a certe conclusioni.

1.5. Una sintetica definizione di valutazione

Valutazione è l'insieme delle attività collegate utili per esprimere un giudizio per un fine; giudizio

argomentato tramite un processo di ricerca valutativa che ne costituisce l’elemento essenziale e

imprescindibile di affidabilità delle procedure e fedeltà delle informazioni utilizzate per esprimere quel

giudizio.:

• il giudizio da esprimere non è lasciato alla soggettività assertiva, ma fondato su attività diverse che

includono ricerca, comunicazione, negoziazione fra parti diverse;

• un giudizio per un fine sociale; la valutazione nasce in un contesto di complessità decisionale,

generalmente pubblico (in quanto nei contesti pubblici, non regolati dal mercato, c’è più bisogno di

capire come funzionano le cose; la valutazione non ha senso senza questo fine che riguarda

l'interesse collettivo (svolgere bene un servizio pubblico, programmare bene le risorse e soddisfare

i bisogni degli utenti ).

• Giudizio argomentato attraverso processi di ricerca, sostenuto cioè da evidenze, da dati, da

informazioni condivisibili: tramite cioè il processo di ricerca.

Senza ricerca valutativa la valutazione è solo chiacchere.

1.6. Chi sono i valutatori

Attualmente i valutatori sono un insieme abbastanza eterogeneo che include professionisti che per anni

hanno fatto attività in qualche modo confinanti: formatori, consulenti per le amministrazioni pubbliche,

ricercatori, professionisti di area sanitaria e altro, docenti universitari. In generale si tratta di economisti,

sociologi, politologi, psicologi,…

Il valutatore per Bezzi dovrebbe essere:

• un ricercatore, e quindi conoscere metodologia della ricerca, tecniche e problematiche

epistemologiche connesse; il richiamo alle problematiche epistemologiche è per porsi con lo

sguardo di fronte al problema, per cercare di affrontarlo con le tecniche più opportune, e non di

fronte alle tecniche scegliendole a prescindere dal problema valutativo;

• un comunicatore, essere empatico, saper gestire gruppi;

• soprattutto critico, curioso, non pago delle prime e più banali risposte; in qualche modo il

valutatore è uno scettico, un dubbioso, uno che mette in discussione sempre e comunque anche i

propri risultati e che diffida del pensiero comune.

Piccolo glossario

Epistemologia: è quella branca della filosofia che si occupa delle condizioni sotto le quali si può avere

conoscenza scientifica e dei metodi per raggiungere tale conoscenza. Quando in questo testo affermo

l'importanza della riflessione epistemologica intendo quindi una riflessione preliminare che colleghi i

problemi (valutativi o no) ai percorsi operativi da realizzare per affrontare e capire il problema (ovvero

alle tecniche); ciò significa riconoscere una complessità del mondo da una parte, e la rigidità delle

tecniche dall'altra. Le tecniche sono strumenti che incidono sul formato dei dati (come vedremo nel

capitolo 3), in qualche modo modificando la realtà che appare, e quindi vanno scelte dopo riflessioni

particolari e approfondite . 8

Indicatore: il tema degli indicatori è molto complicato, anche perché a fronte di una grande diffusione

persiste una altrettanto grande confusione. In generale troviamo due significati: il primo - più generale e

corretto - fa riferimento al livello direttamente osservabile del concetto che il ricercatore intende indagare.

Per esempio il rossore sul volto è indicatore di timidezza; la povertà economica è indicatrice di disagio

sociale; la spesa per viaggi e tempo libero è indicatrice di benessere, ecc. Nel secondo significato - più

usuale - è un semplice descrittore qualitativo o, più spesso, numerico utilizzato come approssimazione per

descrivere differenti proprietà di oggetti di ricerca o di processi valutati. Per esempio un indicatore (in

questo senso) di benessere è il tasso di persone che comprano una crociera sul totale di coloro che vanno

in vacanza (che si esprime con un valore quale, p.es. 5%). Al tema degli indicatori dedico l'ultimo

capitolo di questo libro.

Implementazione: la messa in opera di un intervento utilizzando le risorse disponibili al fine di produrre

i risultati previsti dal programma o dal progetto.

Progetto: attività singola, non divisibile, con un obiettivo operativo.

Un progetto è delimitato in termini di scadenze e budget, e può essere parte di un programma.

L'essenziale è non assuefarsi. Perché le abitudini sono letali. Anche se fosse per la centesima volta, devi

andare incontro a ogni cosa come se non l'avessi mai vista prima. Non importa quante volte è successo,

deve essere sempre la prima volta. Tutto ciò è quasi impossibile, lo capisco, ma è una regola assoluta.

{Pau] Auster, Nel paese delle ultime cose}

2.1. La valutazione e il problema dell’”oggettività”

2.1.1 Cos’è la realtà?

Un esempio molto banale: se una ricerca ci dice che i] 68% degli utenti di un servizio sono insoddisfatti,

potremmo essere indotti a concludere immediatamente che ]e Cose vanno malissimo, e probabilmente

può essere vero. Ma forse l'anno prima - prima che si avviasse una revisione del program ma valutato - gli

insoddisfatti erano 1'85%, e ora siamo nel pieno di un lento ma avviato processo di miglioramento; quindi

il giudizio dovrebbe essere più sfumato; "la grande maggioranza degli utenti è tuttora insoddisfatta, ma

rispetto all'anno precedente sembra di vedere una netta ripresa". O forse un'analisi interna a quello stesso

dato potrebbe rivelare sorprese; per esempio quel 68% potrebbe essere composto da giovani scontenti al

90%, e da persone adulte o anziane scontente solo al 30%. Oppure da donne scontente al 95% e da

uomini scontenti solo al 23%. Ci potrebbe essere, insomma, un problema legato al target, solo in parte

centrato dal programma. Ci possono essere tanti e tanti modi per leggere i numeri, confrontandoli con

altri luoghi (se in tutta Italia analoghi servizi rendono soddisfatti 1'80% degli utenti, allora probabilmente

il nostro ha dei seri problemi), analizzandone singole componenti (forse c'è un solo elemento specifico

che fa precipitare il gradimento) e così via.

Inoltre non abbiamo a che fare solo con numeri, ma anche con opinioni espresse in forma verbale (ciò

avviene di regola con tecniche quali l'intervista biografica, il focus group e diverse altre), che dobbiamo ]

eggere e interpretare cercandone un significato. Ma tale significato viene trovato a partire dal nostro

lessico, dai nostri saperi pregressi, dai nostri valori impliciti.

Insomma: non solo non esiste una "ricerca perfetta", ma lo scoglio fondamentale dell'interpretazione dei

dati (o più in generale delle informazioni) rende inevitabilmente non certo, non deterministico, non as-

soluto qualunque risultato valutativo. 9

È solo nella nostra pratica quotidiana, costruita col buon senso e senza necessità di particolari

approfondimenti, che possiamo avere delle certezze (sulla Nazionale di calcio, sulla nostra parte politica,

sulla qualità di un film), mentre nel campo scientitico, e segnatamente nella valutazione, dobbiamo

coltivare il dubbio:

2.1 .2. Realismo e costruttivismo

L'acuto senso di difficoltà a confrontarsi con una realtà solida e immutabile ha fatto rapidamente nascere,

in valutazione come in tutti i campi scientifici, PARADIGMI diversi: da un lato ci sono coloro che

ritengono concepibiIe tale realtà immutabile, esterna all'osservatore (alvalutatote), in atteSa di essere

osservata e analizzata; per costoro

- che sono detti "realisti" - l'eventuale inadeguatezza della nostra ricerca dipende dalla nostra incapacità, o

dallo stato dell'arte ancora arretrato in quella disciplina, o da altri impedimenti. (ani ’60). Rapidamente

però la complessità sociale ha fatto i conti con queste semplificazioni, e nelle teorie valutative hanno fatto

irruzione altre discipline come la sociologia, la psicologia e la pedagogia.. A quel punto, e siamo già negli

anni '80, l'edificio REALISTA subiva un profondo mutamento, e contemporaneamente iniziava a trovare

spazio il paradigma COSTRUTTIVISTA, che ritiene che l'osservatore appartenga interamente alla realtà

osservata, e che quindi interagisca con essa e la perturbi con la sua opera di indagine; il costruttivista

tiene conto dei diversi valori, culture e soggettività in campo, inclusa la propria, e ten de a dare meno

enfasi - o nessuna - alla presenza di una realtà unica e indiscutibile.

Tutto questo ha grandemente a che fare col metodo della ricerca valutativa: affrontare una ricerca

valutativa entro un'ottica realista oppure costruttivista porterà il valutatore a preferire certe ipotesi, ad

applicare certe tecniche (quantitative o qualitative, per esempio),. a trovare certi risultati.

2.1.3. Il ruolo del linguaggio e della soggettività

E ' impossibile considerare certa qualunque conclusione valutativa.

È interessante osservare che tutti noi, mentre invochiamo certezze per colmare le nostre ansie, sappiamo

benissimo, con angolini inascoltati del nostro cervello, che non si può dare alcuna certezza sociale,

linguistica, culturale, e che nelle nostre interazioni entrano pesantemente in ballo quelle che per brevità

possiamo chiamare le nostre soggettività.

Tutti sappiamo, ma che spesso non accettiamo: ciascuno vive e vede la propria realtà, entro il fòro

interiore, e la vive, interpreta e comunica al prossimo a partire da tale suo assetto personologico , ma viene

poi capito e interpretato da un altro soggetto, che ha una sua e diversa personalità, diversi linguaggi, altri

valori di riferimento. Non è così semplice capirsi in maniera assolutamente univoca.

È facile comprendere come interagisce tutto ciò con la valutazione. Il valutatore raccoglie informazioni,

pareri, dati, espressi per lo più in forma testuale, ma comunque sempre da interpretare da parte sua, da

sintetizzare (e quindi da cambiare in qualche modo) per poi comunicare un giudizio valutativo ai

destinatari del lavoro, i quali anche loro dovranno capire e interpretare ciò che il valutatore dice. I diversi

linguaggi, i diversi valori e culture, le diverse soggettività, non sono un ostacolo alla valutazione ma, in

un certo senso, una risorsa di grande rilevanza.

2.2. Valutazione, monitoraggio, certificazione e altro ancora

Un problema usuale porta a confondere la valutazione con altri approcci, modalità di controllo, raccolta di

informazioni manageriali, che invece sono diverse.

10

Propongo una piccola sintesi per illustrare in cosa consistano le differenze:

• la valutazione, è l'espressione di un giudizio basato su una ricerca ad hoc, che ha come obiettivo la

comprensione de-.· gli elementi che costituiscono le basi del buono o del cattivo funzionamento di un

processo sociale programmato; una politica, un programma, un progetto, ecc. Lo scopo della valutazione

è eminentemente critico, e la sua comunicazione ha carattere argomentativo: si valuta per capire e per

apprendere, e quindi (si suppone) per cambiare e migliorare;

• il monitoraggio è solo un sistema di raccolta e archivi azione di dati di base (generalmente quantitativi)

che possono poi avere diversi utilizzi: per la direzione che vuole controllare l'andamento, per esempio,

dei flussi finanziari. Di per sé il monitoraggio non esprime giudizi (ecco la sua profonda differenza con

la valutazione), ma fornisce solo i dati per i quali è stato programmato;

• un'altra parola abbastanza diffusa, è il termine inglese assessment; sia evaluation che as"sessment si

traducono, in italiano, col semplice "valutazione", e probabilmente questo induce alcuni autori italiani a

usare valutazione (in italiano) e assessment (in inglese) come se fossero due concetti diversi. Purtroppo

assessment è uno di quei termini che creano confusione, dove se ne trovano definizioni diverse ma, per

così dire, "deboli" e poco motivate. La consuetudine porta a relegare assessment nell'ambito valutativo

delle persone (valutazione dell'apprendimento, delle prestazioni, del personale), e evaluation in tutto il

resto.

• dal linguaggio aziendale ci arrivano anche termini quali benchmarking e audit, che comunque non

sono transitate con particolare fortuna in valutazione: il benchmarking è semplicemente il confronto con

quanto c'è di meglio nello stesso settore produttivo al fine di comparare le proprie capacità mentre si

intende con audit un sistema di controllo che consente di accorgersi, in tempo reale, del mal

funzionamento di qualche elemento organizzativo.

• ultimamente si parla anche di bilancio sociale; il bilancio sociale, col suo tentativo di fare una

fotografia dei meriti (e degli eventuali demeriti, che però raramente sono esplicitati) di una certa organiz-

zazione, assomiglia molto alla valutazione, ma non è così: intanto il bilancio sociale riguarda solo

organizzazioni (aziende, istituzioni, enti pubblici) e non programmi e progetti.

Originariamente esso aveva lo scopo di rispecchiare in qualche modo l'usuale bilancio finanziario

dell'organizzazione mostrando il valore economico degli effetti sociali generati.

Il bilancio sociale è nato con il proposito di dare un valore, possibilmente economico, a questi servizi che

non hanno un prezzo di mercato e che sono di difficilissima misurazione. Proprio tale difficoltà ha presto

ridotto il bilancio sociale a qualcosa di meramente descrittivo, che spesso finisce con l'essere

promozionale quando non demagogico, e quindi distantissimo dalla valutazione;

infine si trovano occasioni di equivoco e confusione con la certificazione della qualità. Questo è un

processo di determinazione delle migliori procedure per erogare un dato servizio; una volta analizzati gli

obiettivi, i destinatari, le norme vigenti e il tipo di organizzazione, un soggetto terzo, qualificato allo

scopo, stabilisce procedure vincolanti, responsabilità organizzative, e così via, in modo da ga rantire (sia

all'organizzazione medesima quanto all'opinione pubblica) l'applicazione delle procedure considerate

corrette.

2.3. L'oggetto della valutazione

Ritengo che ci siano tre principali "famiglie" valutative:

• la valutazione - intesa quasi come "misurazione" - di determinati standard fisici: la valutazione di

impatto ambientale fatta da biologi e geologi; la valutazione della resistenza di un ponte fatta da

ingegneri. Ci sono parametri, coefficienti da applicare, standard da rispettare, e coi dovuti

11

strumenti, calcoli e procedure si stabiliscono valori alla percentuale eli presenza di una certa

particella nell' aria, e così via;

• la valutazione delle prestazioni individuali nelle sue diverse varianti;

• la valutazione di processi e organizzazioni sociali.

I processi e le organizzazioni sociali passibili di valutazione sono molti raggruppabili in:

• le “politiche”, ovvero un insieme di attività indirizzate verso la risoluzione di un problema collettivo

per esempio le politiche del lavoro in Italia.

• I programmi che sono un insieme organizzato di differenti attività volte al raggiungimento di

obiettivi specific ogni politica è composta da più programmi, composti da azioni specifiche chiamate

progetti;

• Il “progetto” è un’attività singola, non divisibile con un obiettivo operativo

• Le organizzazioni sono le articolazioni amministrative e gestionali che consentono la definizione e la

gestione di politiche programmi, progetti.Valutare un’organizzazione o un servizio ha in genere

obiettivi diversi dalla valutazione di politiche programmi progetti.

Gli anglosassoni, per non specificare ogni volta "programmi, progetti, organizzazioni, ecc.", USano un

unico termine generico, evaCuand, che in italiano viene proposto a volte con "evaluando". L'evaluando è

qualunque progetto, qualunque servizio, qualunque "oggetf<)" posto al centro della valutazione.

2.4.I tempi della valutazione

La valutazione fornisce un giudizio di merito, tramite attività di ricerca, su un problema decisionale

complesso. La valutazione si fa a priori: valutazione ex ante

degli impatti: prima di prendere qualunque decisione, quando l'idea iniziale, ancora non precisata

operativamente, può imboccare strade diverse; la valutazione allora, con prerogative di ricerca

previsionale, aiuta a costruire scenari, piuttosto generali, che fanno comprendere al decisore principali

pregi e difetti delle alternative possibili;

dei risultati: prima di prendere una decisione definitiva, ma con scenari chiari e con una strategia di

massima definita, al fine di stimare in maniera sufficientemente precisa gli effetti a breve medio e lungo

periodo in modo da disegnare il progetto operativo;

dell’implementazione: prima di avviare la fase operativa, ma con una decisione già presa sulle strategie,

per verificare le modalità concrete.

La valutazione si fa durante il ciclo di vita di un programma o servizio

in itinere: mentre è in corso d’opera il programma o intervento, come attività che affianca il suo

procedere,e che dà informazioni continue sul rispetto di obiettivi prefissati;

intermedia: mentre è in corso d’opera il programma o intervento, non come attività continua bensì come

momento specifico più o meno a medio termine

La valutazione si svolge dopo la conclusione di un programma: valutazione ex post

delle realizzazioni: a progetto/programma appena concluso, per verificare la correttezza dei procedimenti

realizzati;

dei risultati: a programa/progetto concluso, dopo un lasso di tempo che consenta di verificare se quanto

realizzato risponde agli obiettivi generali e ai bisogni espliciti del contesto che ha formulato (interrogarsi

sull’efficacia esterna); 12

degli impatti: a programma/progetto concluso, dopo un lasso di tempo maggiore, per analizzare le più

generali ricadute nel contesto.

2.5.Obiettivi della valutazione

2.5.1 Efficacia ed efficienza

In sintesi la valutazione esprime un giudizio sull’efficacia e l’efficienza delle realizzazioni, dei risultati

e degli impatti di politiche programmi e progetti di servizi e di organizzazioni con riferimento sia ai processi

che agli esiti.

L’efficacia è la capacità di raggiungere un obiettivo stabilito; per esempio per salvare più vite umane

con una terapia più adeguata in determinati contesti patologici.

Siamo efficaci se raggiungiamo gli OBIETTIVI stabiliti (ovvero: se rispondiamo più o meno pienamente

ai risultati attesi, se risolviamo in buona parte il problema reale a monte che ha giustificato l'intervento).

Qualunque problema di questo tipo è naturalmente risolvibile se abbiamo infinite risorse (infinito tempo,

infiniti denari ... ), ma in genere queste sono veramente scarse, e tutti i programmatori, i responsabili, gli

operatori sono costantemente invitati a risparmiare il più possibile. L'attenzione alle risorse ci porta diretti

al!' efficienza, che altro non è che il rapporto tra mezzi impiegati e risultati raggiunti. Vale a dire che a

parità di risultato (di efficacia), è più efficiente il progetto (o il programma, o il servizio) che ha speso

meno, che ha impiegato meno tempo, meno strutture, meno personale, e cosÌ via.

Efficacia ed efficienza sono come due piatti di una stessa bilancia: la tendenza è naturalmente quella di

essere più efficaci possibile (ovvero di rispondere più che si può ai problemi) e, assieme, più efficienti

possibile (ovvero impiegare meno risorse possibili).

Efficacia ed efficienza sono i due principali criteri di ogni valutazione; in realtà si trovano poi spesso

molti altri criteri, fra i quali: produttività, accessibilità, tempestività, appropriatezza, fino al generico

omnibus "qualità" (che significa veramente poco se non è spiegato). Ma tutti questi altri criteri non sono

altro che specificazioni di efficacia ed efficienza

2.5.2. Realizzazioni, risultati e impatti

Distinguiamo quindi fra:

• realizzazioni: il risultato finale delle azioni previste dal!' attività programmata sottoposta a

valutazione nella sua forma "fisica" evidente: numero corsi realizzati qualificati;'ecc. Esse sono le

conseguenze immediate e programmabili di un intervento;

• risultati: le conseguenze successive ed esterne generate dal programma. Per esempio è un

"risultato" quanti giovani corsisti hanno trovato occupazione in seguito a un corso formativo. In

generale i risultati rientrano nelI'intenzionalità esplicita del programma, anche se più difficili da

predeterminare e quantificare rispetto alle realizzazioni; in generale poi si distingue fra un

risultato lordo (quanti giovani hanno trovato lavoro) e uno netto (quanti giovani hanno trovato

lavoro grazie al corso, e non per motivi casuali o diversi), e naturalmente è quello netto a

risultare più interessante da un punto di vista valutativo;

• impatti: conseguenze di lungo periodo e. di ampio raggio di un programma o intervento. In

generale con 'impatto' ci si riferisce alle conseguenze economiche e sociali, dirette e indirette,

positive o negative, sulla popolazione bersaglio e su altri soggetti coinvolti.

Dal confronto fra un contesto che esprime dei bisogni e un'organizzazione che cerca risposte, alla luce del

filtro dei vincoli e delle risorse (normative, budget disponibile, ecc.), si realizzano delle attività tramite

13

attori implicati, procedure adeguate, strumenti messi a disposizione. Ciò determina la produzione di

determinate realizzazioni, di successivi risultati e di più generali e lontani impatti. Efficacia (interna ed

esterna) ed efficienza fanno riferimento alla cone nessione fra alcuni di questi esiti e momenti precedenti

della programmazione o delI'implementazione,

2.5.3. Processo ed esiti

Le parole sono piuttosto chiare: noi possiamo essere chiamati a valutare un processo di implementazione

di qualche politica, programma, servizio, oppure essere chiamati a valutarne gli esiti; 'esiti' è un termi ne

generico che ingloba le realizzazioni, risultati e impatti visti sopra, mentre il processo è qualche cosa di

molto interessante che include l'organizzazione, le sue procedure per conseguire gli esiti, ogni tipo di

vincolo e risorsa che aiutano od ostacolano il processo erogativo e il raggiungimento dei risultati, e così

via.

È piuttosto difficile formulare un sensato giudizio valutativo sugli esiti, se non si hanno informazioni sui

processi. Anche se una richiesta valutativa può enfatizzare più uno di questi due momenti rispetto

all'altro, pure ogni buona valutazione cerca di cogliere aspetti di entrambi.

2.6 Valutazione formativa e valutazione rendicontativa

La valutazione ha due obiettivi principali che sono un obiettivo detto “formativo” e l’altro

“rendicontativo”.

Si tratta di due facce dello stesso problema valutativo.

L’obiettivo formativo è far capire a chi di dovere cosa abbia funzionato e cosa no, perché impari e

migliori.Il giudizio valutativo non è temuto ma anzi desiderato si vuole capire per migliorare e si è

disponibili anche ad ascoltare una critica ben formulata dal valutatore.

La valutazione rendicontativa ha lo scopo di verificare se si sono rispettati i patti , se si è fatto il proprio

dovere; è una valutazione che può essere imposta da chi ha erogato dei fondi rispetto a chi li ha

utilizzati.Serve per far assumere precise responsabilità al valutato , che è chiamato a render conto di

quanto ha fatto.

La valutazione formativa è sempre un po’ rendicontativa (si esprimono giudizi di merito), così come la

valutaz. Rendicontativa non può non essere anche formativa (tramite quel giudizio si può e si deve

imparare a migliorare). Quello che cambia è l’impostazione a monte, le motivazioni e la sua conseguente

accettabilità da parte di chi è coinvolto come valutato.

2.7. La valutazione partecipata

In termini semplici la valutazione. partecipata si propone di coinvolgere diversi .

Attori sociali che hanno a che fare coll'evaluando,evitando di rivolgersi loro solo come informatori e

cercando un rapporto più coinvolgente che include la disponibilità a spiegare perché e come si intende

valutare e può arrivare all’estremo di programmare vere e proprie azioni di emancipazione politica e

sociale.

Esiste un equilibrio centrale che presuppone un coinvolgimento tecnico(non politico) al fine di costruire

dei giudizi valutativi fondati tenendo conto dei valori e delle culture espresse localmente.

14

La partecipazione in valutazione non è e non deve essere una scelta ideologica, si tratta di una necessità

metodologica. Non posso valutare seriamente se non comprendo se non sono inserito nel suo contesto.

Glossario

Realizzazione: il risultato finale dell'attività sottoposta a valutazione nella sua forma fisica evidente:

numero corsi realizzati e partecipanti qualificati; numero imprese beneticiate; ecc.

Ricerca scientifica: strumento per raggiungere un avanzamento teorico e/o pratico di conoscenze

mediante il ricorso allo strumento del metodo scientifico; bisogna fare attenzione all'aggettivo

'scientifico', che ammanta di sacralità eccessiva un insieme di procedure che devono e possono essere

argomentate, confutate, discusse e rigettate. Scientifico significa semplicemente che può essere sottoposto

a verifica (e quindi il ricercatore - e il valutatore - deve poter spiegare come ha ricavato i suoi dati e come

li ha analizzati), nell'ambito delle prassi riconosciute come valide dalla comunHà scientifica e

professionale di riferimento (quindi, per capirei, una valutazione basata sull'oroscopo dell'evaluando non

sarebbe accettata a priori).

Risultato: conseguenza successiva ed esterna generata dal programma, a differenza delle realizzazioni

(conseguenze immediate e programmabili) e degli impatti (sorta di conseguenze di secondo livello, non

precisamente programmabili e lontane nel tempo). Per esempio gli occupati in seguito a un corso

formativo sono 'risultati' (la realizzazione è data invece semplicemente dal numero di allievi qualificati).

Processo: la serie di atti necessari per ottenere un prodotto, o un esito. Obiettivo: lo scopo e i fini

desiderati per cui viene realizzato un programma o un progetto; il termine 'obiettivo' è comunque

piuttosto generico, ed è opportuno connotarlo per distinguere vari tipi di obiettivi: obiettivo generale,

obiettivo specifico, obiettivo operativo (o altri termini analoghi).

Risultato atteso: il risultato che il programmatorI'< si aspetta da un programma, progetto o servizio, alla

luce delle sue ipotesi, dell'analisi dei bisogni realizzata, dall' organizzazione dell'intervento, ecc. In ge -

nerale il risultato atteso è un parametro per il valutatore, che verifica se tali aspettative siano state

raggiunte oppure no.

compresa - di sostituirsi alla valutazione dell' efficacia. I 'piccoli equivoci' sono tre: la riduzione della

valutaZione della qualità a un unico livello, scordando che

3. Il disegno della ricerca valutativa

3.1 Prima pensare,poi fare

L’accentuazione dell’' elemento tecnico, di ricerca. fa correre .alla valutazione un rischio grave e piuttosto

diffuso, quello del tecnicismo, ovvero della corsa verso una tecnica più o meno standardizzata qualunque

sia il problema da valutare.

Il questionario per esempio, tecnica fra le più complesse ma molto praticata proprio dai meno esperti,

potrebbe essere maldestramente proposto in ogni occasione, anche laddove non può sfruttare le proprie

potenzialità; oppure il focus group, oggi molto di moda in Italia. potrebbe essere considerato

un'economica e veloce soluzione per una quantità di problemi valutativi, dove inVece ha un'applicazione

limitata e risultati modesti.

Anche fra valutatori più esperti, che conoscono qualcosa di più di questionari e focus group, può

rivelarsi questa tendenza alla corsa verso una soluzione immediatamente tecnica.

15

Le tecniche sono delle protesi, cioè degli artifici per organizzare le informazioni raccolte, dar loro una

struttura per sostenere un'argomentazione. Ci permettono di organizzare l'informazione in una maniera

che riteniamo adeguata all'impresa; di raccogliere informazioni in un dato formato che riteniamo coerente

con le ipotèsi e gli obiettivi.

Le tecniche sono indispensabili;ma vengono piuttosto tardi nelI'articolazione del pensiero del valutatore

esperto. C'è bisogno di un .percorso, di un progètto valutativo, che leghi il contesto in cui si situa ciò che

viene valutato, i vari attori sociali che hanno a che fare con esso. (DECIS0Ri, OPErATORi e

BENEFlCIARi o, , gli S'T'AKEHOLDER), gli scopi della valutazione (per esempio fonnativa o

rendicontativa; come abbiamo visto nel precedente capitolo), e altro ancora, per poter decidere quale sia

la migliore strategia valutativa in quel caSo concreto e specifico. Questo progetto valutativo si chiama

"disegno della ricerca valutati~ ya" e lo iUustroneì prossimi paragrafi.

3.2. Il disegno della ricerca valutativa

Questo "disegno" è çome se fosse composto da nove tappe.

L’intero processo ha un carattere sistemico e dinamico, nel quale certe tappe del percorso vengono a

volte fatte insieme e tutte reagiscono e si influenzano.

Queste nove tappe sono state elencate in maniera logica, piuttosto che cronologica.

Il disegno della ricerca valutativa è da considerare come un’insieme organico che cresce assieme mentre

il valutatore negozia il mandato col committente e comprende su quale evaluando agire , cerca di

prefigurare come potrebbe procedere, salvo ridimensionare il progetto una volta conosciuto il budget

disponibile; quando poi avvia il lavoro potrebbe dover ritornare dal committente per ridefinire il mandato

alla luce di quanto va scoprendo e così via.

Una per una, le fasi della valutazione.

3.2.1. La defitliz;one del mandato

La chiara e onesta definizione del mandato è la prima (in questo caso anche in senso cronologico) tappa

del nostro disegno, e probabilmente la più importante fra 'quelle non immediatamente metodologicbe

(Fig.6)

• Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime ... )?

• Chi altro è coinvolto (beneficiari, 'vittime', dipendenti, partner; clima generale, eventuali conflitti, " .)?

• Quali le finalità della valutazione (Controllare, negoziare, rendicontare, ... )?

Mi sento di dire che probabilmente questa cognizione della platea di attori sociali, mai immediatamente

tutti visibili, è l'elemento più importante di questa fase; cadiamo troppo spesso nell'errore di considerare

solo gli interlocutori che vediamo, col mondo che ci rappresentano, come una sorta di "vertice" dal quale

tutto dipende, invece la regola è che chiunque è semplicemente un nodo di una rete molto estesa; tale rete

agisce sempre, direttamente o indirettamente, sui nostri interlocutori immediati, anche se raramente

riusciamo a capire quali conseguenze ciò possa avere per la nostra valutazione. Capire (per quanto è

possibile) questo puzzle relazionale e istituzionale è uno dei primi obiettivi del valutatore, a pena di

amarissime conseguenze.

In questo contesto (fatto di bisogni, di valori, ma anche di interessi e a volte di conflitti) occorre capire

bene gli scopi della valutazione: 16

• in quello che potremmo chiamare il "livello gestionale" (ovvero la conduzione della valutazione

come processo manageriale) abbiamo, fondamentale e prepotente, il problema della deontologia

professionale del valutatore con risvolti etici anche più generali. È importante capire bene questo

aspetto: il valutatore aiuta un decisore a scegliere fra alternative diverse, le quali avranno

differenti effetti su un processo, un'organizzazione, un progetto pubblico Vale a dire che la

decisione finale, influenzata e sostenuta dalla valutazione, influenzerà la vita di molte altre

persone (gli operatori che ci lavorano, i beneficiari che ne usufruiscono e quelli che non ne

usufruiranno). È un impegno anche moralmente gravoso. E tale gravità non appartiene solo al

decisore. Il valutatore non può trincerarsi dietro un ruolo tecnico, e per ciò stesso presunto

neutrale. Il valutatore è sempre coinvolto, è sempre, in qualche maniera, complice. È quindi il

caso di assicurarsi quale committente si sta per servire, quali sono le sue intenzioni reali, quali

conseguenze avrà il nostro lavoro;

• al livello metodologico ci sono conseguenze legate al conferimento di autorità. Il valutatore

dovrebbe essere autorevole di suo, naturalmente, ma l'autorità non può che essergli conferita dal

committente, o dal responsabile ultimo del progetto o servizio valutato. Senza autorità il va-

lutatore farà poca strada, troverà mille impediment;

• ci sono quindi delle evidenti connessioni fra il contesto del decisore, del suo problema, della sua

necessità di valutazione, e il possibile metodo che il valutatore potrà agire con efficacia. In

questo momento, infatti, il valutatore inizia a capire se c'è apertura e disponibilità per esempio -

per realizzare una valutazione in forma partecipata.

3.2.2. Le domande valutative

Mentre cerchiamo di capire chi ci chiede di valutare, cerchiamo anche di capire cosa si debba valutare.

Dobbiamo capire cosa sia l'evaluando, ma ciò non significa farne semplicemente una sorta di fotografia

(basterebbe prendere il progetto originario, leggere i documenti ufficiali). A noi non interessa la descri -

zione dell'evaluando, ma la sua problematizzazione da parte di rilevanti attori locali e, soprattutto, del

decisore. Lui ci ha chiamati perché percepisce un problema, e noi ci stiamo impegnando ad aiutarlo a

trovare una risposta. II problema, almeno inizialmente, è quello che ci dice lui (e altri interlocutori, e il

contesto tutto, che dobbiamo essere in grado di leggere e interpretare); se è di carattere gestionale - per

esempio - noi dovremo vedere l'evaluando prevalentemente da quel punto di vista (anche se non

trascureremo il resto); se il problema riguarda la scarsa risposta degli utenti dovremo indirizzarci in quella

direzione. Le "domande valutative" sono, quindi, la dimensione problematica dell'evaluando alla quale

noi dobbiamo cercare risposta.

Domande valutati ve = Cosa é importante analizzare? • Cosa serve a voi decisori, gestori, operatori per

meglio decidere, gestire, operare?

Quali obiettivi ha l'evaluando?

Quale 'teoria' (logica) c'è dietro a11'evaluando?

Qui abbiamo altri problemi implicati: 17

• a livello gestionale, naturalmente, occorre una adeguata fonte informativa. Non sempre basta una

chiacchierata iniziale col responsabile, e nel caso di evaluandi complessi occorre avere dati,

documenti, testimonianze di altre persone, e così via;

• a livello metodologico le implicazioni riguardano la possibilità di orientarsi verso determinate

soluzioni e approcci, ancora a livello molto generale si intende;

• e ancor più che nella fase precedente troviamo interessanti connessioni fra l'evaluando (la sua

natura, la sua fase progettuale, il suo legame coi benefici ari, ecc.) e il metodo, ovvero abbiamo

qui la possibilità di avviare un primo orientamento quanto meno sull' opportunità o meno di

utilizzare determinanti approcci.

3.2.3. Le risorse disponibili

Senza adeguate risorse non si fa nessuna ricerca valutativa. Anche se ci sono molti e diversi tipi di risorse,

alla fine dei conti ci interessano particolarmente quelle finanziarie .Elemento ovvio è che con poche

risorse si fa una piccola indagine che raccoglie poche informazioni di carattere più superficiale.

Il secondo elemento (il fatto che le risorse incidono fortemente sulla scelta delle tecniche )necessita di una

digressione sula natura dei dati e la loro costruzione.

I dati non sono oggetti fisici presenti in natura, non sono oggetti da prendere come si trovano;

semplicemente i dati non esistono, sono una specie di linguaggio, un’astrazione e compaiono come

talisolo quando la tecnica li costruisce, strutturandoli in un determinato formato che aderirà al costrutto

del valutatore.

Esempio: valutazione di gradimento di un servizio territoriale, tale gradimento può essere indagato con

modi diversi:

• con un questionario non strutturato, o semi strutturato, proposto da intervistatori professionisti;

• con un questionario altamente strutturato inviato per posta;

• realizzando un certo numero di focus group.

Nel primo caso avremo testi abbastanza liberi, conseguenti al pensiero del valutatore, nel secondo caso anche

le risposte sono state immaginate a priori dai ricercatori , nel terzo dopo piccoli stimoli generali del

conduttore i partecipanti parlano fra loro con relativa libertà.Avremo informazioni diverse ed esprimono dei

forti legami col contesto in cui sono prodotte.

Ecco perché siamo così interessati alle risorse; se àbbiamo più omeno soldi, più o meno tempo, potremo

utilizzare - oppure no - determinate tecniche anziché altre;· arrivando a risultati che potrebbero essere

parzialmente diversi.

. Tutto questo deve essere ben chiaro al valutatore, che probabilmente deve parlarne anche col

committente, per renderlo edotto dei rischi impliciti di una valutazione fatta al. risparmio.

• Il livello gestionale. è quindi quello più banale e ovvio: meoo risorse si,gIrifica iI1eno

collaboratori. approcci più modesti e veloci e così via; .

• il livello metodologico è invece centrale, e riguarda appunto la. diversa possibile costruzione del

dato;

• e come si vede anche questo aspetto ha una connessione potente col metodo.

3,2.4, 11 primo disegno della ricerca valutativa (l'offerta tecnica)

A questo punto il valutatore ha un :primo quadro completo: conosce il contesto decisionale, l’ oggetto di

analisi e le risorse disponibili, e può organizzare una strategia di indagine.

In relazione agli obiettivi pattuiti nella fase del mandato, con attenzione alle domande valutative cui dare

risposta, e considerati i limiti imposti dalle risorse il valutatore è pronto a fare la sua offerta tecnica che

18

djsegna il percorso generale, le strategie e probabilmente anche le principali tecniche impiegate, i tempi e

i costi. Indicherà gli obiettivi (valutativi) che ci si p,ropone di raggiungere, ovvero le domande valutative

alle quali si cercherà di dare risposta.

Il valutatore - come si vede dalla Fig. 9 - pensa alla maniera operativa di rispondere alle domande

valutative e, più in. generale, di risolvere un problema conoscltivo complesso.

3.2.5. Comprendere (e condividere) l'evaluando

Uno dei problemi iniziali più importanti riguarda la comprensione dell'evaluando. Nelle prime tre fasi del

disegno valutativo si è trattato di una comprensione, tutto sommato, formale, esplicita, forse addirittura

"ufficiale", e di per sé bastante a disegnare un percorso (fase 4). Ma ora il valutatore deve entrare nel

merito assai più profondamente, perché una cosa è avere capito la superficie dell'evaluando, altra cosa è

capirlo in profondità.

Una comprensione che non si accontenta della forma; una comprensione che cerca di guardare oltre le

parole dette e scritte.

Se dobbiamo valutare ad esempio un servizio alcologico , siamo sicuri di sapere di cosa stiamo parlando?

Valutare "il servizio alcologico” è un concetto che richiede una maggiore penetrazione, una definizione

più precisa, a pena di non poter valutare alcunché.

Tale servizio avrà infatti almeno queste componenti:

• una missione istituzionale, con riferimento a principi universali, dichiarazioni e standard di

organizzazioni internazionali, protocolli e altri documenti del Ministero della salute, dell' assessorato

regionale, fino all'azienda stessa coi suoi regolamenti e documenti di programmazione.

• professionisti che, sulla base della missione sopra riferita, mediata dalla loro comprensione, dal loro

profilo professionale e deontologico, da aspetti anche sindacali e numerosi altri, erogano il servizio: con

più o meno passione e capacità, con dedizione o disinteresse, e così via;

• vincoli rappresentati da disponibilità di budget e di infrastrutture, ecc.;

• utenti, loro famiglie, e società globalmente intesa come scenario più ampio;

Questi quattro elementi sono i principali, variamente coniugati si ritrovano in tutti i livelli di

programmazione e progettazione, di implementazione e gestione, di valutazione.

Tutti assieme sono "il servizio alcologico" dal punto di vista del valutatore. Credo che appaia evidente

che non si può valutare come un insieme.

Una cosa è la missione, e gli obiettivi specifici che ne derivano (se sono stati raggiunti oppure no); altra

cosa sono i professionisti (se sono adeguati oppure no, nel numero, nei ruoli assegnati, nelle competenze

espresse); altra cosa i vincoli (se il budget sia troppo esiguo, le norme troppo o troppo poco restrittive,

ecc.) e infine altra cosa sono i beneficiari (ben diverso poi per i beneficiari diretti - in questo caso gli

alcolisti - altro per i loro famigliari).

Insomma è necessario andare a capire cosa voglia dire "servizio alcologico" dal punto di vista specifico

proposto al valutatore. 19

Il valutatore non può essere già sicuro di sapere tutto di quel servizio, semmai perché ne ha valutati altri

precedentemente (anche se indubbiamente tale esperienza pregressa è un'ottima base); non può dare per

scontati i ruoli formali dei vari attori, e insomma non può basarsi su fantasie, pre-saperi, pre-giudizi, e

invece deve ricercare una comprensione contestuale e su misura, tagliata per quel caso, quel contesto e -

per quello specifico mandato valutativo.

La comprensione contestuale viene realizzata con approcci e tecniche specifiche. Se si lavora in maniera

partecipata si coinvolgeranno gli attori sociali rilevanti (e questo è con tutta evidenza preferibile), ma se

anche il valutatore non ha questa opportunità, e deve realizzare questa fase da solo, la sua riflessione, la

sua motivazione e i suoi obiettivi puntano a ciò: capire cosa esattamente debba valutare. Questa fase può

essere definita come una esplorazione dello spazio semantico dell'evaluando (Fig. lO).

In questa fase, quindi, siamo interessati a due questioni assolutamente essenziali:

• quali elementi costituiscono l'evaluando? Se non rintracciamo tali elementi (che, si chiamano

'indicatori') non saremo in grado di immaginare specifiche strategie di valutazione capaci di

analizzarle;

• tali elementi come sono ricostruiti, interpretati, valorizzati, nel contesto specifico?

E quindi, in conclusione:

• il livello gestionale rinvia fortemente alla possibile partecipazione in

valutazione; non sempre è possibile; si tratta di una strategia di ricerca che

favorisce la migliore qualità valutativa, che in diverse occasioni non è possibile o

non è opportuna, ma che in generale è da perseguire, specie se vogliamo

assicurarci una buona esplorazione dello spazio semantico dell'evaluando;

• il livello metodologico è qui più esattamente epistemologico: l’ orizzonte del

valutatore è plasmato da un'attenzione linguistica e semantica, e dalla conoscenza

del metodo della ricerca;

• la connessione più evidente va dal senso (attribuito al contesto) al metodo (della

ricerca valutativa).

3.2.6. Identificare i valori valutativi

Affermare che una cosa è più importante di un'altra significa esprimere, in un certo senso,

dei valori: politici, culturali, o semplicemente organizzativi. Affermare (sempre alla luce

del mandato) che gli elementi di budget e di organizzazione sono più importanti, ci

orienta naturalmente più verso una valutazione di efficienza; affermare al contrario che per

prima cosa vengono i bisogni degli utenti, ci orienta verso una valutazione molto

diversa, che guarderà all'efficacia. Noi dobbiamo capire quali sono i valori (in senso lato:

i linguaggi, le priorità, l'agenda politica, le urgenze, i tratti culturali, i bisogni espressi, ... )

che si esprimo in quel contesto che ci chiede la valutazione.

Anche questa fase può essere sostenuta da tecniche ad hoc che vedremo nel prossimo capitolo (p.es. la

Scala delle priorità obbligate, la Nominal group technique, e altre).

Anche in questo caso

• il livello gestionale più evidente rimanda alla possibilità della partecipazione; "possibilità"

perché, come detto, specie nel caso di una valutazione rendicontativa è il committente della

valutazione a decidere le priorità e i valori; ma indubbiamente in ogni valutazione formativa

dovremmo aspettarci un approccio partecipato anche in questa fase;

• a livello di metodo è il caso di sottolineare la negoziazione di una logica, ovvero di un linguaggio

(quello delle culture, dei valori che agiscono in quel contesto);

20

• le connessioni, tendono a collegare i valori (le culture, le logiche, le scelte) col metodo valuta tivo,

perché a seconda delle priorità stabilite la valutazione cambia, e di molto, i suoi risultati.

3.2.7. Definizioni operative più specifiche

Il valutatore ha elementi aggiuntivi di enorme importanza, che possono,

• suggerire modifiche all'impianto precedentemente predisposto: lo spazio se-

mantico e i valori valutativi rivelino al valutatore altri elementi che potrebbero

mettere in discussione e cambiare il mandato o le do- mande valutative, con

conseguente modifica dell'impianto metodologico della fase 4;

• consentire la costruzione degli specifici strumenti per la raccolta e l'analisi delle

informazioni che permetteranno di esprimere il giudizio valutativo:

Definizioni operative = Come si giunge, in concreto, al giudizio valutativo?

Si tratta quindi di stabilire quelle che i ricercatori chiamano DEFINIZIONI OPERATIVE,

ovvero i modi tecnici, le procedure, tramite i quali si raccolgono le informazioni e le si

analizzano. Costruire una batterie di scale significa scegliere il tipo di scala più opportuno;

per esempio a 5 o a 7 intervalli, con etichette semantiche (ovvero del tipO "Assolutamente

d'accordo", "Parzialmente d'accordo", ... )

numeriche ("5", "4", ... "1 "), e così via.

In caso di un questionario significa decidere quali domande inserire, se lasciarle aperte o

chiuse, ecc.

In caso di focus group significa quali temi proporre al gruppo, e così via. In un certo senso

anche la stessa scelta della tecnica fa parte delle definizioni operative.

Riepilogando questa fase:

• il livello gestionale riguarda l'adeguatezza rispetto al mandato, perché nella ricerca valutativa

l'adeguatezza fa riferimento al problema specifico e al contesto, che per noi significa

un'attenzione particolare al mandato e alla formulazione delle domande valutative;

• per il livello metodologico occorre che il problema della validità delle tecniche non sia confinato

solo allo specialismo metodologico, ma che sia evidente per gli utilizzatori (e per tutti gli attori

coinvolti): il termine face validity traduce appunto questo concetto: una validità evidente per

loro, e quindi un processo costruito su misura, con l'utilizzo dei loro linguaggi, in cui si ritrovi

traccia dei loro valori, che è quanto si fa con le fasi 5 e 6 del disegno;

• a questo punto la connessione riguarda il metodo (tutto quanto sopra esposto) col risultato: un

risultato valutativo, e quindi riferibile al contesto decisionale dal quale siamo partiti e ai problemi

cui si è cercato di dar risposta.

3.2.8. Raccolta e analisi delle informazioni

Raccolta e analisi dati = Come organizziamo concretamente il lavoro?

Come reclutiamo e gestiamo i collaboratori? • Come organizziamo l'agenda, anche alla luce dell'eventuale

partecipazione di attori locali? 21

Quali strategie per la risoluzione del problema?

Si tratta quindi di:

• gestire la ricerca: organizzare i collaboratori, attrezzare gli eventuali locali (p.es. per il focus

group), selezionare e invitare determinate persone a partecipare, e così via;

• a livello metodologico la nostra unica preoccupazione è di fare bene le cose; molto spesso , si

tratta di un problema di VALIDITÀ e AFFIDABILITÀ delle nostre procedure di indagine;

• ormai - a questo punto della valutazione - i giochi sono fatti; una corretta gestione e applicazione

delle tecniche ci consente di sostenere adeguatamente le argomentazioni valutative, le risposte

alle domande iniziali, e quindi a confidare nel reale uso della valutazione.

3.2.9. Uso della valutazione

L'uso non dipende solo dal va1utatore, poiché i dati trovati e il rapporto di ricerca che li descrive sono di

proprietà del committente; ma forse il valutatore può cercare di far qualcosa per un maggiore e migliore

uso del suo prodotto.

Il valutatore, che deve cercare di stimolare sin dalla fase del mandato un uso opportuno della valutazione,

che deve poi sostenere evitando tecnicismi oscuri. Scrivere un rapporto di valutazione chiaro e

comprensibile è un dovere del valutatore.

In quest'ultima fase del disegno mettiamo anche l'attenzione alla disseminazione dei risultati, e alla

cosiddetta "metavalutazione", ovvero la valutazione della valutazione stessa (è stata fatta bene? Si sono

impiegate le tecniche adeguate?).

Come ultime riflessioni generali quindi propongo:

• a livello gestionale la capacità comunicativa è un elemento strategico ed essenziale;

• a livello metodologico indico solo la capacità di sintesi, che è una capacità essenziale nella

ricerca, e in quella valutativa in particolare.

• nel reparto delle connessioni segnalo una retroazione al mandato: ciò che abbiamo fatto deve

essere utilizzato con riferimento ai bisogni del committente, e al mandato pattuito, non alle

fantasie del valutatore.

3.3. Una piccola conclusione

Queste nove fasi della ricerca valutativa non devono essere intese come prescrittive. Non si tratta di nove

elementi di una procedura, ma di nove "luoghi di attenzione", di nove aspetti sui quali concentrare il

nostro pensiero per impedirei di fuggire via.

La valutazione è una responsabilità, non è una procedura asettica standardizzata.

La valutazione è ricerca e quindi necessita di argomentazioni e di un pensiero attento.

La valutazione nasconde insidie, non è sempre priva di conflitti e di trappole.

Senza un “disegno” non si hanno bussole si lavora per tentativi, si va da qualche parte ma non si sa dove

né come si è arrivati lì.

4. Mappa delle tecniche di valutazione

4.1. Le tecniche sono solo protesi 22

Nella ricerca sociale e valutativa le tecniche sono protesi: servono solo a raccogliere informazioni - ed

elaborarle nel formato che più ci sembra idoneo ai fini del nostro lavoro.

A questo punto io- in quanto esperto - devo fondare la mia analisi su dati e informazioni che siano

riconoscibili da tutti

Lle tecniche sono Solo Protesi: quello che importa veramente è il nostro pensiero, la nostra capacità

argomentativa, che si appoggia su tecniche e sui conseguenti dati costruiti nel modo più opportuno.

4.2. Strategie di ricerca valutativa

Una confusione diffusa non solo fra i valutatori riguarda termini quali 'TECNICA', 'METODO' e altri

quali strategia, approccio e così via

Molte volte questi termini sono usati impropriamente, altre volte fanno parte di tradizioni di ricerca.

Viene proposta una prima fondamentale distinzione fra strategie di ricerca e tecniche di ricerca.

Con 'strategia' possiamo intendere una particolare modalità di rilevazione dei dati che -

indipendentemente dalle tecniche che poi si utilizzeranno - si propone di superare certi problemi generali

intrinseci alla ricerca (sociale e valutativa); tali problemi hanno una natura epistemologica, ovvero

relativa al rapporto fra il valutatore e la realtà valutata. Prima di correre verso una tecnica bisogna infatti

chiedersi cosa si va a cercare, e se il metodo (non la specifica tecnica, ma il metodo della ricerca in

generale) ci sostiene in questa ricerca.

Qualunque tecnica noi mettiamo in campo, però, si scontra col problema della "CONTRO-

FATTUALITÀ", ovvero: cosa sarebbe successo senza quel servizio? Oppure con un altro, assolutamente

diverso servizio? La sfida della controfattualità è una delle più interessanti della ricerca valutativa e

probabilmente ognuno di noi si è lasciato tentare, qualche volta, dal pensiero di cosa sarebbe successo

invece, nella sua vita: se quella volta non avessi perso il treno ......

L'esperimento cerca, di superare il problema della controfattualità erogando un determinato servizio solo

a una 'certa parte della popolazione, per poi valutarne gli effetti in comparazione con la parte di

popolazione che non ha ricevuto il servizio.

Per realizzare correttamente un esperimento occorre che tutte le variabili conosciute siano egualmente

distribuite.

II problema nasce in realtà in seno alla ramificazione successiva dove vediamo la possibile scelta fra

strategie cosiddette "standard" e "non standard".

Chiamerò "standard" gli approcci alla ricerca che confidano nella standardizzazione delle procedure e in

una maggiore direttività del ricercatore, e chiamerò "non standard" tutti gli altri approcci, più flessibili,

non standardizzati, poco direttivi. Un esempio notissimo di tecnica che appartiene al primo tipo (standard)

è il questionario, che viene somministrato sempre uguale a molti intervistati, selezionati generalmente con

tecniche di campionamento; gli intervistati hanno in genere da scegliere fra risposte predefinite, e tutte le

risposte, attraverso uno specifico codice, vengono inserite in una matrice dei dati per analisi di tipo

statistico. Un esempio del secondo tipo (non standard) è per esempio il focus group, dove un "facilitatore"

(colui o colei che conduce il gruppo) propone alcuni temi liberamente discussi nel gruppo di partecipanti;

tutte le cose dette vengono generalmente registrate, e il ricercatore provvede poi a fare delle sintesi a sua

discrezione. 23

Quantitativo e qualitativo si sono contrapposti per decenni neII'affermare ciascuno, la propria superiorità

di ricerca, fin- quando nel dibattito non è comparso chi ha incominciato a sostenere che forse era meglio

pensare a una integràzione fra metodi e ad approcci che contemplassero elementi quantitativi e qualitativi

debitamente interrelati per un risultato di maggiore spessore e significato.

Questo approccio in valutàzione viene chiamato, dagli anglosassoni, Mixed Methods, che però in italiano

non è traducibile piattamente come "metodi" misti, perché l'inglese method ha più sfumature di

significato, e gli americani lo intendono spesso come "tecnica".

Sembra: molto ragionevole preferire i metodi misti", che integrano quantitativo e qualitativo e

semnranQpromettere risultati più interessanti; purtroppo non è COSÌ semplice, sembra molto èòmplessa

in realtà per la semplice ragione che ci sono profonde diffèrenze nel formati delle informazioni prodotte,

nelle loro finalità, e così via;

Multicriteri è un termine assai più diffuso in valutazione, che richiama una stràtegia specifica di utilizzo

di elementi di analisi diversi entro una stessa analisi; per esempio, quando si valutano programmi di

formazione, si ritiene di dover inc1udere, in una stessa sintesi, elementi economici (espressi in valuta),

elementi cosiddetti "fisici" (quali il numero di partecipanti); elementi di qualità (espressi tramite punteggi

di gradimento) e altri elementi tutti diversi nella costruzione e nell'unità di misura. Il cosiddetto

"approccio" multicriteri, o multicriteriale, è semplicemente una strategia di integrazione di dati di

formato e di unità di conto diverse, che a mio avviso può a buon titolo entrare nell’alveo dei Mixed

Method.

4.3. Un quadro sintetico preliminare de"e tecniche

Nel mondo delle tecniche di ricerca valutativa, non c'è giorno in cui non nasca Una minima variante, con

un nuovo nome, necessariamente in inglese perché fa più presa su alcuni ingenui acquirenti. .

Tante tecniche:troppe..

Ma possiamo provare a semplificare il qnàdro, perché a ben guardare le tecniche fondamentali non sono

poi molte; possiamo vedere come la valùtazione sia interamente debitrice alle scienze sociali, e come

conseguentemente si possano riscontrare poche tecniche di base.

A queste tecniche di base occorre però aggiungere qualche innovazione valutativa

1. "Standard" e "Non standard" sono infatti delle strategie di ricerca, come già osservato, e POssono

entrambe eSSere realizzate con procedure di primo o di secondo livello, ovvero costruendo i dati (con

questionari ad hoc, focus group, e altro), oppure rielaborando dati costruiti da altri:

2. le tecniche sono moltissime ad esempio standard= analisi costi benefici(di secondo livello)

questionario (di primo livello); strategie non standard di secondo livello (valutazione tassonomica) di

primo livello basate su individui (intervista biografica), basata su gruppi reali(focus group brainstorming)

e su gruppi nominali (analisi Delphi nominal group tech).

3. Questi elenchi di tecniche comprendono vere e proprie tecniche o semplici strumenti come il

questionario.

4.4. Breve descrizione delle principali tecniche valutative

4.4.1. L'analisi costi benefici

Si potrebbe definire una tecnica di carattere "economico", se non fosse che ai valutatori le etichette

disciplinari non piacciono molto perché si considerano multidisciplinari per eccellenza. È comunque una

delle tecniche più antiche, forse la mamma di tutte le tecniche ·valutative.

24

L'analisi costi benefici (o semplicemente "costi benefici", o ACB) è una tecnica per valutare la migliore

opzione fra diverse possibili, sulla base del maggiore vantaggio economico. Vale a dire: se devo

realizzare una strada che congiunge due località, e sono tecnicamente possibili tre alternative di tracciato,

l'analisi costi benefici individua quella in cui tutti i benefici sociali, al netto di tutti i costi, presenta il

valore più alto. Sia i benefici sia i costi sono quindi espressi in valuta.

Per poter ragionare sul beneficio netto di ogni progetto occorre infatti poterne identificare tutti gli effetti

positivi e negativi, o perlomeno quelli ritenuti più importanti.

Questo è certamente uno dei problemi più difficoltosi (non solo per la costi benefIci) almeno per i

seguenti motivi:

• impossibilità di identificare tutti i risultati di una qualunque azione a causa della complessità sociale

e della sua multidimensionalità;

• i criteri di selezione degli effetti ritenuti, comunque, "più importanti", possono essere molteplici, e

sostanzialmente fortemente influenzati anche da fattori la cui importanza ed i cui effetti di distorsione .

sono sconosciuti al valutatore, come il contesto culturale e valoriale, le implicazioni politiche di talune

scelte, e così via;

• non è sostanzialmente possibile tenere conto, preliminarmente, dell' accuratezza e addirittura dell'

esattezza delle ipotesi su cui si fonda la scelta dei risultati; tali ipotesi potrebbero essere totalmente errate

per una quantità di circostanze e fattori, e spesso è quasi impossibile accorgersene;

Ad ogni modo il valutatore cerca di avere, semplificando, una lista degli effetti positivi del progetto

(benefici) ed una lista dei suoi costi.

Per analizzarne la diversa portata e calcolare quindi i benefici netti, il valutatore deve ora attribuire un

valore monetario a ciascun elemento di entrambe le liste. Ma anche questo non è affatto semplice.

Bisogna infatti considerare almeno che:

• il valore non è semplicemente pari al prezzo di mercato corrente (al momento dell'analisi, o al

momento in cui il progetto è realizzato), ma deve tener conto, in prospettiva, dei valori futuri;

poiché siamo ovviamente interessati a costi e benefici di progetti con durata pluriennale;

• la disponibilità a pagare è un elemento che potrebbe modificare i valori di mercato, specie in

particolari casi di progetti rilevanti;

• a volte occorre poi considerare il costo-opportunità, ovvero il valore che avrebbe quello stesso

elemento se fosse destinato ad un uso diverso; il costo-opportunità è quel valore che socialmente si at-

tribuisce ad un'alternativa sufficientemente rilevante al progetto;

• relativamente poi al sistema dei prezzi, occorre introdurre il concetto di prezzi ombra, relativi alla

correzione (che deve fare il valutatore, ma più probabilmente, nel caso di grandi progetti nazionali, gli

organi centrali della programmazione economica) da fare ad alcuni prezzi di mercato di beni e servizi di

particolare rilevanza sociale;

• in diverse circostanze la necessità di esaltare alcuni effetti redistributivi dei programmi può indurre a

dare un giudizio diverso di progetti con benefici netti negativi per la società ma positivi per particolari

ceti sociali.

Come si vede l'analisi costi benefici si è una tecnica in realtà ancora più complessa e sottile di quanto qui

brevemente illustrato, perché l'analisi può essere resa molto più profonda.

4.4.2. Il questionario

Probabilmente è il questionario la tecnica più difficile fra quelle qui presentate, eppure è anche la più

popolare.

Il questionario serve a identificare delle VARIABILI sociologiche (come sesso, età, stato civile, ma

anche giudizio su qualcosa, comportamenti, gradimento di un servizio, ecc.) e vederne la distribuzione

25

sociale. Dovrebbe essere abbastanza chiaro che per poter descrivere seriamente una distribuzione sociale

di tali variabili non possiamo accontentarci di fare qualche intervista col questionario, ma occorre fame

un numero tale che ci consenta di dire che rappresentano l'intera popolazione.

In un numero elevato di individui saranno probabilmente rappresentate tutte le professioni e i titoli di

studio, le idee politiche e i comportamenti di consumo, e così via.

La teoria dei campione si riserva di dichiarare un margine di errore, ovvero la possibilità che il campione

selezionato possa non includere alcuni di questi individui marginali.

Tutti i soggetti del nostro campione devono essere oggetto delle stesse domande, formulate nello stesso

modo, in un contesto di ricerca simile. Il questionario è appunto questo: un elenco di domande, con la

possibilità di rispondere secondo una lista preselezionata a cura del ricercatore (in questo caso si chiama-

no domande 'chiuse') oppure prive di tale lista, e con la possibilità di trascrivere una risposta così come

formulata dall'intervistato (domande cosiddette 'aperte').

Tutte le risposte vengono inseriteatraverso un sistema di etichette numerichein una matrice di dati, la

matrice è come un foglio elettronico

In valutazione il questionario è abbastanza utilizzato in particolare nella valutazione ex post dei risultati e

degli impatti, laddove occorre chiedere a un ampio gruppo di beneficiari di un certo programma cosa ne

pensano, se si dichiarano soddisfatti cosa è successo in seguito ecc.

4.4.3 Valutazione tassonomica.

E’ una specie di analisi del contenuto di tipo qualitativo in cui il valutatore scompone il documento in

unità di senso minime poi definisce ciascuno di questi frammenti secondo classificazioni utili per la sua

analisi valutativa, infine ricompone graficamente tutti i vari frammenti rispettando le classificazioni e le

gerarchie attribuite.

4.4.4. L’intervista biografica

Molto spesso viene chiamata “intervista in profondità”, ma ha molti nomi(intervista) e diversi

parenti(diari, storie di vita ecc)

In un certo senso è l’opposto del questionario, qui non interessa la distribuzione delle variabili ma la

comprensione dei fenomeni (qualcosa di intenso di contestuale).

Si tratta di un'intervista che non si appoggia a questionari e che potrebbe apparire come una chiacchierata

intensa, approfondita, in cui l'intervistatore deve avere la capacità e sensibilità di ascoltare, interve nire

poco o niente, quanto basta per stimolare l'intervistato a continuare, scendere nel dettaglio, spiegare,

narrare. Le interviste biografiche possono essere molto lunghe (da qualche ora a diverse giornate), sono in

genere registrate su nastro, e prevedono una lunga, laboriosa e faticosa fase di riascolto per l'analisi.

Generalmente un disegno di ricerca che preveda questo approccio può includere da poche unità a qualche

dozzina di interviste; non certamente le centinaia o migliaia delle indagini con questionario. Quello che

interessa non è la distribuzione delle variabili (quanti dicono una certa cosa) ma la comprensione di

atteggiamenti, la ricostruzione della genesi di comportamenti, il pensiero profondo e articolato degli

individui.

La particolare sensibilità necessaria alI' intervistatore, e la complessità dell'analisi, aggiunte alla

lunghezza del procedimento, non rendono questa intervista molto diffusa. In valutazione si utilizza molto

un suo surrogato, che solo con grande sforzo possiamo considerare parente dell'intervista biografica,

26

ovvero la breve chiacchierata informale fatta ad alcuni stakeholder significativi per ricavame

informazioni utili (generalmente descrittive, e niente affatto "profonde") da inserire nelI'analisi finale.

4.4.5. Il focus group

Il focus group è la prima tecnica che introduco relativa alla grande e popolata famiglia delle tecniche

basate su gruppi di persone.

Queste tecniche assumono, tutte, una prospettiva veramente diversa dalle precedenti: non cercano la

profondità del singolo individuo (come nell'intervista biografica) né la generalizzabilità dei grandi numeri

(come nel questionario), ma costruiscono un discorso fra un gruppetto generalmente ridotto di persone

selezionate ad hoc (in genere da mezza dozzina a una dozzina). Questa scelta è molto particolare ed è

legata alla convinzione che l'interazione entro un gruppo stimoli i partecipanti a produrre di più, o meglio.

.

Occorre segnalare che la produttività dei gruppi, la loro migliore capacità di produrre suggestioni migliori

ai fini valutativi, non è esente da critiche e da margini piuttosto seri di perplessità. In ogni caso i gruppi

sono molto graditi dai partecipanti, quasi un dovere nella valutazione partecipata, e una soluzione

ottimale in diversissime situazioni di ricerca e di valutazione.

Il focus group è una sorta di discussione fra un piccolo gruppo, coordinata da un animatore (o facilitatore,

spesso lo stesso valutatore) che propone , uno dopo l’altro alcuni temi di discussione. Non si tratta di

domande ma di temi gnerali

La discussione viene generalmente registrata per consentire al valutatore di estrarre una sintesi.

Occorre sapere gestire i gruppi avere empatia e sensibilità e saper cogliere il disagio del partecipante, la

marginalità di un altro.

E’ basato su un gruppo reale, un gruppo di persone che discutono fra loro senza particolari mediazioni.

4.4.6. Il brainstorming e la Scala delle priorità obb1igate

Anche il brainstorming prevede un piccolo gruppo riunito in sessione, ma gli obiettivi Sono veramente

molto diversi' rispetto al focus group:se· nel- focus group ci si concentra su un argomento, nel brainstor -

ming invece sì tende ad allargare la dìsCussione per cercare, in un certo senso, i confini di un concetto

che si intende esplorare o - in senso più strettamente valutativo - i confini e le còmponenti del nostro

evaluando.

L'obiettivo è accogliere e integrare, in un processo unitario, le diverse Visioni che soggetti diversi hanno

dello stesso servizio, o programma.

In generale il brainstorming prevede una prima fase creativa (e spesso divertente) in cui il gruppo produce

(con procedure che possono essere diverse) una discreta quantità di materiali sotto forma di frasi, parole~

piccoli paradossi e metafore, ecc,~ il problema incombente sul braìnstonning, se utilizzato in un contesto

valutativo, è l'utilizzo dì tali materiali,

Il prodotto finale del brainstorrning è un elenco di indicatori valutativi (ne parleremo più

approfonditamente nel' capitolo finale), condivisi dal gruppo anche nella definizione, che rappresentano

tutti gli elementi salienti deIl'evaluando, ciascuno dei quali dovrà essere oggetto, in seguito, dì attenzione

e analisi valutativa specifica, 27

Successivamente al brainstonning può essere utile applicare la Scala delle priorità obbligate. che è

semplicemente un modo per far gerarchizzare la lista di indicatori sintetizzati nel brainstorming, secondo

due dimensioni, quali efficacia e defficienza

4.4.7. L'analisi Delphi

La forza dei gruppi è data dall'interazione, dallo scambio di idee, dal confronto fra i suoi membri. Ma ho

anche segnalato la necessità di tenere sotto controllo eventuali conflitti, problemi di'relazione e altre

situazioni che potrebbero compromettere il risultato..

Proprio la preoccupazione rispetto a tali dinamiche, hanno portato alla proposta di gruppi in cui tale

interazione viene ridotta al minimo. Purtroppo-esclùdendo l’interazione si butta via ancbe. quanto di

buono viene dal confronto diretto fra le persone,

La tecnica Delphi è una soluzione estrema al problema, perché il gruppo non entra mai in interazione

diretta, .anzi i partecipanti non si incontrano proprio (e per questo il.gruppo viene detto 'nominale',

contrapposto al gruppo 'reale' visto col focus e c.:ol brainstorming). Ognuno resta nella sua sede, e

l'interrogazione viene mediata dal valutatore a <li stanza, ad esempio attraverso il servizio postale o più

recentemente - via posta elettronica.

In generale un Delphi si sviluppa ìn questo modo:

• reclutamento dei partecipanti che, non dovendo convenire nella stessa sede, possono essere

sostanziahnente sparsi in qualunque parte del pianeta

• il valutatore formula un primo questionario, o meglio una lista di te·mi da approfondire, e lo

invia a tutto il gruppo;

• ciascun membro del gruppo, risponde individualmente per iscritto e invia la risposta al valutatore;

• il valutatore analizza le diverse risposte, ne fa una sintesi, considera le direzioni che stanno

prendendo le diverse opinioni, se c'è accordo oppure no, e poi .redige un secondo questionario, o

meglio, anche in questo .caso, una seconda lista di temi che non saranno più di livello ,generale,

come nel precedente, turno, ma cer.cherannodi entrare più nello specifico, nel dettaglio;

• i membri del gruppo rispondono, sempre individuàlmente;

• il valutatore rianalizza e'così via. In generale si prevedono tre distinti turni sempre più

approfonditi" ma potrebbero essere anche di più. L'ultimo turno è il più dettagliato, e - assieme a

tutti i precedenti materiali - fornirà i materiali per il rapporto finale.

All'inizio fu utilizzato per previsioni strategiche di carattere militare poi, prevalentemente, per immagina-

re sviluppi tecnologici. Questa tecnica comunque non ha affatto solo applicazioni previsionali, e può

benissimo essere utilizzata per valutare una politica, o un programma, in corso o già concluso.

La gestione di un Delphi è in generale piuttosto complessa; non solo ci sono continui rischi di perdere per

strada membri del gruppo, che si stancano di dover rispondere a successivi questionari ma, quel che più

conta, l'analisi dei testi e la loro sintesi, per la formulazione del secondo passaggio, è spesso difficile e

delicata, e implica necessariamente che nel gruppo di valutazione ci siano specifiche e alte competenze

sul tema trattato.

4.4.8. La Nominai Group Technique

La NominaI Group Technique è una specie di piccolo Delphi fatto, invece, in compresenza fra le persone

reclutate. Ai partecipanti viene sostanzialmente impedita o limitata l'interazione in alcune fasi del lavoro,

nel quale ciascuno, singolarmente, esprime punteggi su determinati elementi valutati vi. Solo in caso di

disaccordo nei punteggi attribuiti viene concessa una piccola discussione, per continuare poi ad attribuire

i punteggi in maniera individuale. 28

5. Gli indicatori in valutazione

5.1. Cosa si intende di solito con 'indicatore'

Leggendo di valutazione, ci si imbatte negli indicatori intesi come sintetica descrizione di un elemento

importante di un evaluando, e tale descrizione, in realtà, è spesso un numero. Per esempio, se dovessimo

trovare degli indicatori (in questo significato usuale ma limitato) della "qualità" di questo libro - e

saltando a pie' pari il nodo di definire in maniera chiara cosa intendiamo con "qualità di questo li bro" -

potremmo ritenere utili i seguenti:

numero di acquirenti del volume in un dato periodo (per esempio qualche mese);

numero di ristampe in un dato periodo (per esempio qualche anno);

numero di citazioni in altre opere.

Sembrano ragionevoli; sembra cioè che in questo modo avremo dei numeri che ci possono misurare

efficacemente il nostro tema, che è poi una domanda valutati va: misurare (valutare) la qualità di questo

libro.

Dietro questa operazione c’è una teoria e ci sono delle procedure che non vanno disattese.

Ci sono due principali problemi:

• cosa indica l’indicatore vale a dire che ogni indicatore ci illustra un aspetto più o meno grande

più o meno rilevante del tema che vogliamo indagare.

• Come si è scelto l’indicatore rispetto a possibili alternative.Sono molti gli indicatori che indicano

lo stesso elemento per noi significativo o elementi simili.

A quanto pare gli indicatori hanno una sorta di ambiguità perché tanti possono indicare la stessa cosa:

• molto spesso si trovano poi indicatori molto più complicati. Si tratta di utilizzare più valori e di

combinarli assieme. In questo caso si tratta di indicatori particolari, che si chiamano indici, e che

assumono ancora più evidenza i problemi visti finora.

Gli indicatori, intanto, no sono necessariamente dei numeri (il rossore improvviso sul volto pc trebbe

essere un indicatore di timidezza o imbarazzo, e non è un nume ro); gli indicatori non possono essere

decisi a tavolino senza un riferimento chiaro e costante all'evaluando e al mandato;

Ogni "oggetto di valutazione" è complesso; è importante comprendere come la valutazione, per la sua

necessità argomentativa, non possa restare a un livello superficiale.

La formulazione delle domande valutative (è un modo per capire quali indicatori siano più importanti alla

luce del mandato (fase I); gli indicatori possibili sono infatti infiniti, e la loro selezione non può essere

dettata solo dalla sensibilità personale del valutatore, e - data la natura della valutazione, il suo

orientamento alla concreta utilità nel contesto decisionale occorre distinguere cosa sia più utile per

soddisfare le specifiche necessità del contesto;

È talmente importante considerare analiticamente l'evaluando, alla luce del mandato, che una fase su nove

è dedicata all'esplorazione dello spazio semantico, che significa, appunto, trovare gli indicatori

significativi.

E’ solo questo approfondimento che consente di orientare il valutatore verso la costruzione operativa

degli approcci e delle tecniche che probabilmente ha già immaginato

29

Gli indicatori non sono (necessariamente) dei numeri, ma più probabilmente dei concetti, frutto di

argomentazione e riflessione concettuale. Vediamo meglio cosa si deve intende con indicatore nel

prossimo paragrafo.

5.2. Un esempio illustrato

Alla luce di teorie sul disagio giovanile, di altre ricerche, di precedenti esperienze personali, ma

anche del mandato valutativo, delle domande valutative formulate, così via, il valutatore (da solo,

col suo team, o con gli stessi operatori del servizio valutato, e semmai anche con alcuni utenti)

immagina le principali dimensioni del tema "disagio giovanile", ovvero i principali elementi

costitutivi che lo caratterizzano. In questo caso si tratta di "famiglia", "relazioni amicali" e "forma-

zione".

Ciò significa che, alla luce di una teoria, di informazioni basate su altre ricerche, e comunque sulla

base di elementi argomentabili, io credo che la famiglia abbia a che fare con un servizio di

contrasto del disagio giovanile, che le relazioni fra gli amici pure, e così il tipo di for mazione

pregressa che i ragazzi hanno.

5.3. Discussione generale sugli indicatori

Il problema iniziale deve essere scomposto nei suoi elementi-chiave che ne delimitano il senso; poi

ciascun elemento deve essere a sua volta (eventualmente) scomposto in concetti più semplici, fino

a quando il ricercatore non comprende di essere sufficientemente sceso nella scala di generalità,

tanto da avere la possibilità di analizzare operativamente ciascuno degli elementi frutto di questa

scomposizione (gli indicatori). Questo processo verrà qui trattato secondo quello che viene

comunemente definito "paradigma lazarsfeldiano".

Cerchiamo di dare una prima forma espositiva chiara a questi elementi definendoli anche con i

termini appropriati:

• il problema iniziale, ampio, oggetto della ricerca valutativa, corrisponde a ciò che i

metodologi e gli epistemologi definiscono concetto;

• la difficoltà, nei contesti sociali in cui tipicamente opera il valutatore,' a leggere un concetto,

definirlo, dame definizioni operative (in una parola: dargli un valore con operazioni di

misurazione, classificazione, ecc.), porta a cercarne le dimensioni costitutive;

• ogni dimensione è scomposta in unità più piccole, chiamate indicatori (del concetto);

• ogni indicatore viene operativizzato, ovvero accompagnato da definizioni operative che il valutatore

ritiene opportune e congruenti per rilevare lo stato di quella proprietà

L'opera di concettualizzazione porta a definire degli indicatori e, contestualmente, a ridefinire il concetto

stesso, che assume i contorni che gli indicatori individuati gli assegnano.

La chiusura del cerchio è data, una volta ancora, dalla partecipazione e dalla negoziazione in valutazione;

la definizione costruttivistica degli indicatori diventa il processo di definizione negoziata dell' evaluando

e delle modalità con le quali si decide di interpretarlo.

Una volta costruiti gli indicatori, tramite opportune definizioni operative (decisioni in merito agli

strumenti idonei a rilevare le informazioni necessarie), il ricercatore/valutatore potrà procedere nella

ricerca; ogni domanda di un questionario, i temi messi al centro di un focus group, gli elementi di calcolo

di una analisi costi benefici, e così via, non sono altro che le decisioni tecniche risultanti dall'assunzione

di definizioni operative riguardanti i diversi indicatori messi al centro della ricerca.

30 CCi sono mo

informazioni:

strutturate) co

che haaDo so

risposte sono

generali del c

se ci sono mo

appare sUihi

pt'ofonde; no

mattoncini ne

forti legami c

maniera forse

bella pagina d

PROGETTAZIONE E VALUTAZIONE DI INTERV. IN EDUCAZIONE E FORMAZIONE

Prof.ssa Gatti lezione n° 1 del 12/11/08

Alcuni presupposti:

• La scuola sta assumendo a livello internazionale un ruolo sempre più strategico nella

preparazione delle risorse umane.

• La valutazione appare strategica, non tanto in termini di generiche informazioni

• Oggi la valutazione appare strategica perché occorre governare in processi educativi

attraverso la definizione di obiettivi e fini.

• La valutazione dovrà permettere il superamento delle impostazioni giuridico-formale per

adottarne una più attenta ai processi reali.

Esistono molte iniziative di valutazione fuori dall’Italia, molti modelli valutativi (valutazione

iniziale, ex ante ex post, in itinere ecc alle spalle pratiche diverse).

hanno

Tyler nel 1950 (studioso della sociologia dell’educazione), definisce che la valutazione di un

programma deve accertare se gli obiettivi sono stati raggiunti. Difficile dimostrare che sistemi

complessi come scuola servizi riabilitativi raggiungono i loro obiettivi. E’ impossibile valutare

interventi di tipo sociale ed educativo perché fattori socio-ambientali possano impedire il

raggiungimento degli obiettivi. 31

Nella valutazione per obiettivi, se non sono stati previsti in fase iniziale i cambiamenti non si

sviluppano.

Scriven 1970 La valutazione è libera da obiettivi , non deve confrontare obiettivi di partenza ma

vedere ciò che è accaduto . L’obbiettivo è una intenzionalità necessaria. Non si può usare l’idea

causa-effetto perché le azioni messe in piedi (i risultati) sono non previsti. Al valutatore si

riconosce, la capacità.di essere lui a giudicare il servizio che deve essere esterno da questo e lo

valuta indipendentemente dai politici o amministratori.

La descrizione del funzionamento di sistemi pubblici complessi è sempre un tipo di conoscenza che

viene utilizzato in fase di decisione politica.

Collegare valutazione tra tratti decisionali è importante per (Cronbach 1963), anche se nella

letteratura non è sempre presente. Rende molto difficile la valutazione e pianificazione, la presenza

di molti attori decisionali e spesso in contrasto tra loro.

Il processo di decisione comprende più elementi = più competenze.

Valutazione soggettiva Decisione

Valutazione soggettiva Una persona sceglie in base a ciò che sa e ciò che pensa . Quindi la

decisione ha all’interno due fattori. Bisogna avere molte informazioni per poter decidere perché più

conoscenza abbiamo più il fattore soggettivo è ridotto e così saremo di fronte ad una decisione più

adeguata, razionale. Se si tiene presente un momento conoscitivo adeguato si dovrebbe produrre

meno fattore soggettivo, ma questo sarà sempre presente perché alla fine un soggetto sceglie.

Esistono vari servizi sociali in Italia a seconda delle regioni (x es. le regioni settentrionali hanno una

tradizione storica dal 1700 dei servizi sociali, infatti in Piemonte Don Bosco fece firmare un

contratto per non far lavorare i bambini di otto anni per più di otto ore. Molto più marginale in altre

zone, come il centro e sud Italia poco toccato da queste tradizioni. Questo spiega perché i servizi

più efficienti sono più sviluppati al nord.

Quando facciamo una valutazione di sistema si pongono più problemi che sono generali. E’

un’operazione politica indirizzata a colui che deve prendere delle decisioni, ad esempio:

Commissione Gardner che evidenzia i problemi , partendo da un elemento singolo si giunge poi al

problema( possiamo parlare degli stessi problemi anche in riferimento al sistema sanitario):

• Difficoltà di governo della scuola a causa della sua espansione

• Spese sempre più elevate 32

• Difficoltà a seguire le fasce deboli

• Scollamento tra sistema scolastico e mercato del lavoro

• Valutazione come processo

Si valuta attraverso una misurazione di valutazione e documentazione. Valutare comprende almeno

due elementi : MISURAZIONE E GIUDIZIO.

L’aspetto soggettivo è il GIUDIZIO, mentre l’aspetto oggettivo è la MISURAZIONE.

I Servizi Sanitari ad esempio misurano l’adeguatezza di valutare certe malattie e come il servizio

riesce a rispondere per poi deidere se il servizio è ben strutturato. Entrambi sono intrinseci al

processo di valutazione. Oggi possiamo dire che si utilizza la modalità quantitativa che deriva dagli

studi sociali. Uno dei problemi della valutazione resta quello di limitare e/o distinguere il giudizio

della misurazione. Si verifica se e quando nel corso degli anni il servizio è in grado di individuare

soggetti malati, se è in grado di introdurli in progetti che hanno una determinata durata e quanto

tutto ciò sia costato al servizio. Dove e come si è sbagliato? Questa è la valutazione da verificare

per capire se si è raggiunto oppure no il progetto.

Lezione n° 2 del 13.11.2008

Mauro Palumbo, Il processo di valutazione, Angeli, Milano, 2001.

E’ un sociologo dell’Università di Genova, dove insegna Teorie e Metodi della pianificazione

sociale. E’ anche un valutatore che lavora presso il Ministero dell’Università per la valutazione

degli Atenei. Assieme a Bezzi ha creato l’Associazione Italiana Valutatori, che sono esperti di

diritto (ambito delle Scienze giurisprudenziali). Questo perché in Italia fino al 1995 l’unico criterio

di valutazione anche sociale era, per tradizione, tramite gli esperti di diritto del lavoro, che

verificavano se l’azione della scuola era giuridicamente corretta: ad esempio, se l’Ente che aveva

emesso il bando aveva rispettato le norme di legge. La valutazione era quindi solo formale. Non

esisteva in Italia la figura del valutatore non giurista. Palumbo e Bezzi fondarono questa

associazione per:

1. valutare i progetti sociali;

2. valutare le Università. 33

Questa Associazione di valutatori in realtà è per pochi. Mancano oltretutto studiosi di Scienze

dell’Educazione! Eppure, nei settori scolastici esiste richiesta di valutazione. Allora: perché la

formazione giuridica?

Perché il valutatore deve essere un garante, quindi normalmente è un esperto di diritto (anche se, in

genere, i veri valutatori sono gli insegnanti, i docenti! Comunque, in Italia c’è poca tradizione a

favore della ricerca, della pedagogia sperimentale).

La Comunità Europea vuole un albo dei valutatori europei.

Esistono tre tipi principali di approccio di valutazione:

Anni 60-70 USA. Programmi di Guerra alla povertà (giovani devianti, disoccupati,

1. emigrati fra i vari Stati).

Sono programmi compensativi per cercare di far uscire i gruppi marginali dalla povertà, anche

tecnica (competenze lavorative).

Ma questi programmi hanno avuto scarso successo e sono stati chiusi. La loro valutazione avveniva

secondo il meccanismo di causa-effetto: questa gente non ha una casa? Gliela diamo noi! Il fatto è

che questa gente, in quella casa, non ci andava: molti infatti erano vagabondi. Questi programmi

avevano un approccio positivista.

2. Anni 80, approccio di qualità: Scriven (è il nome del suo massimo esponente): una

valutazione libera da direttive!

Qualitativamente: come si presenta questo programma? È importante la figura del manager perché

mantiene la qualità.

Anni 90, approccio costruttivista. Autori: Guba (si pronuncia gaba) e Lincoln.

3.

Più attori ci sono nel progetto, migliore sarà la qualità del progetto stesso.

Gli stessi obiettivi per cui si lavora sono relativi a chi li interpreta: io interpreto e modifico il

progetto: ognuno dà il proprio contributo.

È difficile confrontare situazioni e contesti diversi.

I contesti quindi influenzano gli obiettivi. I valutatori allora sono dei facilitatori, dei negoziatori, dei

mediatori (tantissimi insegnanti, interessati dalle varie Riforme della Scuola, non leggono le Leggi

delle Riforme stesse. Cosa accade di fatto? Avviene un cambiamento sociale reale a causa di quella

34


PAGINE

67

PESO

508.96 KB

AUTORE

nadia_87

PUBBLICATO

+1 anno fa


DETTAGLI
Corso di laurea: Corso di laurea in educatore sociale e culturale (BOLOGNA, RIMINI)
SSD:
Docente: Gatti Rita
Università: Bologna - Unibo
A.A.: 2012-2013

I contenuti di questa pagina costituiscono rielaborazioni personali del Publisher nadia_87 di informazioni apprese con la frequenza delle lezioni di Progettazione e valutazione di interventi in educazione e formazione e studio autonomo di eventuali libri di riferimento in preparazione dell'esame finale o della tesi. Non devono intendersi come materiale ufficiale dell'università Bologna - Unibo o del prof Gatti Rita.

Acquista con carta o conto PayPal

Scarica il file tutte le volte che vuoi

Paga con un conto PayPal per usufruire della garanzia Soddisfatto o rimborsato

Recensioni
Ti è piaciuto questo appunto? Valutalo!

Altri appunti di Corso di laurea in educatore sociale e culturale (bologna, rimini)

Riassunto esame Conflitti nei Gruppi Sociali, prof. Melotti, libro consigliato Formazione Outdoor, Rotondi
Appunto
Riassunto esame psicologia generale, prof.ssa Cicogna, libro consigliato Psicologia generale, Cicogna, Occhionero
Appunto
Storia dell'educazione - Rousseau
Appunto
Storia dell'educazione - Pestalozzi
Appunto