Psicologia di comunità - Appunti

Dispensa per il corso di psicologia di comunità

Università degli Studi "G. D'Annunzio" di Chieti e Pescara

La valutazione nel lavoro sociale: teorie, metodi ed esempi a cura di Pietro Berti, adattato da: Berti P., Antonelli S. (2006) La valutazione partecipata. Cittadini e operatori valutano i progetti del Piano per la Salute di Cesena. Il Ponte Vecchio, Cesena. È possibile utilizzare il materiale riportato nella dispensa citando la fonte (libro di Berti e Antonelli sopra riportato). Per info: pietroberti@hotmail.com

Capitolo 1: La valutazione nel lavoro sociale

Premessa

«(...) Stanno crescendo alcuni processi culturali e professionali importantissimi, legati all'amministrazione pubblica, alle politiche sociali e sanitarie, ma anche alla trasformazione dei rapporti sociali generali, che hanno avuto origine e stanno camminando per strade separate, dipendono da "uffici" specifici e autonomi e che invece, a mio avviso, vanno letti e affrontati in modo intrecciato. Due riguardano più da vicino la pubblica amministrazione e sono l'impegno di fare valutazioni degli interventi e l'interesse a produrre comunicazioni "di interesse pubblico"» (De Sandre, 1996, pag.10; corsivo nel testo originale)

Italo De Sandre, in un saggio di alcuni anni or sono, così puntualizzava due delle "sfide" che, a suo giudizio, ogni soggetto pubblico è chiamato ad affrontare: la valutazione del proprio lavoro e la comunicazione di tale sforzo. L'autore ha sicuramente affrontato un tema che negli anni a venire è diventato di stretta attualità e che in un periodo di ridotte possibilità economiche sta assumendo un'importanza sempre maggiore.

L'esigenza della valutazione nasce prima di tutto dalla necessità di giustificare l'impiego di risorse, certificandone la trasparenza e la necessità, ma può (e deve) andare oltre, soffermandosi sulle modalità di intervento su un territorio, sui meccanismi causali che agiscono nella determinazione di mancato accesso alle risorse, sull'impatto che le azioni prodotte da un servizio hanno sulla popolazione.

Oggigiorno c'è molta attenzione sulla fase di valutazione di un programma o di una politica; tuttavia si registra una certa confusione nel determinare cosa sia la valutazione, da quali elementi sia composta e quali obiettivi si prefigga. Questa confusione non è dovuta ad una mancanza di preparazione degli operatori dei servizi, visto che anche a livello di letteratura specialistica non vi sono delle visioni comuni; manca, in sostanza, una teoria unica della valutazione, che possa guidare nel lavoro quotidiano.

Il perché di questa carenza è dovuto essenzialmente al fatto che si è parlato e scritto di valutazione in molti ambiti (nell'ambito della lotta alle disuguaglianze, dell'assistenza, della promozione della salute, della scuola, e così via); ne hanno parlato molte figure professionali (medici, psicologi, sociologi, pedagogisti) facendo riferimento ad esperienze spesso totalmente differenti fra loro e non comparabili.

Modolo, Briziarelli, Seppilli e Ferrari (1993) riassumono le difficoltà incontrate affermando che la valutazione è difficile perché i fenomeni che si valutano sono complessi e sono causati da molti fattori; spesso passa molto tempo fra azione ed effetto, e gli strumenti per valutare sono presi a prestito da altre discipline. Gli autori si riferiscono principalmente all'ambito dell'educazione sanitaria, ma le riflessioni le possiamo considerare adeguate a molti altri campi d'applicazione.

Preliminarmente all'esposizione, è necessario fare alcune precisazioni terminologiche: nel testo si useranno le parole "programma" e "progetto" come sinonimi, per indicare un'azione, o una serie di azioni, che si progettano e si mettono in atto su un territorio per perseguire un determinato fine. Queste azioni sono da intendersi come azioni al di fuori dell'attività abituale di un servizio, una sorta di aggiunta rispetto ai servizi e ai compiti richiesti quotidianamente.

Come accade in molti settori, la gran parte della produzione letteraria in materia è in lingua inglese, e la traduzione non sempre è senza difficoltà; il primo ostacolo riguarda le parole "assessment" e "evaluation", la cui traduzione è, appunto, "valutazione", ma con due sfumature diverse. "Assessment" indica una ricognizione dell'esistente, un accertamento di ciò che c'è già, mentre "evaluation" ricopre il significato che viene dato anche in italiano, ovvero quello di comparazione, di verifica. Spesso nelle pubblicazioni italiane questa sfumatura si perde, ed è anche per questo che si registra molta confusione intorno al tema. Si rende pertanto necessario specificare ogni volta di che tipo di valutazione si sta parlando (di contesto, di struttura, ecc.): vedremo più avanti che le possibilità sono molte.

Altra difficoltà per la traduzione di "output" e di "outcome" (risultato, anche qui con due accezioni diverse), e in questo caso saranno mantenute le parole inglesi; di questo però si parlerà diffusamente in seguito.

1.1 Cosa si intende per "valutazione"?

Dare una definizione di valutazione nel lavoro sociale non è semplice: per valutazione si intende un'attività di comparazione fra due o più elementi, al fine di formulare un giudizio conclusivo. Valutare però può voler dire anche verificare che le cose programmate siano state fatte nel modo giusto, o che abbiano prodotto risultati apprezzabili. Si può valutare cioè in termini comparativi o assoluti.

Il lavoro di valutazione si basa su criteri e indicatori predefiniti, quindi su variabili che all'inizio si indicano come rilevanti e su cui viene concentrata l'attenzione; inoltre, si basa su standard di accettabilità, che servono a definire cosa si intenda per successo e cosa per fallimento. Ad esempio, volendo organizzare un incontro di formazione e aspettandoci per esso 40 persone, la presenza di 10 persone rappresenterebbe un fallimento, mentre 100 persone sarebbero un successo. Non sempre però le cose sono così semplici: la presenza di 35 persone sarebbe vista come un piccolo fallimento, o no?

Definire gli standard di riferimento possono essere:

• Di derivazione normativa, nel caso ci siano leggi e/o regolamenti al riguardo; ad esempio, in ambito sanitario i Livelli Essenziali d'Assistenza stabiliscono gli standard di qualità sotto i quali le Aziende Sanitarie non possono andare;
• Di derivazione storica, data dall'esperienza, personale o di terzi, maturata nel campo;
• Di derivazione scientifica, ovvero dati dalla letteratura specializzata sull'argomento.

Purtroppo, a volte manca qualsiasi tipo di riferimento normativo, storico o scientifico, come nel caso dei progetti "pilota", e allora bisogna ipotizzare degli standard da verificare empiricamente.

Perché si valuta?

Rossi, Freeman e Lipsey (1999) indicano quattro possibili scopi della valutazione:

• Il miglioramento dei programmi;
• La generazione di conoscenza;
• Le relazioni politiche e/o pubbliche;
• Il senso di responsabilità (accountability), intesa come necessità di certificazione e trasparenza da parte dei decisori.

Questi scopi possono essere utilizzati in maniera diversa a seconda dei casi: vi può essere un uso strumentale, orientato al miglioramento dei programmi, un uso concettuale, tendente a conoscere il modo in cui funzionano i programmi, e un uso persuasivo, avente la funzione di influenzamento dei decisori tecnici e politici.

L'uso strumentale della valutazione prevede che essa dia ai decisori risultati concreti su cui riflettere come continuare, o modificare, o sospendere un'attività; secondo questa visione, una valutazione per essere utile deve fornire perciò indicazioni su come (e se) proseguire.

L'uso concettuale tende a legare gli input agli outcome, partendo dalla constatazione che, in un'ottica sistemica, da un unico punto di partenza si possono giungere a diversi risultati, e che allo stesso risultato ci si può arrivare attraverso strade diverse;

Infine, l'uso persuasivo ha la funzione, appunto, di persuadere i decisori politici e/o tecnici a prendere determinate decisioni.

Cosa si valuta?

Ma, concretamente, cosa si valuta? Dipende in realtà da quali obiettivi ci poniamo: valutiamo per rendere conto di ciò che è stato fatto? Per sapere se ciò che è stato fatto funziona? Per sapere come migliorarlo? Per sapere quanto costa? Per sapere cosa ha prodotto?

Il cosa valutare prende inoltre in considerazione la fattibilità di un intervento, l'accettabilità (grado di condivisione dell'intervento), l'appropriatezza (grado di utilità dell'intervento previsto in relazione al problema da affrontare), l'efficienza (capacità di raggiungere i risultati attesi con il minor costo possibile), l'efficacia (capacità di un intervento di raggiungere i risultati attesi), il gradimento, e così via.

Chi valuta?

Tutti questi fattori sono poi legati indissolubilmente al chi valuta: amministratore, tecnico, professionista esterno, utente hanno punti di vista e interessi diversi, e possono leggere la realtà in maniera diversa. All'interno di ciascuna categoria ci sono poi differenze importanti legate alla preparazione, all'esperienza, alla flessibilità di vedute, e ad altre innumerevoli variabili.

Una visione teorica comune e condivisa non esiste, neppure per quanto riguarda i nomi dati alle diverse tipologie di valutazione; in letteratura ne sono stati dati molti, e in questa sede citeremo i più conosciuti. Trattare dettagliatamente come meritano tutti gli approcci che si sono succeduti nel campo della valutazione richiederebbe molto tempo, e probabilmente avrebbe l'effetto di creare confusione non necessaria. Basti pensare che, in una pubblicazione di qualche anno fa, Pawson e Tilley (1997) cercano di riassumere alcuni degli approcci teorici più conosciuti nel mondo anglosassone in relazione alla valutazione. La lista è molto lunga, a significare una grande varietà di approcci e punti di vista: gli autori ricordano la summative evaluation, formative evaluation, cost-free evaluation, goal-free evaluation, functional evaluation, tailored evaluation, comprehensive evaluation, theory-driven evaluation, stakeholder-based evaluation, naturalistic evaluation, utilization-focused evaluation, preordinate evaluation, responsive evaluation, meta-evaluation (oltre alla loro realistic evaluation).

L'elenco potrebbe essere molto più lungo, vista la grande tradizione americana di studi e ricerche sull'argomento: manca ad esempio, fra le più conosciute, la empowerment evaluation di Fetterman, Kaftarian e Wandersman (1996).

Questa varietà di nomenclature e di approcci deriva anche dalla diversa estrazione professionale dei valutatori, dalla diversa natura dei programmi che si sono valutati e dal diverso contesto entro il quale ci si trova ad agire. Shaw e Lishman (2002; pag. 12) indicano principalmente cinque fattori causali di questa dispersione di risorse:

• Spesso c'è un certo scollamento fra ricerca e lavoro sul campo, e gli operatori nella maggior parte dei casi si trovano a lavorare con strumenti fatti da ricercatori esterni;
• La valutazione non poggia su solide basi metodologiche: per valutare ci si avvale di diversi metodi propri di altre discipline;
• La valutazione spesso viene fatta da diversi professionisti che si ignorano a vicenda e che non hanno rapporti gli uni con gli altri;
• La valutazione non è parte integrante del lavoro quotidiano, ma viene per lo più vista come un'appendice;
• La valutazione non è mai stata considerata un fattore importante nella formazione professionale, con un peso nullo sui curricula.

1.2 Diverse tipologie di progetti e diversi livelli di valutazione

La valutazione può essere adattata a diversi livelli d'intervento; Dallago, Santinello e Vieno (2004, pag. 17) ne individuano quattro:

• La valutazione del singolo caso, dove principalmente ci si occupa di singole azioni o di singoli sottoprogetti, e gli obiettivi e gli strumenti della valutazione vengono fissati dall'operatore che segue il percorso;
• La valutazione a livello di programma (o progetto), che è il livello che il più delle volte viene analizzato, e dove si analizza un singolo programma o progetto a carattere sociale;
• La valutazione "a grappolo" si prefigge di studiare i risultati di una serie di progetti legati sostanzialmente ad una stessa area (per esempio, valutare gli interventi messi in campo in una realtà territoriale a favore dell'inserimento lavorativo dei giovani);
• La valutazione della programmazione politica, che è il livello più generale, applicato solitamente dalle più alte istituzioni deputate al monitoraggio e al controllo delle scelte politiche.

Nella maggior parte dei casi, parlare di valutazione significa parlare del secondo punto, a livello di progetti sociali; questo perché la valutazione del singolo caso è quasi sempre "informale", mentre per adottare una strategia di valutazione a grappolo o a livello socio-politico si necessita di molte risorse economiche, temporali e di collaborazione. Il presente lavoro non fa eccezione, per cui ci si riferirà principalmente al livello di valutazione dei programmi.

I progetti sociali non sono però tutti uguali, distinguendosi in base al loro grado di innovazione e di sperimentazione; la classificazione che spesso viene usata è quella elaborata da Suchman diversi anni or sono (1967; 1972) e illustrata nella tabella seguente.

Fonte: Dallago, Santinello e Vieno (2004, pag. 25)

Preliminarmente a qualsiasi lavoro, è necessario perciò chiarire a che livello si ponga la valutazione e che tipo di programma ci si appresti a valutare. Dalla classificazione di Suchman tuttavia sono passati alcuni anni, e i progressi nel campo sono stati cospicui, soprattutto nel campo metodologico: oggi si dispone di molte tecniche, soprattutto qualitative, che quasi quarant'anni fa non erano ancora conosciute adeguatamente, per cui sappiamo che per valutare un programma "modello" non disponiamo solamente del disegno sperimentale, ma di altre tecniche come i disegni quasi-sperimentali, delle tecniche di gruppo, delle tecniche qualitative e così via.

1.3 Diversi tipi di valutazione

1.3a La valutazione ex ante, in itinere, ex post

Solitamente, parlando di valutazione se ne identificano almeno tre tipologie: ex ante, in itinere, ex post, ovvero prima, durante e dopo l'attuazione di un progetto sociale.

La valutazione ex ante precede l'avvio del progetto, e deve riassumerne le finalità generali e gli obiettivi specifici; deve comprendere inoltre i dati sull'utilizzo delle risorse del territorio, le modalità di selezione del target di intervento e gli strumenti di valutazione in itinere ed ex post. Questa prima fase è destinata ad assicurare la coerenza e la trasparenza dell'intero programma.

La valutazione in itinere (chiamata anche "intermedia" nei manuali della Commissione Europea) ha lo scopo di monitorare l'intero processo, esaminando di volta in volta i primi risultati al fine di provvedere ad eventuali aggiustamenti in corso d'opera. Nel procedere degli interventi infatti possono venire alla luce alcuni aspetti, favorenti od ostacolanti, non considerati prima, e si può rendere utile modificare quanto preventivato. Nella pratica, la valutazione in itinere è estremamente importante, in quanto raramente si riesce ad applicare in tutto e per tutto quanto previsto.

La valutazione ex post è la valutazione come solitamente viene intesa: si tratta di considerare i risultati dell'intero programma, analizzandone i costi sostenuti e i benefici ricevuti anche in termini di impatto sul bisogno iniziale. Essendo perciò una sorta di giudizio finale sull'intera esperienza, abbisogna di un tempo lungo di elaborazione e stesura finale: nelle sue linee guida, la Commissione Europea (1999, volume I) indica un tempo variabile dai dodici ai diciotto mesi, precisando che sarebbe utile produrre, poco dopo la conclusione, un primo rapporto provvisorio che orienti nelle prese di decisione per il futuro.

Queste tre forme sono, per Bezzi (2001; si veda anche Palumbo 2001, pagg. 200 e seguenti), troppo generiche; l'autore propone una classificazione in otto punti:

• Valutazione ex ante degli impatti, che comprende l'analisi delle politiche di riduzione del bisogno in quel particolare contesto;
• Valutazione ex ante degli effetti, da farsi a programma definito;
• La valutazione ex ante dell'implementazione fornisce, a questo punto, indicazioni sull'adeguatezza delle procedure previste per la messa in atto del progetto (in pratica, si configura come una valutazione del processo a priori).