Psicologia - Valutazione nel Lavoro Sociale

Dispensa per il corso di Psicologia di Comunità a.a. 2007/08 dell’Università degli

Studi “G. D’Annunzio” di Chieti e Pescara

La valutazione nel lavoro sociale:

teorie, metodi ed esempi

a cura di Pietro Berti

adattato da: Berti P., Antonelli S. (2006) La valutazione partecipata. Cittadini e

operatori valutano i progetti del Piano per la Salute di Cesena. Il Ponte Vecchio,

Cesena.

È possibile utilizzare il materiale riportato nella dispensa citando la fonte (libro di

Berti e Antonelli sopra riportato).

Per info: pietroberti@hotmail.com

CAPITOLO 1

LA VALUTAZIONE NEL LAVORO SOCIALE

Premessa

<<(…) Stanno crescendo alcuni processi culturali e professionali importantissimi,

legati all’amministrazione pubblica, alle politiche sociali e sanitarie, ma anche alla

trasformazione dei rapporti sociali generali, che hanno avuto origine e stanno

camminando per strade separate, dipendono da “uffici” specifici e autonomi e che

invece, a mio avviso, vanno letti e affrontati in modo intrecciato. Due riguardano

più da vicino la pubblica amministrazione e sono l’impegno di fare valutazioni

degli interventi e l’interesse a produrre comunicazioni “di interesse pubblico”>>

(De Sandre, 1996, pag.10; corsivo nel testo originale)

Italo De Sandre, in un saggio di alcuni anni or sono, così puntualizzava due delle

“sfide” che, a suo giudizio, ogni soggetto pubblico è chiamato ad affrontare: la

valutazione del proprio lavoro e la comunicazione di tale sforzo. L’autore ha

sicuramente affrontato un tema che negli anni a venire è diventato di stretta

attualità e che in un periodo di ridotte possibilità economiche sta assumendo

un’importanza sempre maggiore.

L’esigenza della valutazione nasce prima di tutto dalla necessità di giustificare

l’impiego di risorse, certificandone la trasparenza e la necessità, ma può (e deve)

andare oltre, soffermandosi sulle modalità di intervento su un territorio, sui

meccanismi causali che agiscono nella determinazione di mancato accesso alle

risorse, sull’impatto che le azioni prodotte da un servizio hanno sulla popolazione.

Oggigiorno c’è molta attenzione sulla fase di valutazione di un programma o di

una politica; tuttavia si registra una certa confusione nel determinare cosa sia la

valutazione, da quali elementi sia composta e quali obiettivi si prefigga. Questa

confusione non è dovuta ad una mancanza di preparazione degli operatori dei

servizi, visto che anche a livello di letteratura specialistica non vi sono delle

visioni comuni; manca, in sostanza, una teoria unica della valutazione, che possa

guidare nel lavoro quotidiano. Il perché di questa carenza è dovuto essenzialmente

al fatto che si è parlato e scritto di valutazione in molti ambiti (nell’ambito della

lotta alle disuguaglianze, dell’assistenza, della promozione della salute, della

scuola, e così via); ne hanno parlato molte figure professionali (medici, psicologi,

3

sociologi, pedagogisti….) facendo riferimento ad esperienze spesso totalmente

differenti fra loro e non comparabili.

Modolo, Briziarelli, Seppilli e Ferrari (1993) riassumono le difficoltà incontrate

affermando che la valutazione è difficile perché i fenomeni che si valutano sono

complessi e sono causati da molti fattori; spesso passa molto tempo fra azione ed

effetto, e gli strumenti per valutare sono presi a prestito da altre discipline. Gli

autori si riferiscono principalmente all’ambito dell’educazione sanitaria, ma le

riflessioni le possiamo considerare adeguate a molti altri campi d’applicazione.

Preliminarmente all’esposizione, è necessario fare alcune precisazioni

terminologiche: nel testo si useranno le parole “programma” e “progetto” come

sinonimi, per indicare un’azione, o una serie di azioni, che si progettano e si

mettono in atto su un territorio per perseguire un determinato fine. Queste azioni

sono da intendersi come azioni al di fuori dell’attività abituale di un servizio, una

sorta di aggiunta rispetto ai servizi e ai compiti richiesti quotidianamente.

Come accade in molti settori, la gran parte della produzione letteraria in materia è

in lingua inglese, e la traduzione non sempre è senza difficoltà; il primo ostacolo

riguarda le parole “assessment” e “evaluation”, la cui traduzione è, appunto,

“valutazione”, ma con due sfumature diverse. “Assessment” indica una

ricognizione dell’esistente, un accertamento di ciò che c’è già, mentre

“evaluation” ricopre il significato che viene dato anche in italiano, ovvero quello

di comparazione, di verifica. Spesso nelle pubblicazioni italiane questa sfumatura

si perde, ed è anche per questo che si registra molta confusione intorno al tema. Si

rende pertanto necessario specificare ogni volta di che tipo di valutazione si sta

parlando (di contesto, di struttura,….): vedremo più avanti che le possibilità sono

molte.

Altra difficoltà per la traduzione di “output” e di “outcome” (risultato, anche qui

con due accezioni diverse), e in questo caso saranno mantenute le parole inglesi;

di questo però si parlerà diffusamente in seguito.

1.1 - Cosa si intende per “valutazione”?

Dare una definizione di valutazione nel lavoro sociale non è semplice: per

valutazione si intende un’attività di comparazione fra due o più elementi, al fine di

formulare un giudizio conclusivo. Valutare però può voler dire anche verificare

che le cose programmate siano state fatte nel modo giusto, o che abbiano prodotto

risultati apprezzabili. Si può valutare cioè in termini comparativi o assoluti.

Il lavoro di valutazione si basa su criteri e indicatori predefiniti, quindi su

variabili che all’inizio si indicano come rilevanti e su cui viene concentrata

4 l’attenzione; inoltre, si basa su standard di accettabilità, che servono a definire

cosa si intenda per successo e cosa per fallimento. Ad esempio, volendo

organizzare un incontro di formazione e aspettandoci per esso 40 persone, la

presenza di 10 persone rappresenterebbe un fallimento, mentre 100 persone

sarebbero un successo. Non sempre però le cose sono così semplici: la presenza di

35 persone sarebbe vista come un piccolo fallimento, o no?

Definire gli standard di riferimento possono essere:

− di derivazione normativa, nel caso ci siano leggi e/o regolamenti al

riguardo; ad esempio, in ambito sanitario i Livelli Essenziali d’Assistenza

stabiliscono gli standard di qualità sotto i quali le Aziende Sanitarie non

possono andare;

− di derivazione storica, data dall’esperienza, personale o di terzi, maturata

nel campo;

− di derivazione scientifica, ovvero dati dalla letteratura specializzata

sull’argomento

Purtroppo, a volte manca qualsiasi tipo di riferimento normativo, storico o

scientifico, come nel caso dei progetti “pilota”, e allora bisogna ipotizzare degli

standard da verificare empiricamente.

Perché si valuta?

Rossi, Freeman e Lipsey (1999) indicano quattro possibili scopi della valutazione:

a) il miglioramento dei programmi; b) la generazione di conoscenza; c) le

relazioni politiche e/o pubbliche; d) il senso di responsabilità (accountability),

intesa come necessità di certificazione e trasparenza da parte dei decisori.

Questi scopi possono essere utilizzati in maniera diversa a seconda dei casi: vi

può essere un uso strumentale, orientato al miglioramento dei programmi, un uso

concettuale, tendente a conoscere il modo in cui funzionano i programmi, e un

uso persuasivo, avente la funzione di influenzamento dei decisori tecnici e

politici.

L’uso strumentale della valutazione prevede che essa dia ai decisori risultati

concreti su cui riflettere come continuare, o modificare, o sospendere un’attività;

secondo questa visione, una valutazione per essere utile deve fornire perciò

indicazioni su come (e se) proseguire.

L’uso concettuale tende a legare gli input agli outcome, partendo dalla

constatazione che, in un’ottica sistemica, da un unico punto di partenza si possono

giungere a diversi risultati, e che allo stesso risultato ci si può arrivare attraverso

strade diverse;

Infine, l’uso persuasivo ha la funzione, appunto, di persuadere i decisori politici

e/o tecnici a prendere determinate decisioni. 5

Cosa si valuta?

Ma, concretamente, cosa si valuta? Dipende in realtà da quali obiettivi ci

poniamo: valutiamo per rendere conto di ciò che è stato fatto? Per sapere se ciò

che è stato fatto funziona? Per sapere come migliorarlo? Per sapere quanto costa?

Per sapere cosa ha prodotto?

Il cosa valutare prende inoltre in considerazione la fattibilità di un intervento,

l’accettabilità (grado di condivisione dell’intervento), l’appropriatezza (grado di

utilità dell’intervento previsto in relazione al problema da affrontare), l’efficienza

(capacità di raggiungere i risultati attesi con il minor costo possibile), l’efficacia

( capacità di un intervento di raggiungere i risultati attesi), il gradimento, e così

via.

Chi valuta?

Tutti questi fattori sono poi legati indissolubilmente al chi valuta: amministratore,

tecnico, professionista esterno, utente hanno punti di vista e interessi diversi, e

possono leggere la realtà in maniera diversa. All’interno di ciascuna categoria ci

sono poi differenze importanti legate alla preparazione, all’esperienza, alla

flessibilità di vedute, e ad altre innumerevoli variabili.

Una visione teorica comune e condivisa non esiste, neppure per quanto riguarda i

nomi dati alle diverse tipologie di valutazione; in letteratura ne sono stati dati

molti, e in questa sede citeremo i più conosciuti. Trattare dettagliatamente come

meritano tutti gli approcci che si sono succeduti nel campo della valutazione

richiederebbe molto tempo, e probabilmente avrebbe l’effetto di creare confusione

non necessaria. Basti pensare che, in una pubblicazione di qualche anno fa,

Pawson e Tilley (1997) cercano di riassumere alcuni degli approcci teorici più

conosciuti nel mondo anglosassone in relazione alla valutazione. La lista è molto

lunga, a significare una grande varietà di approcci e punti di vista: gli autori

ricordano la summative evaluation, formative evaluation, cost – free evaluation,

goal – free evaluation, functional evaluation, tailored evaluation, comprehensive

evaluation, theory – driven evaluation, stakeholder – based evaluation,

naturalistic evaluation, utilization – focused evaluation, preordinate evaluation,

responsive evaluation, meta – evaluation (oltre alla loro realistic evaluation).

L’elenco potrebbe essere molto più lungo, vista la grande tradizione americana di

studi e ricerche sull’argomento: manca ad esempio, fra le più conosciute, la

empowerment evaluation di Fetterman, Kaftarian e Wandersman (1996).

6 Questa varietà di nomenclature e di approcci deriva anche dalla diversa estrazione

professionale dei valutatori, dalla diversa natura dei programmi che si sono

valutati e dal diverso contesto entro il quale ci si trova ad agire. Shaw e Lishman

(2002; pag. 12) indicano principalmente cinque fattori causali di questa

dispersione di risorse:

1) Spesso c’è un certo scollamento fra ricerca e lavoro sul campo, e gli

operatori nella maggior parte dei casi si trovano a lavorare con strumenti

fatti da ricercatori esterni;

2) La valutazione non poggia su solide basi metodologiche: per valutare ci si

avvale di diversi metodi propri di altre discipline;

3) La valutazione spesso viene fatta da diversi professionisti che si ignorano

a vicenda e che non hanno rapporti gli uni con gli altri;

4) La valutazione non è parte integrante del lavoro quotidiano, ma viene per

lo più vista come un’appendice;

5) La valutazione non è mai stata considerata un fattore importante nella

formazione professionale, con un peso nullo sui curricula.

1.2 - Diverse tipologie di progetti e diversi livelli di valutazione

La valutazione può essere adattata a diversi livelli d’intervento; Dallago,

Santinello e Vieno (2004, pag. 17) ne individuano quattro:

1) la valutazione del singolo caso, dove principalmente ci si occupa di

singole azioni o di singoli sottoprogetti, e gli obiettivi e gli strumenti della

valutazione vengono fissati dall’operatore che segue il percorso

2) la valutazione a livello di programma (o progetto), che è il livello che il

più delle volte viene analizzato, e dove si analizza un singolo programma

o progetto a carattere sociale

3) la valutazione “a grappolo” si prefigge di studiare i risultati di una serie

di progetti legati sostanzialmente ad una stessa area (per esempio, valutare

gli interventi messi in campo in una realtà territoriale a favore

dell’inserimento lavorativo dei giovani)

4) la valutazione della programmazione politica, che è il livello più generale,

applicato solitamente dalle più alte istituzioni deputate al monitoraggio e

al controllo delle scelte politiche.

Nella maggior parte dei casi, parlare di valutazione significa parlare del secondo

punto, a livello di progetti sociali; questo perché la valutazione del singolo caso è

quasi sempre “informale”, mentre per adottare una strategia di valutazione a

7

grappolo o a livello socio – politico si necessita di molte risorse economiche,

temporali e di collaborazione. Il presente lavoro non fa eccezione, per cui ci si

riferirà principalmente al livello di valutazione dei programmi.

I progetti sociali non sono però tutti uguali, distinguendosi in base al loro grado di

innovazione e di sperimentazione; la classificazione che spesso viene usata è

quella elaborata da Suchman diversi anni or sono (1967; 1972) e illustrata nella

tabella 1.

Tabella 1 - La classificazione dei progetti sociali secondo Suchman (1967; 1972)

Tipo Definizione Valutazione

Programmi innovativi Valutazione immediata,

Programmi pilota ampiamente basata su

feedback e osservazioni

Programmi modello Disegno di valutazione

sperimentale

Programmi prototipo Disegno quasi –

sperimentale

Programmi operativi Programmi di cui è già Individuare le possibili

conosciuta l’efficacia e migliorie apportabili

che si stanno utilizzando attraverso un sistema di

da tempo monitoraggio, di analisi di

processo

Fonte: Dallago, Santinello e Vieno (2004, pag. 25)

Preliminarmente a qualsiasi lavoro, è necessario perciò chiarire a che livello si

ponga la valutazione e che tipo di programma ci si appresti a valutare. Dalla

classificazione di Suchman tuttavia sono passati alcuni anni, e i progressi nel

campo sono stati cospicui, soprattutto nel campo metodologico: oggi si dispone di

molte tecniche, soprattutto qualitative, che quasi quarant’anni fa non erano ancora

conosciute adeguatamente, per cui sappiamo che per valutare un programma

“modello” non disponiamo solamente del disegno sperimentale, ma di altre

tecniche come i disegni quasi – sperimentali, delle tecniche di gruppo, delle

tecniche qualitative e così via.

1.3 - Diversi tipi di valutazione

1.3a - La valutazione ex ante, in itinere, ex post

Solitamente, parlando di valutazione se ne identificano almeno tre tipologie: ex

ante, in itinere, ex post, ovvero prima, durante e dopo l’attuazione di un progetto

sociale.

8 La valutazione ex ante precede l’avvio del progetto, e deve riassumerne le finalità

generali e gli obiettivi specifici; deve comprendere inoltre i dati sull’utilizzo delle

risorse del territorio, le modalità di selezione del target di intervento e gli

strumenti di valutazione in itinere ed ex post. Questa prima fase è destinata ad

assicurare la coerenza e la trasparenza dell’intero programma.

La valutazione in itinere (chiamata anche “intermedia” nei manuali della

Commissione Europea) ha lo scopo di monitorare l’intero processo, esaminando

di volta in volta i primi risultati al fine di provvedere ad eventuali aggiustamenti

in corso d’opera. Nel procedere degli interventi infatti possono venire alla luce

alcuni aspetti, favorenti od ostacolanti, non considerati prima, e si può rendere

utile modificare quanto preventivato. Nella pratica, la valutazione in itinere è

estremamente importante, in quanto raramente si riesce ad applicare in tutto e per

tutto quanto previsto.

La valutazione ex post è la valutazione come solitamente viene intesa: si tratta di

considerare i risultati dell’intero programma, analizzandone i costi sostenuti e i

benefici ricevuti anche in termini di impatto sul bisogno iniziale. Essendo perciò

una sorta di giudizio finale sull’intera esperienza, abbisogna di un tempo lungo di

elaborazione e stesura finale: nelle sue linee guida, la Commissione Europea

(1999, volume I) indica un tempo variabile dai dodici ai diciotto mesi, precisando

che sarebbe utile produrre, poco dopo la conclusione, un primo rapporto

provvisorio che orienti nelle prese di decisione per il futuro.

Queste tre forme sono, per Bezzi (2001; si veda anche Palumbo 2001, pagg. 200 e

seguenti), troppo generiche; l’autore propone una classificazione in otto punti:

1) valutazione ex ante degli impatti, che comprende l’analisi delle politiche

di riduzione del bisogno in quel particolare contesto;

2) valutazione ex ante degli effetti, da farsi a programma definito;

3) la valutazione ex ante dell’implementazione fornisce, a questo punto,

indicazioni sull’adeguatezza delle procedure previste per la messa in atto

del progetto (in pratica, si configura come una valutazione del processo a

prio