Riassunto esame Psicologia, prof Vieno, libro consigliato Valutare gli interventi psicosociali, Dallago, Vieno, Santinello

Capitolo 1: Di che cosa stiamo parlando

Per valutazione dei programmi si intendono quelle attività orientate alla comprensione delle logiche interne del programma, a fornire feedback per le scelte quotidiane. La pratica della valutazione riguarda la raccolta sistematica di informazioni circa le attività, le caratteristiche e i risultati di programmi destinata a persone interessate a giudicare come specifici aspetti di quei programmi abbiano operato e abbiano influito sul sistema.

Viene sottolineato come:

• La valutazione implica la raccolta sistematica di informazioni e quindi occorre definire e organizzare modi e tempi con cui raccogliere i dati ricorrendo alla metodologia della ricerca sociale;
• La ricerca valutativa può riguardare più aspetti dell'attività del programma non solo i risultati finali;
• La scelta degli oggetti della valutazione consegue alla puntualizzazione degli scopi e delle aspettative dei committenti o degli operatori coinvolti nel programma;
• Tale raccolta di informazioni deve permettere l'elaborazione e la formulazione di valutazioni utili per la presa di decisioni da parte dei soggetti interessati al programma.

I principi che dovrebbero guidare la valutazione sono quattro: utilità, fattibilità, accuratezza e appropriatezza. Inoltre, la valutazione viene operata all'interno di un sistema complesso; pur consapevoli di tale complessità, per cercare di capire i risultati delle nostre azioni, si deve ricorrere ad alcuni indicatori sapendo di compiere una dolorosa riduzione della realtà di studio. La valutazione spesso si rivela anche come un'azione sociale. Infatti, essendo costituita da una serie di attività che agiscono nei confronti del sistema stesso, è chiamata a confermarlo, oppure, individuando delle carenze, a promuovere alcuni miglioramenti o persino delle radicali trasformazioni.

Un breve inciso storico

La valutazione viene spesso considerata in sé come una sorta di esame censorio sull'operato di un'organizzazione, oltre che un giudizio sulle singole persone, piuttosto che un'occasione per crescere professionalmente e affinare le proprie modalità d'intervento, alla luce del confronto con altre persone. Tradizionalmente, la pubblica amministrazione è stata impostata, da un punto di vista strutturale, sulla “cultura dell'atto”. L'agire delle istituzioni pubbliche veniva considerato all'interno di una successione di singoli atti collegati tra loro e inseriti in una prassi, senza dedicare particolare attenzione agli effetti di queste procedure.

Il dibattito circa la necessità di valutare ha subito negli anni un'importante accelerazione anche in seguito alla diffusione della pratica dell'affidamento di servizi a soggetti terzi. In questa situazione l'erogatore di servizi non risulta più il solo ente pubblico, ma è un intreccio di pubblico, privato sociale, risorse formali e informali che vanno a comporre quello che oggi viene identificato come welfare mix.

Diverse valutazioni per differenti oggetti

Sono stati individuati e sviluppati quattro livelli di valutazione che vengono utilizzati per massimizzare la comprensione sistematica di quelle che vengono definite le “buone pratiche” da seguire per un'organizzazione:

• Valutazione della gestione dei singoli casi;
• Valutazione a livello di programma;
• Valutazione a “grappolo”;
• Valutazione della programmazione politica.

Valutazione nella gestione dei singoli casi: prevede che sia l'operatore a strutturare il modello di valutazione, a raccogliere le informazioni e a giudicare i risultati ottenuti. La logica ad esso sottostante è che si possono individuare alcuni comportamenti del soggetto sul quale si sta implementando un programma, da usare come indicatori di risultato.

Valutazione a livello di programma: caratteristica essenziale di un programma è l'essere un insieme strutturato di attività in cui, partendo da richieste/bisogni ben precisi, vengono definiti chiaramente le risorse disponibili, formulati degli obiettivi ed elaborate strategie finalizzate al soddisfacimento delle richieste e dei bisogni. La valutazione del livello di programma ha come priorità la coerente, continua raccolta e analisi di informazioni da utilizzare per assumere decisioni sul futuro dello stesso. Nonostante il metodo con cui si decide di raccogliere dati possa essere diverso a seconda degli obiettivi del contesto e del programma che si sta implementando, è importante scegliere buoni indicatori degli obiettivi e contemporaneamente un disegno di valutazione coerente con la filosofia complessiva del programma.

Affinché i risultati della valutazione possano essere utilizzati per prendere delle decisioni, le attività ad essa connesse dovrebbero essere integrate all'interno programma. È utile che venga pianificato il modo in cui le informazioni sono utilizzate e che via via vengano raccolte già durante la fase di implementazione; risulta inoltre importante l'individuazione dei criteri di successo o di fallimento di singole fasi del programma per decidere il futuro di quelle attività. Per questa ragione la valutazione dovrà essere progettata come una fase trasversale a tutto lo sviluppo del programma che va dalla progettazione, all'implementazione alla conclusione ed eventualmente alla sua ripianificazione.

La valutazione a grappolo: raccoglie i risultati di un gruppo di programmi. Le informazioni raccolte a questo livello hanno l'obiettivo di valorizzare l'efficacia dell'investimento fatto in un settore specifico, chiarire le principali strategie utilizzate e informare le forze politiche oltre che naturalmente i destinatari dei programmi. La valutazione a grappolo quindi non sostituisce la valutazione a livello di programma ma si tratta piuttosto di una valutazione a più ampio raggio che permette di verificare il raggiungimento degli obiettivi prefissati. Se la valutazione a livello di programma è centrata sullo sviluppo e sui risultati da restituire alla committenza, la valutazione a grappolo permette di verificare il raggiungimento del più ampio obiettivo prefissato con la programmazione di un servizio.

La valutazione della programmazione politica: risulta a livello più alto, ovvero quello macro. Questo tipo di valutazione risulta trasversale alla programmazione e alle questioni politiche. Esso dovrebbe utilizzare le informazioni raggruppate e sintetizzate nei due livelli precedenti, ovvero quello dei singoli programmi e quello dei grappoli di programmi. Il fine ultimo di questo tipo di valutazione dovrebbe essere quello di ottenere informazioni e dati relativi all'efficacia delle scelte fatte in relazione ai programmi finanziati e agli orientamenti presi nella lista dei servizi.

Capitolo 2: Diverse valutazioni per diversi tipi di programma

Secondo Suchman, i programmi possono essere suddivisi in due macrocategorie: quelli ancora in fase pilota, divisibili in innovativi, modello e prototipo, e quelli operativi, ossia a regime.

I programmi innovativi: si svolgono in un periodo di tempo limitato con lo scopo di sperimentare nuovi approcci e procedure per prevenire particolari fenomeni ed emergenze. La valutazione di unità didattiche, procedure e materiali si basa principalmente sull'esperienza e sui problemi che insorgono, attraverso l'utilizzo di feedback formali/informali e osservazioni. Vengono inclusi tra i programmi innovativi tutti quelli che non sono stati applicati a quella specifica popolazione o contesto, ma anche in altre fasce di età o su un target poco numeroso.

I programmi modello: sono il risultato finale di uno o più programmi innovativi. Grazie ad un piano di valutazione più accurato offrono garanzie maggiori di validità interna, anche se non ancora certezze dell'efficacia su larga scala.

I programmi prototipo: sono quelli sviluppati e testati su diversi gruppi e in diversi contesti, attraverso il disegno quasi-sperimentale.

I programmi operativi: sono costituiti da quelle attività la cui efficacia è già ampiamente documentata e la necessità di valutazione riguarda solo alcune sue parti che si intendono sviluppare o migliorare. Il valutatore attiverà un processo di consulenza per aiutare lo staff del programma operativo a:

• Riconsiderare gli obiettivi esistenti del programma utilizzando, per esempio, testimoni significativi e interviste di gruppo, informazioni riguardo alla loro esperienza e alla valutazione del programma;
• Identificare i cambiamenti di cui il programma sembra aver bisogno;
• Riprogettare il programma introducendo cambiamenti concordati.

Le componenti della valutazione

I principi guida della valutazione nelle occasioni in cui si discute sul funzionamento della propria organizzazione, si ragiona sul senso e l'opportunità di un'iniziativa o di un intervento e si parla di possibili risultati ottenuti, si svolgono delle attività di valutazione della quale spesso non esiste consapevolezza. L'uso di strategie di valutazioni basate su dati empirici e condotte in modo sistematico cercano di ovviare alle fragilità della valutazione quotidiana che lascia le scelte in balia degli umori o della legge del più forte o del più abile a chiacchierare. Un tale obiettivo può essere raggiunto se la ricerca valutativa possiede i quattro principi già accennati, ossia l'utilità, l'appropriatezza, la fattibilità e l'accuratezza.

La centratura sul principio di utilità e l'orientamento alla pertinenza e all'appropriatezza rispetto alle finalità richiedono che i soggetti coinvolti nel processo di valutazione raggiungano una piena comprensione del programma e dell'ambiente in cui esso opera. Per quanto riguarda l'accuratezza metodologica esistono due posizioni prevalenti in letteratura:

• Pragmatismo: la valutazione è un'attività elaborata e implementata in conformità agli interessi dei committenti del programma, allo scopo di produrre il maggior numero di informazioni utili per la presa di decisioni, date precise circostanze politiche, eventuali vincoli e disponibilità di risorse;
• Scientificità: I piani di valutazione devono essere costruiti in riferimento a standard di ricerca posti dagli sperimentatori in conformità con il metodo e il rigore scientifico.

Cosa valutare

Lo scopo della valutazione è generalmente verificare se il programma raggiunge obiettivi indicati. È auspicabile che la pratica valutativa venga considerata un processo che accompagna il programma in tutto il suo sviluppo, ponendosi scopi ed utilizzando metodologie adeguate allo stadio raggiunto dal programma. Tradizionalmente, gli approcci alla valutazione sono basati sulla distinzione tra valutazione formativa (o di processo) e valutazione sommattiva (o dei risultati). Tuttavia un buon piano valutativo dovrebbe prevedere:

• La valutazione del contesto economico, sociale e politico all'interno del quale è inserito il programma (valutazione del contesto);
• La valutazione della pianificazione, dell'attivazione e dell'implementazione del programma insieme a un'accurata documentazione dello sviluppo dello stesso (valutazione di processo);
• La valutazione dei risultati a breve e a lungo termine del programma (valutazione dei risultati).

Valutazione del contesto

Tutti programmi di prevenzione e di promozione vengono implementati all'interno di un particolare contesto: le caratteristiche della comunità influenzano quindi la fase di pianificazione delle attività, il loro funzionamento e la possibilità di raggiungere gli obiettivi preposti. Per effettuare una corretta valutazione di contesto è necessario:

• Identificare i servizi, i gruppi e le associazioni presenti nella comunità e comprenderne la storia e le possibilità di coinvolgimento;
• Identificare i leader della comunità a livello formale, informale e potenziale;
• Comprendere le caratteristiche sociali e culturali, le tradizioni, lo status socioeconomico della comunità;
• Pensare a momenti all'interno dei quali possa essere coinvolta la comunità.

Quando si replicano programmi di prevenzione e promozione in diversi contesti, l'attenzione per differenze tra contesto primario e il nuovo contesto dove si vuole replicare il programma permette di rileggere l'intero programma e di rimodularlo in base ai bisogni e alle risorse della comunità, ripensando all'appropriatezza degli obiettivi e delle azioni del programma.

Nel caso la valutazione venga effettuata prima dell'implementazione dell'intervento, questa permette di raccogliere informazioni sul problema e sulle particolari caratteristiche nello specifico contesto, permettendo di comprendere meglio i risultati successivi. L'utilizzo di questo tipo di informazioni durante la fase di progettazione permette di comprendere se le attività del programma sono adeguate e rilevanti all'interno della comunità e se altri gruppi già affrontano lo stesso problema. Nel caso di una valutazione partita dopo l'implementazione del programma, questa potrà chiarire i risultati ottenuti o l'inefficacia di azioni condotte ed ideate in modo adeguato, ma che non hanno tenuto conto di caratteristiche contestuali rilevanti.

La valutazione di contesto offre potenzialmente diversi vantaggi a seconda delle fasi in cui il programma si trova:

• Fase dell'ideazione e di attivazione del programma: la valutazione può riguardare la rilevanza del problema che si vuole affrontare, la novità e la convenienza (valutazione della legittimità). Si parla di valutazione della legittimità quando i committenti esprimono il bisogno di approfondire il senso e le valenze inscritte nelle proprie azioni;
• Fase di pianificazione: la valutazione del contesto può essere effettuata in termini di bisogni (need assessment), di risorse (asset assessment), per comprendere dove è prioritario agire e chi deve essere coinvolto;
• Fase di implementazione: la valutazione del contesto in questa fase può offrire valide informazioni relativamente a quelli che sono i problemi attribuibili alle caratteristiche del contesto che possono insorgere durante lo svolgimento delle varie azioni;
• Durante lo studio degli effetti del programma: la valutazione del contesto può permettere di capire quale cambiamento è avvenuto all'interno della comunità.

Valutazione di processo

Permette di evidenziare e di valorizzare un programma di successo offrendo indicazioni sullo svolgimento delle azioni e sulle ragioni dell'eventuale inefficacia. L'implementazione di un nuovo programma generalmente prevede un processo di adattamento delle azioni ideali progettate sulla carta alle condizioni della comunità, alle dinamiche che al suo interno si verificano.