Riassunto esame Psicologia di Comunità, prof. Vieno, libro consigliato "Valutare gli interventi psicosociali"

Valutare gli interventi psicosociali

Capitolo 1 – Introduzione alla valutazione

Uno dei fondamenti della psicologia di comunità è lo sviluppo di programmi, implementazione, management e valutazione, ovvero l’abilità di lavorare in gruppo e tra gruppi, in partnership con vari rappresentanti e portatori di interessi della comunità per meglio pianificare, sviluppare, implementare, sostenere e valutare gli interventi.

I significati solitamente connessi al concetto di valutazione sono: riflessione, comprensione, cambiamento, ma più spesso lo si collega all’idea di giudizio, controllo e paura. Questo perché la valutazione nasce con un’idea negativa, infatti la prima cosa che viene in mente alle persone è che essa fornisce un giudizio negativo, ma in realtà nasce per migliorare le prestazioni professionali e non per giudicarle; è infatti uno strumento che permette di riflettere e cambiare in meglio. La valutazione ha lo scopo di verificare se il progetto porta ad un effettivo cambiamento e, se attivata a monte del progetto, è maggiormente efficace. Infatti, negli ultimi anni si è considerato molto importante fornire agli operatori le competenze e gli strumenti che consentano loro di diventare autonomi nel verificare l’efficacia dei loro programmi (empowerment evaluation).

Definizioni di valutazione

• Suchman → “Applicazione delle tecniche della ricerca sociale allo studio di programmi diretti ad ampie popolazioni”.
• Rossi e Freeman → “L’applicazione sistematica dei metodi della ricerca sociale alla valutazione dei programmi di intervento sociale. Essa deriva dalle tecniche e dai concetti di svariate discipline ed è utile in ogni stadio nella ideazione, progettazione, programmazione ed implementazione dei programmi”.
• Patton → “La pratica della valutazione riguarda la raccolta sistematica di informazioni circa le attività, le caratteristiche e i risultati di programmi, destinata a persone interessate a giudicare come specifici aspetti di quei programmi abbiano operato e abbiano influito sul sistema”.
• Dallago, Santinello e Vieno → “Fare valutazione significa percorrere un viaggio che parte dall’ideazione del programma al rapporto finale. Non è una tecnica per produrre risultati: questa è cattiva valutazione, perché non aiuta a leggere il problema in modo articolato, di cercare informazioni utili per migliorare gli interventi, non permette agli operatori di crescere professionalmente”.

Bisogna inoltre fare una distinzione tra:

• Programma (o “progetto”) = insieme di attività connesse tra loro, finalizzate a raggiungere un obiettivo in un tempo stabilito; un programma è composto da uno o più interventi e consiste in un insieme di strumenti per realizzare i servizi (all’interno di un ente possono esserci uno o più programmi);
• Piano = insieme di attività riferite specificatamente al processo valutativo.

E tra:

• Ricerca valutativa = scopo di verificare modelli e teorie sulla prevenzione e sui fattori di rischio o di protezione (è quindi orientata esclusivamente agli effetti del programma);
• Valutazione = insieme di attività orientate alla comprensione delle logiche interne al programma stesso, e a fornire feedback sulle scelte quotidiane (orientata agli effetti, ma anche ai processi e dinamiche del programma).

In generale quindi la valutazione:

• Implicita una raccolta sistematica di informazioni
• Può riguardare più aspetti del programma (risultati e processi)
• È sia un processo di elaborazione di informazioni sia un’azione sociale
• La raccolta di informazioni deve permettere l’elaborazione e la formulazione di interpretazioni in relazione al programma (deve tradursi in conoscenza)
• Viene effettuata all’interno di un sistema complesso ma deve ricorrere ad indicatori (dolorosa riduzione della complessità)
• Deve essere basata su quattro principi: utilità, fattibilità, pertinenza/appropriatezza e accuratezza metodologica

Origini storiche

Il problema della valutazione nasce in un periodo di crisi con una connotazione piuttosto negativa: la pubblica amministrazione era basata sulla cultura dell’atto, ovvero che poneva attenzione solo alla prassi e non agli effetti e risultati che le azioni producevano. Grazie alla trasformazione del sistema sociosanitario degli ultimi dieci anni si è ritenuto importante inserire un criterio per valutare l’efficacia degli investimenti → superamento della cultura dell’atto. Il rischio di tale innovazione è che la valutazione venga vissuta dai servizi o organizzazioni come una complicazione, invece dovrebbe essere intesa come uno strumento per rendere il lavoro degli operatori più efficace e meno frustrante.

Fattori legati alla diffusione della pratica di valutazione in Italia

• Maggiore centralità dell’utente e della qualità del servizio → interrogarsi sui risultati degli interventi e sul grado di soddisfazione dei destinatari
• Crisi fiscale dello stato → maggiore capacità di allocare in modo ottimale le risorse (ma ciò non significa che meno risorse ci sono più si valuta)
• Crescente complessità sociale
• Crescente interesse per la prevenzione e la promozione (introduzione di programmi innovativi)

Il rischio è quello di riporre nella valutazione speranze e aspettative irrealistiche, ovvero che le si attribuisca la capacità in sé di risolvere tutte le difficoltà e le contraddizioni del sistema, in particolare quello sociosanitario.

La valutazione può avere

Diversi oggetti / livelli di valutazione

Ne esistono quattro (ad ogni livello corrispondono diversi indicatori che riducono la complessità del problema):

1. Valutazione dei casi singoli → verificare l’evoluzione dei casi presi singolarmente nel tempo (es. informazioni sull’evoluzione della relazione terapeutica che si ha con il paziente). La valutazione degli effetti sui singoli avviene attraverso due metodologie: 1) il confronto tra il punteggio raggiunto dal soggetto in esame e un punteggio standardizzato di un campione normativo di soggetti; 2) confronto tra i punteggi ottenuti prima e dopo l’intervento sul soggetto, per individuare gli effetti del programma. A questo livello un indicatore utile per implementare un intervento potrebbe essere il numero di episodi depressivi, dei quali si può osservare se la loro frequenza e intensità cambia in seguito all’intervento; un altro indicatore può essere il numero di recidive all’interno di un SerT, ovvero quante volte il soggetto ricomincia ad abusare di alcol o sostanze;
2. Valutazione a livello di programma → la valutazione a questo livello ha lo scopo di verificare gli esiti di un programma, ma anche fornire informazioni in merito alla presa di decisioni sul futuro del programma.
   • Informazioni: importante è l’accuratezza della raccolta dei dati, la quale avviene attraverso interviste individuali, focus group, osservazioni, questionari, ecc. (è auspicabile l’utilizzo di diversi metodi, sia quantitativi che qualitativi);
   • Decisioni: durante la definizione di un obiettivo risulta importante il coinvolgimento di tutto lo staff del programma, poiché gli operatori e chi lavora all’interno del programma possiedono tutte le informazioni relative all’intervento necessarie per attuare una valutazione. Le decisioni sono quindi legate alle informazioni disponibili, e questi dati saranno maggiori se la valutazione viene progettata durante tutto lo sviluppo del programma (dalla progettazione all’implementazione). A questo livello degli indicatori possono essere: il numero di partecipanti al progetto, la collocazione delle date degli incontri in cui avviene l’intervento.
3. Valutazione “a grappolo” (del servizio) → un servizio viene definito come un’organizzazione stabile finalizzata all’erogazione di interventi e prestazioni sociali o sanitarie che hanno come destinatari singoli o collettivi. A questo livello si studiano gli obiettivi e le condizioni che caratterizzano il funzionamento di un servizio. La valutazione a grappolo raccoglie i risultati di un gruppo di programmi all’interno di un’organizzazione e ha l’obiettivo di valorizzare l’efficacia dell’investimento fatto in un settore specifico. È una valutazione a più ampio raggio che permette di verificare il raggiungimento o meno degli obiettivi prefissati da un servizio. Alcuni indicatori sono: il numero di accessi al servizio, la proporzione di persone che non riesce ad accedere al servizio (per cercare di capire se il servizio funziona bene o meno);
4. Valutazione della programmazione politica (piano o politiche) → le politiche sono indicazioni programmatiche che riguardano un settore e che stabiliscono delle priorità, ovvero degli obiettivi i quali saranno perseguiti grazie ad una pluralità di servizi o progetti. È una valutazione a livello macro, e dovrebbe utilizzare le informazioni raccolte nei due livelli precedenti. Queste valutazioni hanno lo scopo di rendere visibili la razionalità e l’utilità degli investimenti.

Diversi attori che possono avere diversi interessi sulla valutazione

A seconda degli interlocutori a cui si rivolge la valutazione le informazioni raccolte sono diverse:

• Politici (legittimità, visibilità, rilevanza, risultati)
• Amministratori (rispetto di normative, standard, progetti scritti ed efficienza)
• Operatori e responsabili (efficacia, soluzione dei problemi incontrati)
• Utenti (rilevanza, accessibilità)

Diverse finalità (domande a cui è necessario rispondere per migliorare un progetto)

• Descrittiva → cosa è successo nel tempo in quel determinato contesto?
• Esplicativa → perché è successo? Perché certe cose funzionano di più e altre meno?
• Interpretativa → cosa significa quello che è accaduto?
• Etico normativa → quello che è successo è giusto o sbagliato?

Tre approcci principali

1. Positivista sperimentale → è l’approccio più tradizionale, ha lo scopo di togliere ogni “rumore” intorno al fenomeno oggetto di studio avvicinando la valutazione alle scienze hard (fisica, chimica), attraverso l’attribuzione casuale del gruppo di controllo e di quello sperimentale. In questo approccio la valutazione ha lo scopo di rilevare se i cambiamenti avvenuti nella variabile dipendente (fenomeno oggetto di studio, es. comportamenti antisociali) dipendono esclusivamente dalla manipolazione della variabile indipendente (ovvero la partecipazione ad un programma, progetto), e non da altre variabili. Se non avviene questa attribuzione casuale, ma si fa basandosi su certi criteri e caratteristiche comuni, ci saranno effetti negativi sulla scientificità dell’esperimento. La logica che sta alla base di questo approccio è quella dell’azione razionale, ottica legata ad ambiti di ricerca come quelli della fisica e della chimica, e si basa sull’idea che ad un’azione consegue una reazione. Questo approccio permette di avere una definizione degli elementi legati alla valutazione, ma è stato molto criticato perché utilizza misure esclusivamente quantitative, di natura numerica.
2. Un esempio di questo approccio è un intervento chiamato Child Development Project, il quale ha come obiettivo incrementare il senso di comunità nelle scuole, attraverso la creazione di un contesto scolastico accogliente e supportivo che incrementi l’autonomia degli studenti. Le principali azioni del programma sono:
   • Cooperative learning → è una modalità di insegnamento cooperativo (es. studenti che scelgono autonomamente il loro percorso scolastico, come nelle scuole americane), che ha lo scopo di far diventare le persone costruttrici e attive del proprio apprendimento e si basa sui principi della peer education (es. chiedere agli studenti di presentare alla classe un capitolo del libro e spiegarlo);
   • Sviluppo di regole → non serve a niente elencare le regole di istituto agli studenti, mentre farle sviluppare agli studenti stessi è molto più efficace;
   • Uso della letteratura per promuovere valori pro sociali → bisogna utilizzare la letteratura più adatta per promuovere questi valori.