Riassunto esame Psicologia del lavoro e delle organizzazioni, prof. Depolo, libro consigliato Gli Interventi Formativi, Fraccaroli, Vergani

Valutazione Capitolo 1

Programma sociale = intervento diretto ad affrontare un problema di rilevanza collettiva o ad incentivare opportunità di sviluppo sociale. Non è necessariamente di tipo pubblico anche se nella gran parte delle situazioni lo è poiché sfrutta denaro pubblico. Le finalità collettive, suo elemento distintivo, permettono ad un’ampia fascia di individui di beneficiare del programma.

Distinzione tra programma, progetti e interventi

• Programma (è lo schema generale dell’intervento connesso con le politiche di attuazione, si definisce quali siano i singoli progetti ed interventi)
• Progetti (articolazione più dettagliata, sono il risvolto operativo dei programmi)
• Interventi (aspetto attuativo del progetto e del programma, risvolto esecutivo)

Perché l’esigenza di valutare questi programmi

Il massiccio sviluppo di questi programmi ha stimolato l'esigenza di accertare efficienza, efficacia e utilità dei vari interventi messi in atto. Ciò nasce da:

• Perché è in gioco denaro pubblico e bisogna verificarne l’efficienza
• Possono essere criticati e messi in discussione perché di solito sono frutto di scelte politiche

Nel contesto europeo gli interventi pubblici sono ancora ampiamente utilizzati in vari ambiti, c'è più selettività nei programmi e una più forte attenzione all'uso di risorse. Attori coinvolti nei programmi: ideatori, finanziatori pubblici, operatori, utenti coinvolti.

La valutazione del programma

La valutazione del programma consiste nell'applicazione sistematica delle procedure di ricerca sociale per valutare programmi di intervento che toccano questioni di rilevanza collettiva in vari ambiti. La valutazione NON va intesa come atto finale ma piuttosto va intesa come riguardante le diverse fasi della costruzione dell’intervento. La valutazione si propone i seguenti obiettivi:

• Favorire l’analisi preliminare di un problema sociale e delle soluzioni da adottare
• Confrontare in modo sistematico più programmi alternativi
• Formulare indicazioni per migliorare l’attuazione di un intervento
• Incrementare il patrimonio informativo su un determinato problema e sugli interventi per affrontarlo in modo da favorire processi di scelta
• Fornire supporto per chi voglia replicare, trasferire o estendere un dato intervento ad altri ambiti, territori o utenze
• Favorire l’aggiustamento e adeguamento di interventi in corso d’opera
• Verificare la coerenza tra progetto di intervento e sua concreta attuazione

Le principali aree di valutazione

La valutazione di programmi copre una vasta area di interventi valutativi, ecco le tre principali aree:

• Valutazione diagnostica: relativa alla ideazione e progettazione
• Valutazione della realizzazione: attività specifica per verificare il grado di coinvolgimento dell’utenza potenziale, il livello di congruenza tra l’intervento progettato e la sua effettiva erogazione, il funzionamento complessivo dell’azione, le reazioni dei partecipanti
• Valutazione degli esiti: mira a stimare gli effetti dell’intervento una volta concluso

Scriven propone il metodo classico di valutazione distinguendo tra:

• Sommativa: cerca di determinare l’efficacia e la riuscita complessiva di un programma. È outcomes oriented, ha come obiettivo la verifica dei risultati e dell'impatto.
• Formativa: si focalizza sui modi di migliorare un programma prendendo in considerazione l’intero processo e le sue varie fasi di vita. È process oriented, finalizzata a conoscere i meccanismi di funzionamento di un programma.

La valutazione serve sostanzialmente per avere dei feedback sull’azione intrapresa:

• Capire cosa sta accadendo per intervenire in corso d’opera sul progetto o programma
• Modificare (ampliare, ridurre, ristrutturare) un programma già avviato
• Decidere se è utile continuare il finanziamento del programma
• Decidere se avviare nuove iniziative e quali opzioni privilegiare

Oltre la valutazione molti altri fattori guidano e influenzano l'azione dei decisori: gli equilibri di potere, la sensibilità sociale verso i problemi, la capacità di influenza dei singoli e dei gruppi. La valutazione è dunque un evento politico (quindi non è neutra ed è esposta a sua volta a condizionamenti da parte dei committenti o parti interessate) che si realizza in un ambiente dove ci sono degli equilibri di potere e degli interessi. I portatori di interessi sono gli stakeholders (perché direttamente chiamati in causa, o indirettamente interessati agli effetti di una azione sociale).

Le categorie di stakeholder

• Gli utilizzatori primari dei risultati della valutazione (gli ideatori e quelli che hanno voluto la valutazione)
• Le fonti di informazione per strutturare la valutazione (altri soggetti interessati che bisogna interpellare)
• Le fonti di informazione per la raccolta dei dati informativi (chi fornisce dati utili ai fini della valutazione)
• Gli utenti finali del rapporto di valutazione (interlocutori finali)

Si tratta di soggetti o gruppi che possono avere a che fare con diverse fasi del processo di valutazione:

• Fase di costruzione dell’impianto
• Fase di raccolta dati
• Fase di diffusione dati
• Fase di utilizzo dei risultati

Importante ricordare che la valutazione di programmi sociali NON avviene nel chiuso dei laboratori, anche se fa propri alcuni principi metodologici: tentare di annullare le variabili di disturbo, formulare ipotesi sulle relazioni causali tra variabili, testare modelli teorici. Tutto questo è applicato però in modo flessibile tenendo conto del contesto in cui avviene la valutazione.

Patton

Patton mette in guardia rispetto ad un uso neutrale e distaccato della valutazione. I dati delle ricerche, se pure accurati e attendibili, possono infatti non essere utilizzati ed essere ignorati dai decisori. Questo perché possono non rispondere ad esigenze esplicite degli utilizzatori, non assecondano gli interessi, gli interrogativi e le aspettative del richiedente.

Cronbach

Secondo Cronbach ogni ricerca valutativa è uno sforzo individuale e quindi unico per far fronte ai bisogni dei finanziatori del programma e dei vari portatori di interesse. Deve costruirsi e realizzarsi in un contesto dinamico, altamente volatile, in cui possono cambiare interlocutori, priorità, circostanze storiche, modi di interpretare il problema e di valorizzare le diverse opzioni. Quindi deve avere una forte componente di pragmatismo.

Si possono individuare dei punti di riferimento, atteggiamenti di fondo che dovrebbero guidare il valutatore per gestire la natura politica della valutazione. Sono 3:

• Considerare centrali gli utilizzatori della valutazione (chi progetta e realizza interventi valutativi deve produrre risultati utilizzabili da parte dei committenti o di altri soggetti interessati al programma, deve avere ben chiaro le fasi della valutazione, le esigenze e le attese degli utilizzatori)
• Operare secondo la logica del rapporto di consulenza (confronto e negoziazione, anche il valutatore è dunque uno stakeholder, fasi di: primo incontro, analisi della domanda, stipula di un patto, restituzione dei risultati)
• Essere flessibili e creativi sul piano metodologico (ricorso da parte del valutatore, al proprio bagaglio di conoscenze e di strumenti tecnici)

L’attività di raccolta dati e informazioni è finalizzata alla formulazione di un giudizio. La valutazione di programmi ha lo scopo fondamentale di giungere ad un bilancio finale. Il giudizio è insito nell’attività di valutazione. Si stabiliscono i criteri di un giudizio, poi si decide uno standard di confronto, il terzo passo prevede la misurazione-osservazione degli aspetti sottoposti a valutazione; fatto ciò il valutatore può esprimere il giudizio circa il programma migliore.

Valutazione Capitolo 2

La valutazione è l'insieme di attività utili per esprimere un giudizio, la ricerca valutativa invece è l'insieme delle procedure utilizzate per costruire in modo affidabile quel giudizio. La ricerca valutativa fa parte di una particolare tipologia di ricerca sociale, quella applicata.

Punti in comune

La ricerca valutativa fa ricorso a paradigmi, ad un apparato di metodi, a tecniche e strumenti mutuati dalla ricerca sociale, che si occupa di indagini empiriche su individui, gruppi, istituzioni, comunità.

• Sia per la sociale che per la valutativa la logica operativa è quella di raccogliere in modo sistematico, in un contesto controllato dotato di rilevanza sociale, informazioni allo scopo di:
• Descrivere e interpretare fenomeni e processi
• Spiegare le relazioni tra variabili attraverso l’analisi inferenziale
• Confrontare in modo sistematico individui, gruppi, programmi, opzioni
• Validare o falsificare ipotesi formulate a priori
• Prevedere andamenti futuri grazie ai dati empirici riferiti al passato
• La costruzione di un disegno di ricerca valutativa non è molto diversa da quella seguita nella ricerca sociologica: si punta all’identificazione di fonti affidabili e rappresentative, all’isolamento di variabili significative ai fini dello studio
• Gli strumenti di rilevazione sono in gran parte uguali
• Le tecniche di analisi dei dati sono comuni nei due ambiti

Differenze

La ricerca sociale può rispondere a svariate esigenze e può concretizzarsi in un numero molto ampio di opzioni operative, la ricerca valutativa non può essere descritta al singolare. La finalizzazione dei risultati è differente nelle due ricerche: la ricerca sociale è finalizzata a un tipo di conoscenza che è scientifica, la ricerca valutativa viceversa vede il suo orientamento verso l’utilizzo poiché di solito è una ricerca commissionata da diversi interessi. È una ricerca pragmatica. NON è vero che la ricerca valutativa è disancorata da teorie e modelli concettuali e orientata solo alla soluzione di questioni pratiche, poiché, anche se finalizzata a scopi pratici, anch’essa può contribuire a conoscenze scientifiche e generazione di teorie. Cambiano le finalità e cambiano anche le comunità di riferimento. Per la sociale la comunità di riferimento è generalmente quella scientifico/accademica e i risultati delle ricerche vengono solitamente pubblicati. Per la valutativa la comunità è quella imprenditoriale (dirigenti, quadri amministrativi, organismi di rappresentanza) e quella che ha commissionato la ricerca, di solito i risultati non vengono resi noti. Il valutatore ha dunque di fronte a sé un pubblico più ristretto, ma più composito, meno specializzato e con esigenze più mirate.

Weiss: la valutazione tende a comparare l’esistente (ciò che è) con una situazione ideale, attesa o programmata (ciò che dovrebbe essere). La realtà empirica è solitamente confrontata con un altro sistema di conoscenza; ad esempio può essere un progetto esecutivo nel caso la valutazione si occupi della coerenza tra un progetto e la sua esecuzione, un parametro predefinito, un insieme di obiettivi dichiarati oppure infine un sistema di attese o aspirazioni. La costruzione di parametri di riferimento è un elemento peculiare che distingue ricerca sociale da quella valutativa.

Assumere un approccio valutativo

Assumere un approccio valutativo significa definire le linee di indirizzo che strutturano le successive decisioni metodologiche, identificare tappe e fasi della valutazione e focalizzare le principali questioni da valutare. Ci sono 4 funzioni principali di questa operazione:

• L’individuazione precisa dell’oggetto da valutare
• La definizione dei criteri di valutazione
• La precisazione dei parametri o standard di riferimento
• Il coinvolgimento delle parti