Riassunto esame di Valutazione dei risultati e ricerca sociale, prof. Gobo, libro consigliato Il nuovo disegno della ricerca valutativa, Claudio Bezzi

Cap 1. Cos'è valutazione

1.2 Compito della materia: costruzione ipotesi sulla realtà

L’ipotesi dipende dal mandato valutativo. Oggetto della valutazione: programma sul quale dovrò raccogliere dati. Definizione valutazione: insieme delle attività collegate utili per esprimere un giudizio argomentato per un fine pubblico, giudizio argomentato tramite processi di ricerca che ne costituiscono l’elemento imprescindibile di affidabilità delle procedure e fedeltà delle info utilizzate per esprimere quel giudizio.

Giudizio espresso per un fine: fondamentale è l’utilità del giudizio. A tali giudizi seguono azioni dirette. Fine pubblico: per risolvere problemi che coinvolgono la collettività o singoli gruppi. Giudizio argomentato: l’argomentazione rende il giudizio valutativo scientifico e professionale. Indicazione strumenti utilizzati, dati dai quali si è partiti. Migliore è l’argomentazione, migliore è la valutazione → differenza tra valutazioni sta nel tipo e nella qualità dell’argomentazione e quindi nelle sue modalità concrete di raccolta e di analisi dei dati; tali dati e informazioni devono essere palesi.

Tutta la nostra valutazione avrà sempre valore convenzionale poiché essa deriva da scelte a proposito di quali e come dati raccogliere, dunque l’argomentazione è fondamentale perché mancano verità assolute.

Ricerca valutativa: cervello della valutazione poiché è l’argomentazione resa solida, verificabile. Valutazione si fonda sulla ricerca qualitativa.

1.3 Ricerca valutativa e valutazione

Ricerca valutativa e valutazione sono due concetti differenti, quindi vi può essere valutazione anche senza ricerca valutativa (discussione di sport con gli amici al bar). Valutare: corredare il giudizio espresso di elementi che siano convenzionalmente ritenuti idonei a sostenere la credibilità del giudizio.

• Dati di secondo livello (preesistenti alla nostra valutazione)
• Dati di primo livello (ad hoc per la nostra valutazione)
• Pareri qualificati (giudizi di esperti)

Ricerca valutativa: qualunque processo cognitivo basato su una di queste tre procedure o loro mix, finalizzato a sostenere il giudizio valutativo espresso attraverso un’argomentazione.

Caratteristiche valutazione

• Inferenziale: deduzione, induzione e abduzione
• Convenzionale e negoziale: dipende dal linguaggio dell’epoca e dai valori che si vogliono affermare

1.4 Strumenti di ricerca

Strategie di ricerca portano alle tecniche di ricerca. Strategie di ricerca: albero di Porfirio → ogni passaggio vede una dicotomia.

• 1 passaggio: dicotomia approccio manageriale (per misurare gli effetti o la qualità) o ricerca sociale.
• 2 passaggio: dicotomia approccio sperimentale (sapere con certezza se l’esito di un programma dipende interamente da quel programma) o non sperimentale.

Sperimentale: produce il problema controfattuale → ogni volta che realizziamo un intervento cambiamo inevitabilmente la realtà, dunque non possiamo sapere come sarebbe andata se si fosse deciso diversamente → crea due gruppi identici che convivono: gruppo sperimentale al quale viene somministrato il programma e gruppo di controllo al quale non viene somministrato. Dunque le differenze tra i due gruppi sono dovute all’unica variabile che differisce, cioè il programma (valutazione netta).

• 3 passaggio (tecniche): dicotomia tra tecniche standard (insiemi di tecniche quantitative) e non standard (insiemi di tecniche qualitative); permette di arrivare alle tecniche.

Entrambe possono essere di primo e di secondo livello e ciò fa riferimento alla natura delle info: primo livello → raccolte direttamente, secondo livello → rielaborate, ma raccolte da altri. Tecniche non standard hanno a che fare raramente con dati di secondo livello, sono soprattutto di primo tramite interviste a individui, o focus group, analisi Delphi a gruppi. Ricerca valutativa → simile alla ricerca sociale da cui deriva → ha la stessa scientificità della ricerca sociale.

1.5 Differenza ricerca valutativa/ricerca sociale

Finalità → operative in quella valutativa → conoscitive in quella sociale. Impulso al disegno → parte dalle ipotesi nella sociale, parte dal mandato nella valutativa.

Ricerca sociale

• Teoria → ipotesi → raccolta dati → analisi → risultati → teoria (feedback sulla teoria vero/falso)

Ricerca valutativa

• Contesto → mandato → raccolta dati → analisi → risultati → contesto (definizione di problemi non oggettivi, quindi ha soluzioni più o meno utili, non vere o false)

Teoria → insieme di proposizioni organicamente connesse che si pongono a un elevato livello di astrazione e generalizzazione, le quali sono derivate da sperimentazioni empiriche e dalle quali si possono derivare previsioni empiriche.

Contesto → insieme di proposizioni a un basso livello di astrazione, di cui non si conoscono per forza regolarità empiriche e dalle quali sicuramente non si possono derivare proposizioni empiriche.

Ipotesi → proposizione che implica una relazione tra due o più concetti, che permette una traduzione della teoria in termini empiricamente controllabili.

Mandato → pattuizione delle ragioni che giustificano la valutazione, la connessione fra il contesto problematico e il disegno operativo della valutazione.

1.6 Valutazione come processo partecipato

Partecipazione → valutazione utilizzabile direttamente dai beneficiari dei programmi → programma di democratizzazione in cui il valutatore scopre di non poter essere uno scienziato sociale distaccato dalla realtà in cui opera. Valutazione si scontra con due dimensioni: quella teorico-metodologica e quella empirico-esperienziale → raramente facile trovare una valutazione che serva bene entrambe.

Attori della valutazione

• Decisori
• Operatori
• Beneficiari

I tre condividono una piattaforma unica divisa in parti → negoziazione:

• Scambio simbolico tra le parti al fine di arrivare a una soluzione comune. Relazioni sociali sono diventate oggetto della ricerca valutativa.
• Tenere conto degli aspetti decisionali che possono essere rivelatori di:
  • Reali obiettivi dei decisori
  • Problematiche gestionali degli operatori
  • Ruolo dei beneficiari

Negoziabilità → riflessione sul processo di attribuzione di senso alle componenti del processo decisionale e realizzativo che porta a definizioni operative specifiche che devono comprendere il coinvolgimento di gruppi di attori sociali rilevanti. L’apertura agli attori sociali è una necessità metodologica. Essa viene controllata dal valutatore.

Non può esserci (secondo l’autore) valutazione “democratica” perché:

• La democrazia è un valore e i valori sono culturalmente connotati per cui variano nel tempo e nello spazio
• Non esiste il suo contrario, cioè la valutazione non-democratica
• La partecipazione non è di per sé democratica (ci sono insidie, leadership, antagonismi)

Cap. 1.7 Valutazione oggettiva o soggettiva?

Dubbio nasce sulle caratteristiche della valutazione, ovvero:

• Incertezza pratica
• Basata su dati e info di natura convenzionale
• Sempre inferenziale, convenzionale
• Strategie molteplici di raccolta info
• Legata al mandato che non ha elementi di verità, contesto senza regolarità empiriche
• Prevede negoziazione

Razionale: nasce negli anni '60 in un clima di positività per dare certezze. Costruttivista: pulsione portata avanti dagli psicologi, sociologi ecc. Soluzione: è entrambe.

1.8 Importanza del linguaggio nella valutazione

Il valutatore utilizza un linguaggio specifico (del metodo) che indirizza gli stakeholder su un terreno che gli rende possibile l’organizzazione delle info e la loro comprensione. La realtà è un’astrazione multidimensionale che riusciamo a comprendere sotto diversi punti di vista grazie a sistemi di riferimento che indicano cosa cercare.

Importanza del linguaggio:

• Unico medium disponibile per connettere info fra una realtà indagata e la mente dell’osservatore
• È sempre interpretazione → non esiste un significato univoco per i termini. Però riesce a indirizzare la nostra mente verso concetti per lo meno simili
• Metodologia della ricerca può essa stessa essere considerata linguaggio: l’azione sociale è sempre linguaggio e tutte le attività che la riguardano sono possibili solo perché realizzate in un contesto collaborativo possibile tramite il linguaggio

Cap. 2 Il disegno della ricerca valutativa

2.1 Disegno della ricerca valutativa

Disegno → insieme di riflessioni e procedure che conducono il valutatore a realizzare concretamente una ricerca valutativa dal problema cognitivo iniziale che costituisce il mandato → è un progetto → percorso cognitivo che ci fa progettare la ricerca e che ci consente di cambiare il progetto minimizzando i danni e massimizzando i profitti.

Due usi del termine disegno:

• Indica la teoria della ricerca generale
• Indica uno specifico disegno in un settore di studio

Logica della ricerca sociale e valutativa più livelli di astrazione:

• Disegno che si colloca in una zona epistemologico-metodologica:
  • Ci si interessa della conoscibilità del programma basandosi sulle precondizioni necessarie e le possibili conseguenze
• Disegno a un livello di astrazione più basso: il ricercatore stabilisce, tramite gli strumenti e i limiti acquisiti con il disegno precedente, un percorso di valutazione nel dettaglio
• Tecniche non all’origine della riflessione, ma ne sono conseguenze poiché sono le definizioni operative che assumono un senso alla luce del percorso precedente

Disegno ha a che fare con:

• Mandato (cioè il contesto e gli attori)
• Programma
• Problemi deontologici
• Valutazione della valutabilità
• Esplicitazione dei valori guida

Tappe del disegno valutativo

Definizione del mandato valutativo

Necessario sapere chi ha deciso di fare la valutazione e perché per orientare il processo nella giusta direzione. Finanziatore deve mostrare quali sono gli scopi e gli obiettivi.

Formulare le opportune domande valutative e comprendere gli obiettivi del programma

Capire le questioni alle quali la valutazione deve interessarsi. Comprendere il progetto originale, le conoscenze tacite implicate e le teorie sviluppate intorno al funzionamento.

Accertare le risorse disponibili e organizzare la ricerca

Risorse economiche, di personale e di tempo e la volontà e capacità di gestione.