Riassunto esame di Valutazione dei risultati e ricerca sociale, prof. Gobo, libro consigliato Il nuovo disegno della ricerca valutativa, Claudio Bezzi

ACCERTARE LE RISORSE DISPONIBILI E ORGANIZZARE LA RICERCA

3. Risorse economiche, di personale e di tempo e la volontà del finanziatore a

perseguire le finalità della valutazione, ad attendere, a collaborare.

PRIMO DISEGNO DELLA RICERCA E OFFERTA TECNICA

4. Definizione delle tecniche da utilizzare. Disegno della ricerca ancora astratto

basato su documenti e conoscenze pregresse con possibilità di modifiche.

ESPLORARE IL CAMPO SEMANTICO DEL PROGRAMMA

5. Analizzare il programma per delinearne gli elementi salienti e trasformarli in

strumenti operativi. Si entra nel vivo del contesto, nelle relazioni tra attori e nel

significato da loro attribuito al programma.

CUORE della valutazione.

ESPLICITARE IL SISTEMA VALORIALE DEL PROGRAMMA

6.

Stabilire un sistema di valori attraverso il quale avviare il processo valutativo.

Valutare significa giudicare e si può giudicare solo tramite un sistema di valori

(NON proposto arbitrariamente da un solo soggetto)

STABILIRE CONSEGUENTI APPROCCI, STRUMENTI, TECNICHE E

7.

DEFINIZIONI OPERATIVE

Tutto ciò viene trasformato in uno strumento operativo di rilevazione delle info

pertinenti che possiamo utilizzare per misurare le componenti del programma.

Le tecniche derivano da scelte che traggono senso dal confronto col contesto

reale in cui viene eseguita la valutazione.

RACCOLTA E ANALISI DELLE INFO

8. USARE LA VALUTAZIONE E DIFFONDERNE I RISULTATI

9.

Fase di redazione di RAPPORTI VALUTATIVI.

Le nove fasi possono essere raggruppate in tre blocchi:

PRIMO BLOCCO: FASE ESPLORATIVA  mandato, formulazione domande,

I. riflessione sulle risorse

SECONDO BLOCCO  esplorazione campo semantico ed esplicitazione valori

II. TERZO BLOCCO  definizioni operative e raccolta info

III.

Per essere una buona valutazione deve avere almeno due blocchi su tre.

2.2 Definire gli obiettivi della valutazione (mandato)

- Mandato negoziato con il committente  chiaro, completo, senza ambiguità

- Prima di sapere cosa è importante sapere perché bisogna valutare (scopi)

ASPETTI DEL MANDATO DA CHIARIRE:

CHI sono i principali ATTORI sociali (chi la utilizzerà). Capire perché certi

• problemi sono evidenziati e da chi.

Capire il RUOLO assegnato alla valutazione e al valutatore

• - ASSERTIVO: punto di vista esterno che serve da verità arbitrale

- ARGOMENTATIVO: offrire considerazioni e aspetti interpretativi

Definire cosa vuole veramente fare il principale utilizzatore della valutazione 

• elemento FONDAMENTALE per il valutatore per la necessità di coinvolgere

operatori che vogliono sapere l’utilizzo che si farà delle info rilasciate

Mandato tanto più complesso quanto sono complessi il programma, la natura

- delle domande e le logiche degli stakeholders

La definizione del mandato influisce sul processo di ricerca valutativa 

- fondamentale la capacità di essere attivi-reattivi-adattivi (Patton) soprattutto

nelle prime fasi della valutazione  definire il mandato sulla base di un

CONTESTO REALE

Il mandato valutativo è definito in un

CLIMA NEGOZIALE legato agli SCOPI della

valutazione.

Una buona valutazione deve essere ESTERNA

poiché in grado di interpretare al meglio ciò che

viene vissuto da decisore e operatori e UMILE

ELEMENTI DEL MANDATO

CHIARA e UNIVOCA identificazione del programma  il valutatore può

1. comprendere da subito il contesto e l’approccio necessari per aggredire il

problema valutativo

Definire se si tratta di un programma nuovo e di recente avvio, maturo e

2. consolidato oppure concluso da tempo

Programma nuovo: per aiutare uno sviluppo incerto affiancandosi al

2.1. management con una valutazione in itinere del processo

Programma maturo: organizzazione stanca con operatori routinizzati.

2.2. Chiedersi se è ancora utile tenerlo in piedi

Programma concluso: studiare possibili aspetti manifestatisi tardivamente

2.3.

Quale SPAZIO DI MANOVRA ha il valutatore? Sapere se ha la possibilità di

3. consegnare i suoi risultati qualunque sia la posizione del committente

Sapere se il committente vuole uno studio neutrale e asettico oppure pareri e

4. raccomandazioni

Conoscere le possibilità di diffusione dei risultati

5. Conoscere l’AUTORITà che viene lasciata al valutatore

6.

2.3 Formulare le opportune domande valutative e comprendere gli obiettivi dei

programma

OBIETTIVI

Nuova scuola di pensiero  valutazione svincolata dagli obiettivi del

• programma: goal free evaluation con tali caratteristiche

- non consentito restringere il campo di osservazione ai soli obiettivi

predeterminati

- valutatore contatti minimi col management per essere meno influenzato

- si comprendono più facilmente aspetti inattesi

RAGIONAMENTO sugli obiettivi, non semplice chiarimento di quali essi siano.

• Fondamentale per committente e valutatore per comprendere al meglio quali

sono realmente perseguiti.  il programma e gli obiettivi sono spesso frutto di

una RI-CO-COSTRUZIONE (ri – “in forma nuova”, co – “insieme”, costruzione

– “viene ideata e montata con processi dialogo-inferenziali passibili di errori e

ripensamenti)

In questa fase si valuta qualcosa di specifico, non in generale  IMPO

• Spesso problemi rilevati hanno a che fare con gli obiettivi, quindi importante

1. chiarire quanti e quali siano (sono problemi e obietti degli stakeholder e del

gestore).

Importante capire la natura del programma, cioè:

•

A chi si rivolge il programma

- Perché s’intende avviare/è stato avviato il programma

- Aspetti organizzativi del programma

- Una volta definiti gli obiettivi espliciti, cerco quelli secondari

2.

_CASO PARTICOLARE: gli obiettivi non sono esplicitati in maniera chiara.

LEGGE: più il programma è complesso e multidimensionale, più la definizione degli

obiettivi ai vari livelli gerarchici saranno confuse o assenti.

Non si può fare valutazione senza gli obiettivi per cui è compito del valutatore

ricostruirli  obiettivi devono essere completi in ESTENSIONE (sui diversi argomenti)

e INTENSIONE (lungo la scala di generalità)

GERARCHIA DEGLI OBIETTIVI

- Processo decisionale può essere visto dall’alto in basso lungo la scala di generalità

(da obiettivi generali a più specifici)  alla base dei programmi chiamati Quadro

logico che vede un’articolazione a cascata di obiettivi, risultati e azioni

- Vengono indicati anche gli obiettivi intermedi  indicano come concretamente si è

pensato di coniugare gli obiettivi di ampio raggio agli strumenti utilizzati

PROBLEMATICHE

Analogia tra ricerca obiettivi e loro gerarchizzazione e gestione delle problematiche

da mettere al centro della valutazione.

Valutatore s’impegna per a) individuare i problemi da porre al centro, b) come

condurre tali analisi, c) quali problemi mettere al centro.

DIMENSIONI IN BASE ALLE QUALI VALUTARE

EFFICACIA:

a) Efficacia interna  confronto effetti ottenuti dal programma (realizzazioni) con

- gli obiettivi iniziali

DOMANDE SULL’EFFICACIA INTERNA nei casi di:

I. interesse all’analisi delle realizzazioni, risultati ma non si è in grado di far

risalire gli effetti anche a questioni organizzative

II. Domande poste dallo staff al fine del miglioramento della performance

III. In fase di valutazione ex ante quando si devono stabilire obiettivi congrui

con la realtà

IV. Quando l’approccio coinvolge gli operatori del front office  l’analisi

dell’efficacia interna rappresenta la professionalità degli operatori

Efficacia esterna  confronto degli effetti ottenuti dal programma con il contesto

- economico-sociale e i suoi bisogni

DOMANDE SULL’EFFICIENZA ESTERNA nei casi di:

I. programmazione ancora in corso, per cui si può verificare la reale presenza

di bisogni

II. Programma in corso ma diversi elementi fanno ricredere il decisore sulla

validità del programma (possono essere mutati i bisogni)

III. Valutazione con carattere rendicontativo proposte per valutare se

continuare o meno un programma

IV. Valutazione con carattere formativo e si pone il problema dell’adeguatezza

del proprio lavoro con le concrete necessità dei beneficiari  soddisfazione dei

clienti

EFFICIENZA: confronto fra elementi concernenti gli effetti con i vincoli e le

b) risorse inizialmente destinate

ALTRE MISURE VALUTATIVE:

c) - Rilevanza  confronto fra obiettivi e contesto economico-sociale

- Appropriatezza  dovere di dimostrare che il trattamento attuato è il più

consono per gli obiettivi prefissati

- Equità  proprietà di un’azione che consente ai destinatari di farla propria e

goderne i risultati

VALUTAZIONE DELLA VALUTABILITà

Nel caso in cui gli obiettivi non sono identificabili o domande valutative non

condivise, è possibile valutare un programma sulla base di CONDIZIONI MINIME:

Obiettivi generali e intermedi, effetti e info devono essere BEN DEFINITI

• Obiettivi generali e intermedi devono essere PLAUSIBILI

• Info sulle principali performance del programma devono essere ottenute

• Gli utilizzatori della valutazione sono d’accordo sull’uso delle info

•

2.4 Accertamento delle risorse

A questo punto il valutatore sa di cosa deve occuparsi, ma non ancora come.

ORGANIZZAZIONE DELLA RICERCA:

Verifica iniziale risorse e vincoli

1. Importante la CHAIREZZA DEL COMMITTENTE.

Rispetto di due principi per svolgere al meglio questa fase:

I. contenuto informativo valutazione che si vuole condurre giustifica l’impegno

e la spesa

II. C’è chiarezza in tutti (dal committente agli operatori) dei limiti metodologici

che il valutatore deve affrontare

Risorse/vincoli da tener conto: fondi, tempo, risorse umane, clima

organizzativo, disponibilità dati, elementi che possono interferire, destinatari,

capacità tecnica, preoccupazioni etiche

Gestione ricerca valutativa (budget, gruppo di lavoro ristretto e allargato e

2. stakeholder)

Soprattutto gestione tempi (rispetto scadenze) e risorse

Promozione del lavoro

3. Coinvolgere gli attori, presentare il lavoro per stadi, mostrare i primi risultati,

insistere sulle domande valutative

2.5 Disegno preliminare del progetto di ricerca

La ricerca valutativa è un processo e un sistema:

- PROCESSO  percorso cognitivo di successione logica, prevedibile a lunghi tratti,

ma soggetto a possibili mutamenti

- SISTEMA  non esprime logica semplice e lineare, ma logiche indipendenti che

mettono in correlazioni le varie parti e avviano retroazioni fra le varie componenti

Stabilire la cornice generale della valuta