Sintesi "Valutazione d'impatto"

RELAZIONI TRA LE DIVERSE DOMANDE VALUTATIVE

Concettualizzazione e disegno dipendono dalla natura dei bisogni. L’implementazione

dell’intervento dipende dall’attuazione del disegno dello stesso e i criteri di valutazione si basano

sulla concettualizzazione.

IMPLEMENTATION FAILURE: gli effetti prodotti sono scarsi a causa di operazioni non adatte.

THEORY FAILURE: gli effetti prodotti sono scarsi per legami tra operazioni, assunzioni e obiettivi

sbagliati.

Gerarchia tra le varie attività valutative:

1) EFFICIENZA

2) EFFETTI

3) PROGRAMMA

4) BISOGNI

L’informazione sugli effetti produce la valutazione dell’efficienza dell’intervento. La chiarezza

del disegno del programma permette la valutazione degli effetti, l’individuazione dei bisogni e

la necessità d’intervento permettono la creazione del programma

RICOSTRUIRE IL DISEGNO DELLA POLITICA

Questo è il punto di partenza per qualsiasi attività di valutazione. La ricostruzione esplicita il

concatenarsi di attività legate tra loro da causalità con lo scopo di modificare il problema di una

popolazione. Ciò è la definizione di teoria del cambiamento: essa predispone un modello che

illustra, attraverso la definizione delle attività da realizzare, degli effetti voluti e delle motivazioni

alla base degli effetti, come prevedere che l’intervento funzioni. Le ipotesi devono essere chiare,

plausibili e coerenti.

La teoria del cambiamento descrive le attività da implementare degli attuatori e i comportamenti

dei destinatari. In questo caso se ogni passaggio è attuato correttamente l’intervento andrà a

buon fine.

Difficoltà: realizzazione corretta delle attività, nessi causali infondati, comportamento inaspettato

dei destinatari.

La valutazione controlla che i vari passaggi della teoria del cambiamento siano corretti =>

evidenzia se il programma funziona o meno e se ha avuto successo.

DEFINIZIONE DEGLI OBIETTIVI: benefici attesi=condizioni realistiche ottenute dall’intervento

1) OUTCOME: misurabile su una singola unità. Esso esprima la caratteristica, la condizione o il

comportamento che l’intervento vorrebbe modificare, prima che l’intervento stesso venga

attuato. Esso è diverso da outputs (= risultati in termini di servizi e attività)

Proximal Outcomes: In riferimento agli effetti immediati e diretti. Sono i risultati immediati e sono

quelli più facilmente controllabili e influenzabili dall’intervento 4

Distal Outcomes: Risultati più distanti nel tempo ma consecutivi ai primi (Proximal outcomes)

legati ad effetti di portata più generale e alla lunga distanza, sono influenzati da fattori fuori dal

controllo dell’intervento.

IL MODELLO LOGICO

Questo modello è basato sull’individuazione di singoli eventi che conducono dalla attività di base

alla realizzazione del cambiamento atteso (Final Outcome).

Si basa, infatti sull’outcome, evidenziandone i risultati in termini di cambiamento atteso nella

popolazione target. È una sequenza di attività, prodotti e cambiamenti intermedi e finali, viene

impiegato per programmare l’intervento e usato per la valutazione e interpretazione dei risultati.

Un altro modello logico si divide in:

1) Motivazione:

• Definizione del problema

• Definizione scopi

2) Intervento:

• Definizione destinatari

• Elenco risorse a disposizione

• Attività realizzabili per il problema

3) Risultati:

• Generati dalle attività

• Cambiamenti

• Distorsioni causate dalla politica usata

RICOSTRUIRE LA TEORIA DEL CAMBIAMENTO

Questa viene effettuata attraverso:

• informazioni da documenti elaborati prima, subito o dopo, gli interventi. I documenti non sono

molto concreti e precisi nell’individuazione degli outcome.

• Intervistando gli attuatori e anche altri pseudo coinvolti nel disegno. Il linguaggio deve essere

semplice, con proprietà di riassunto, più interviste a stessi soggetti, e infine i risultati vengono

sottoposti agli stakeholders.

VALUTAZIONE DEGLI EFFETTI

Verifica e misurazione dell’incidenza dell’intervento sul fenomeno.

Passi preliminari: 1) definizione dimensioni su cui ricercare gli effetti di una politica => Variabili

risultato o outcome, 2) individuazione degli strumenti in cui si traduce l’intervento => Variabile

trattamento.

Outcome e variabile risultato: bisogna individuare gli obiettivi di cambiamento precisi e non

troppo distanti o delle dimensioni osservabili facilmente che rappresentano al meglio gli aspetti da

5

modificare. Spesso si sbaglia e ci si riferisce ad aspetti astratti. No politica simbolica (a voce, non

concretizzabile)

N.B. le dimensioni=variabili risultato.

IDENTIFICARE GLI OUTCOME RILEVANTI

Prendere in considerazione:

1) Punto di vista degli stakeholders: trasformare le direttive in misure operative sulla ricerca

dell’outcome (definito in modo preciso) specificandolo al momento della costruzione di

dimensioni e misure adatte ad esso.

2) Obiettivi specificati nella teoria di cambiamento (vedi teoria di cambiamento su inizio pagina 4)

3) Precedenti ricerche su programmi simili o rilevanti sull’argomento: definizione concetti e

misure rilevanti per la politica o i problemi incontrati nella politica stessa, effetti

precedentemente non considerati e di difficile individuazione, guardando ricerche precedenti e

interpellando il personale addetto all’intervento.

VARIABILE TRATTAMENTO

Prima si individua l’intervento adatto a soddisfare la politica implementata (vi è difficoltà se ci

sono più interventi di natura differente). Creare una variabile che definisca il trattamento

somministrato. La forma più semplice della variabile trattamento è quella dicotomica (SI/NO), essa

deve presentare variazioni osservabili:

• Nel tempo (Pre e Post trattamento) entrata in vigore o cessazione di una politica.

• Nello spazio (tra gruppi di soggetti), alcuni individui vengono selezionati perché idonei al

trattamento, altri non ne vogliono usufruire, altri vorrebbero ma non sono idonei (processo di

selezione).

Altre forme: Differenti gradi di dosaggio del trattamento, differenti moralità di trattamento in base

al problema e agli obiettivi

N.B. Soggetti trattati=popolazione target.

ANALISI DI IMPATTO

Indica la capacità di un intervento di produrre gli effetti desiderati, il cambiamento della variabile

risultato non è dato solo dall’intervento, ma anche da variabili esogene.

La principale fallacia dell’impatto è la differenza tra il valore dell’indicatore pre e post-intervento,

attribuendo così il cambiamento interamente all’intervento.

L’impatto rappresenta il contributo netto della politica di cambiamento, ed è uguale alla differenza

tra valore osservato della variabile risultato dopo la politica e il valore che si sarebbe osservato

senza l’attivazione.

Differenza tra due valori della variabile risultato:

Uno è osservabile, tra i soggetti esposti alla politica, dopo l’esposizione (valore fattuale) 6

L’altro è un valore ipotetico e si riferisce a ciò che si sarebbe osservato tra gli stessi soggetti, nello

stesso momento, se costoro non fossero stati esposti alla politica (valore controfattuale).

Tale differenza non è direttamente calcolabile perché: uno dei termini della differenza è

direttamente osservabile, mentre il secondo termine non lo è mai, in quanto è l’attuazione stessa

della politica a renderne impossibile l’osservazione. Quindi la situazione controfattuale non è

osservabile: il compito della valutazione di impatto è quello di trovare per essa

un’approssimazione plausibile. Tale approssimazione potrà essere ottenuta sostituendo al valore

controfattuale: un valore che sia osservabile e che approssimi, nel modo più credibile possibile, ciò

che sarebbe successo ai soggetti esposti alla politica se questi non lo fossero stati. Infatti il

compito dell’analisi di impatto rappresenta: l’insieme di metodi per verificare se i cambiamenti

osservati in concomitanza di un intervento sono da attribuirsi causalmente all’intervento stesso e

non ad altri fattori concomitanti.

IMPATTO COME DIFFERENZA TRA OSSERVATO E CONTROFATTUALE: Una nozione rigorosa di

impatto:

impatto = outcome nel periodo T – outcome nel periodo T se l’intervento non fosse stato attuato

Differenza tra quello che si osserva dopo l’intervento e quello che si sarebbe osservato in assenza

dell’intervento (presumibilmente). Il secondo termine è una quantità ipotetica, cioè non

direttamente osservabile e questa quantità viene definita «situazione controfattuale» essa

rappresenta quello che, ipoteticamente, sarebbe successo se l’intervento non fosse stato attuato.

Il cambiamento osservato non è una misura dell’impatto dell’intervento:

Cambiamento osservato = outcome al tempo T – outcome al tempo T-K

Cambiamento osservato = [outcome al tempo T – outcome al tempo T se l’intervento non fosse

stato attuato] + [outcome al tempo T se l’intervento non fosse stato attuato - outcome al tempo T-

K]. Quindi il cambiamento osservato = impatto + [outcome al tempo T se l’intervento non fosse

stato attuato - outcome al tempo T-K] la quantità tra parentesi rappresenta la dinamica spontanea

del fenomeno: quanto il fenomeno si sarebbe modificato in assenza di intervento.

MINACCE ALLA VALIDITÀ DELLA VALUTAZIONE DELL’IMPATTO:

Estrapolare il controfattuale dalla storia del fenomeno osservata prima dell’intervento è sbagliato

in tutti i casi in cui la condizione che si vuole modificare ha una sua dinamica spontanea

indipendente dall’intervento. In generale occorre tener conto dell’influenza di avvenimenti

esogeni al programma da valutare: essi sono fattori esterni al programma che potrebbero far

cambiare la situazione dei beneficiari indipendentemente dall’effettiva capacità del programma di

raggiungere gli obiettivi proposti ed inducono un errore nella stima dell’impatto: errore di

variabile omessa.

ERRORE DA VARIABILE OMESSA: Questi sono errori sistematici (positivi o negativi) dovuti ad un

fattore (variabile) indipendente dal programma e di cui il valutatore non è in grado di quantificare

l’effetto sulle variabili risultato osservate. 7

ERRORE DA DISTORSIONE: errore in cui si incorre quando si utilizza per la stima del controfattuale

la performance osservata sulle unità escluse dall’intervento, in questo caso la stima dell’impatto

viene ottenuta come differenza tra la performance delle unità target selezionate per l’interv