Sintesi "Valutazione d'impatto"

Valutazione d'impatto di scelte imprenditoriali e politiche

Essa verifica la capacità di una politica di modificare un comportamento o problema, attraverso la definizione di obiettivi (più specifico il problema, più facile sarà definire gli obiettivi). Si valuta per capire quali interventi hanno avuto successo e quali no, ma anche per programmare, pianificare e implementare nuove politiche. Quindi i caratteri distintivi di questa attività sono:

• Fondamento empirico: si basa sull'osservazione della realtà.
• Giudizio: valutare significa esprimere un giudizio basato su un qualche tipo di confronto che può essere:
  • a) Ben definito (quando viene dichiarato in modo puntuale) accade raramente
  • b) implicito, ambiguo, non identificabile, accade più frequentemente, sta all'abilità del valutatore individuare quello più pertinente. Chiarire qual è il termine di confronto, perché è stato scelto e come si è giunti alla sua costituzione
• Intento migliorativo: l'essenza della valutazione è quella di contribuire alle decisioni per aiutare ad assumere scelte consapevoli.
• Attenzione alle esigenze conoscitive dei possibili utilizzatori: la valutazione deve partire dalle specifiche domande che, in un certo contesto, specifiche persone si pongono. In base alle specifiche domande si costruisce un'analisi considerando l'utilizzo che se ne farà.

Le diverse logiche valutative

• Scegliere tra alternative: di azioni possibili o di progetti alternativi con lo scopo di trovare quelli più funzionali, che aiutino la popolazione in svantaggio, eventualmente emulando altri progetti.
  • Giudizio: di tipo comparativo tra i soggetti messi a confronto.
  • Uso: valutazione ex-ante con risultato la creazione del programma.
  • Strumenti: criteri con cui comparare gli oggetti attraverso la definizione di obiettivi. Assegnare ad ogni criterio un valore specifico per poi confrontare i gruppi con i valori aggregati.
• Gestire (organizzazioni): migliorarne il funzionamento attraverso il confronto della stessa organizzazione.
  • Giudizio: riguarda l'operato dell'organizzazione misurando ciò che è stato prodotto con quello che poteva essere prodotto.
  • Aspetti cruciali: individuo aspetti da controllare, creo variabili che si riferiscono agli aspetti, creo valori (standard) per ogni indicatore, raccolgo dati per calcolare l'indicatore e confronto con i valori standard, interpretando le differenze.

  N.B. È difficile individuare valori standard e interpretare le deviazioni. I valori standard sono quelli desiderati o auspicabili individuati osservandoli nel passato o da altre organizzazioni, nello stesso settore oppure valori target fissati dal management.

• Rendere conto (accountability): agli stakeholders dei giudizi complessivi, sintetici e aggregati ma anche di obiettivi ecc... ≠ dal controllo gestione = performance measurement.
  • Giudizio: verifico il raggiungimento dei valori target. Confronto tra valori target e ciò che ottengo io.
• Apprendere utilità delle soluzioni: cercare di modificare una situazione non desiderabile attraverso l'attuazione di una politica pubblica, sottoponendola a verifica delle ipotesi di base.
  • Giudizio: sull'adeguatezza degli strumenti e sulla capacità di ottenere i cambiamenti desiderati.
  • Problema: attribuzione di causalità e identificazione dei motivi per cui la politica non ha generato cambiamenti, si differenzia perché non si applica solo ad organizzazioni ma giudica decisioni del passato, non ha stakeholders.

Efficacia delle politiche

Nell’ambito dell’intervento pubblico si fa riferimento all’efficacia delle politiche, se la politica dà gli effetti voluti, è efficace (causa cambiamenti desiderati). L’efficacia può assumere diverse connotazioni:

• Confronto tra risultati attesi ed ottenuti: questo indica il grado di conseguimento degli obiettivi, tenendo conto dello sforzo compiuto dall’amministrazione per soddisfare l’impegno preso. ES: in caso di azioni una tantum tra ciò che è stato preventivato e ciò che è stato realizzato. È efficiente chi riesce a rispettare gli impegni presi.
• Confronto con uno standard (Qualità): in questo caso efficacia è usato come sinonimo di qualità cioè modalità e attributi desiderabili. Gli standard possono riferirsi sia al prodotto che al processo. Si deve valutare se il servizio è erogato al meglio (ISO9000 definisce criteri qualitativi).
• Confronto tra domanda soddisfatta e domanda potenziale: l’efficacia è usata come grado di copertura della domanda espressa per un servizio, cioè quanto il servizio riesce a raggiungere gli utenti. OBIETTIVO: Utenza raggiunta (utenza potenziale) = Domanda soddisfatta (domanda espressa).
• Confronto tra azioni o agenti alternativi: (efficacia relativa) quale tra i servizi disponibili per risolvere il problema è il migliore, stesso per azioni rispetto ad un obiettivo.
• Efficacia come impatto: nelle azioni una tantum, occorre capire se l’azione ha apportato modifiche nella direzione voluta (obiettivo) confronto tra ciò che si è ottenuto e ciò che si sarebbe ottenuto in assenza dell’azione (Controfattuale).

Politica come terapia

Problema collettivo = malattia; Intervento = terapia, trattamento per curare o prevenire la malattia. Pazienti = Soggetti/Unità. Soggetti trattati = Destinatari/Popolazione target.

Le azioni della politica vengono indirizzate direttamente ai soggetti di cui si vuole modificare il comportamento (destinatari = beneficiari, ES: formazione personale per disoccupati) indirettamente su soggetti la cui risposta influenza positivamente i portatori del problema (destinatari ≠ beneficiari, ES: controllo sicurezza sul lavoro, per lavoratori).

Valutazione delle politiche (interventi) con l’obiettivo di identificarne gli effetti. Scopo: accertare cosa abbiano prodotto le politiche, fornendo elementi per modificare gli interventi in essere. La valutazione può essere:

• Ex ante: produzione di informazioni riguardo la tipologia d’interventi, gli obiettivi, gli strumenti, i risultati attesi, le risorse da mettere in campo disegno e implementazione di politiche e programmi. Associata al monitoraggio (= descrizione di una politica in termini di procedure, realizzazioni, risultati e cambiamenti). Il monitoraggio analizza gli effetti delle politiche, la valutazione individua gli effetti.
• In itinere: mentre l’intervento è ancora in fase di implementazione.
• Ex post: dopo la realizzazione dell’evento.

Il disegno della valutazione

Attività di tipo conoscitivo volta a giudicare le azioni pubbliche per innescare un sistema di azioni e retroazioni al fine di migliorare la gestione dell’utilizzo di risorse. Si compone di domande raggruppabili in 5 tipologie:

• Individuazione dei bisogni (Need assessment): la natura, la rilevanza, la distribuzione dei problemi oltre alle implicazioni per il disegno dell’intervento, valuta anche interventi già in atto.
• Concettualizzazione e disegno dell’intervento (Assessment of program theory): si assicura che l’intervento sia adatto al problema in questione predisponendo un piano di aspettative e i criteri per individuare la popolazione target.
• Implementazione del programma (Program process evaluation): valuta se le azioni effettuate rispecchiano quelle programmate (ES: benefici ai giusti destinatari, risorse usate correttamente) si associa all’analisi d’impatto per controllare la corretta erogazione del servizio se i presupposti dell’azione non sono corretti per quel problema.
• Valutazione degli effetti (Impact assessment): valutazione degli impatti anche non voluti prodotto dall’intervento.
• Valutazione dell’efficienza (Efficiency assessment): verifica la relazione biunivoca tra spesa (costi) per l’attivazione dell’intervento e gli effetti comparando costi e interventi diversi.

Relazioni tra le diverse domande valutative

Concettualizzazione e disegno dipendono dalla natura dei bisogni. L’implementazione dell’intervento dipende dall’attuazione del disegno dello stesso e i criteri di valutazione si basano sulla concettualizzazione.

Implementation failure: gli effetti prodotti sono scarsi a causa di operazioni non adatte.

Theory failure: gli effetti prodotti sono scarsi per legami tra operazioni, assunzioni e obiettivi sbagliati.

Gerarchia tra le varie attività valutative:

• Efficienza
• Effetti
• Programma
• Bisogni

L’informazione sugli effetti produce la valutazione dell’efficienza dell’intervento. La chiarezza del disegno del programma permette la valutazione degli effetti, l’individuazione dei bisogni e la necessità d’intervento permettono la creazione del programma.

Ricostruire il disegno della politica

Questo è il punto di partenza per qualsiasi attività di valutazione. La ricostruzione esplicita il concatenarsi di attività legate tra loro da causalità con lo scopo di modificare il problema di una popolazione. Ciò è la definizione di teoria del cambiamento: essa predispone un modello che illustra, attraverso la definizione delle attività da realizzare, degli effetti voluti e delle motivazioni alla base degli effetti, come prevedere che l’intervento funzioni. Le ipotesi devono essere chiare, plausibili e coerenti.

La teoria del cambiamento descrive le attività da implementare degli attuatori e i comportamenti dei destinatari. In questo caso, se ogni passaggio è attuato correttamente, l’intervento andrà a buon fine.

Difficoltà: realizzazione corretta delle attività, nessi causali infondati, comportamento inaspettato dei destinatari. La valutazione controlla che i vari passaggi della teoria del cambiamento siano corretti => evidenzia se il programma funziona o meno e se ha avuto successo.

Definizione degli obiettivi

Benefici attesi = condizioni realistiche ottenute dall'intervento.

• Outcome: misurabile su una singola unità. Esso esprime la caratteristica, la condizione o il comportamento che l’intervento vorrebbe modificare, prima che l’intervento stesso venga attuato. Esso è diverso da outputs (= risultati in termini di servizi e attività).
• Proximal Outcomes: In riferimento agli effetti immediati e diretti. Sono i risultati immediati e sono quelli più facilmente controllabili e influenzabili dall’intervento.
• Distal Outcomes: Risultati più distanti nel tempo ma consecutivi ai primi (Proximal outcomes) legati ad effetti di portata più generale e alla lunga distanza, sono influenzati da fattori fuori dal controllo dell’intervento.

Il modello logico

Questo modello è basato sull’individuazione di singoli eventi che conducono dalla attività di base alla realizzazione del cambiamento atteso (Final Outcome). Si basa, quindi, sull’outcome, evidenziandone i risultati in termini di cambiamento atteso nella popolazione target. È una sequenza di attività, prodotti e cambiamenti intermedi e finali, viene impiegato per programmare l’intervento e usato per la valutazione e interpretazione dei risultati.

Un altro modello logico si divide in:

• Motivazione:
  • Definizione del problema
  • Definizione scopi
• Intervento:
  • Definizione destinatari
  • Elenco risorse a disposizione
  • Attività realizzabili per il problema
• Risultati:
  • Generati dalle attività
  • Cambiamenti
  • Distorsioni causate dalla politica usata

Ricostruire la teoria del cambiamento

Questa viene effettuata attraverso:

• Informazioni da documenti elaborati prima, subito o dopo, gli interventi. I documenti non sono molto concreti e precisi nell’individuazione degli outcome.
• Intervistando gli attuatori e anche altri pseudo coinvolti nel disegno. Il linguaggio deve essere semplice, con proprietà di riassunto, più interviste a stessi soggetti, e infine i risultati vengono sottoposti agli stakeholders.

Valutazione degli effetti

Verifica e misurazione dell’incidenza dell’intervento sul fenomeno. Passi preliminari:

1. Definizione dimensioni su cui ricercare gli effetti di una politica => Variabili risultato o outcome.
2. Individuazione degli strumenti in cui si traduce l’intervento => Variabile trattamento.

Outcome e variabile risultato: bisogna individuare gli obiettivi di cambiamento precisi e non troppo distanti o delle dimensioni osservabili facilmente che rappresentano al meglio gli aspetti da modificare. Spesso si sbaglia e ci si riferisce ad aspetti astratti. No politica simbolica (a voce, non concretizzabile).

N.B. le dimensioni = variabili risultato.

Identificare gli outcome rilevanti

Prendere in considerazione:

• Punto di vista degli stakeholders: trasformare le direttive in misure operative sulla ricerca dell’outcome (definito in modo preciso) specificandolo al momento della costruzione di dimensioni e misure adatte ad esso.
• Obiettivi specificati nella teoria di cambiamento (vedi teoria di cambiamento su inizio pagina 4)
• Precedenti ricerche su programmi simili o rilevanti sull’argomento: definizione concetti e misure rilevanti per la politica o i problemi incontrati nella politica stessa, effetti precedentemente non considerati e di difficile individuazione, guardando ricerche precedenti e interpellando il personale addetto all’intervento.

Variabile trattamento

Prima si individua l’intervento adatto a soddisfare la politica implementata (vi è difficoltà se ci sono più interventi di natura differente). Creare una variabile che definisca il trattamento somministrato. La forma più semplice della variabile trattamento è quella dicotomica (SI/NO), essa deve presentare variazioni osservabili:

• Nel tempo (Pre e Post trattamento) entrata in vigore o cessazione di una politica.
• Nello spazio (tra gruppi di soggetti), alcuni individui vengono selezionati perché idonei al trattamento, altri non ne vogliono usufruire, altri vorrebbero ma non sono idonei (processo di selezione).

Altre forme: Differenti gradi di dosaggio del trattamento, differenti modalità di trattamento in base al problema e agli obiettivi.

N.B. Soggetti trattati = popolazione target.

Analisi di impatto

Indica la capacità di un intervento di produrre gli effetti desiderati, il cambiamento della variabile risultato non è dato solo dall’intervento, ma anche da variabili esogene. La principale fallacia dell’impatto è la differenza tra il valore dell’indicatore pre e post-intervento, attribuendo così il cambiamento interamente all’intervento.

L’impatto rappresenta il contributo netto della politica di cambiamento, ed è uguale alla differenza tra valore osservato della variabile risultato dopo la politica e il valore che si sarebbe osservato senza l’attivazione. Differenza tra due valori della variabile risultato:

• Uno è osservabile, tra i soggetti esposti alla politica, dopo l’esposizione (valore fattuale).
• L’altro è un valore ipotetico e si riferisce a ciò che si sarebbe osservato tra gli stessi soggetti, nello stesso momento, se costoro non fossero stati esposti alla politica (valore controfattuale).

Tale differenza non è direttamente calcolabile perché: uno dei termini della differenza è direttamente osservabile, mentre il secondo termine non lo è mai, in quanto è l’attuazione stessa della politica a renderne impossibile l’osservazione. Quindi la situazione controfattuale non è osservabile: il compito della valutazione di impatto è quello di trovare per essa un’approssimazione plausibile. Tale approssimazione potrà essere ottenuta sostituendo al valore controfattuale: un valore che sia osservabile e che approssimi, nel modo più credibile possibile, ciò che sarebbe successo ai soggetti esposti alla politica se questi non lo fossero stati. Infatti il compito dell’analisi di impatto rappresenta: l’insieme di metodi per verificare se i cambiamenti osservati in concomitanza di un intervento sono da attribuirsi causalmente all’intervento stesso e non ad altri fattori concomitanti.

Impatto come differenza tra osservato e controfattuale

Una nozione rigorosa di impatto: impatto = outcome nel periodo T – outcome nel periodo T se l’intervento non fosse stato attuato. Differenza tra quello che si osserva dopo l’intervento e quello che si sarebbe osservato in assenza dell’intervento (presumibilmente). Il secondo termine è una quantità ipotetica, cioè non direttamente osservabile e questa quantità viene definita «situazione controfattuale» essa rappresenta quello che, ipoteticamente, sarebbe successo se l’intervento non fosse stato attuato. Il cambiamento osservato non è una misura dell’impatto dell’intervento:

Cambiamento osservato = outcome al tempo T – outcome al tempo T-K. Cambiamento osservato = [outcome al tempo T – outcome al tempo T se l’intervento non fosse stato attuato] + [outcome al tempo T se l’intervento non fosse stato attuato - outcome al tempo T-K]. Quindi il cambiamento osservato = impatto + [outcome al tempo T se l’intervento non fosse stato attuato - outcome al tempo T-K] la quantità tra parentesi rappresenta la dinamica spontanea del fenomeno: quanto il fenomeno si sarebbe modificato in assenza di intervento.

Minacce alla validità della valutazione dell’impatto

Estrapolare il controfattuale dalla storia del fenomeno osservata prima dell’intervento è sbagliato in tutti i casi in cui la condizione che si vuole modificare ha una sua dinamica spontanea indipendente dall’intervento. In generale occorre tener conto dell’influenza di avvenimenti esogeni al programma da valutare: essi sono fatti