Che materia stai cercando?

Anteprima

ESTRATTO DOCUMENTO

2.1 Il Government Performance and Results Act e il performance plan della Protezione Civile

Il Government Performance and Results Act (GPRA), approvato nel 1993 dal Congresso degli Stati Uniti,

impone ai Ministeri e alle maggiori Agenzie federali di adottare sistemi di misurazione e di analisi delle loro

performance. Lo scopo principale è di stimolare tali organizzazioni a rendere conto in modo trasparente allo

stesso Congresso e, più in generale, a tutti i cittadini, delle scelte effettuate e dei risultati delle attività di cui

sono responsabili (“…improve the confidence of the American people in the capability of the federal

government by systematically holding Federal agencies accountable for achieving program results”).

In sostanza la legge richiede alle amministrazioni federali di ridefinire, attraverso l’elaborazione di strategic

plans, le loro missioni istituzionali e di identificare obiettivi generali di lungo periodo che guidino i

programmi dell’agenzia per i successivi 5/10 anni. Inoltre esse sono obbligate a presentare con cadenza

annuale performance plans, documenti programmatici che indichino le attività da svolgere e gli obiettivi da

raggiungere nel corso dell’anno successivo, e performance reports, relazioni che contengano i risultati delle

analisi svolte e spieghino se, e in che misura, gli obiettivi dichiarati sono stati raggiunti, nonché i motivi di

eventuali fallimenti e le soluzioni proposte per migliorare prestazioni mediocri o scadenti. Con l’emanazione

1

di tale legge ha avuto quindi inizio un processo di sperimentazione su larga scala, durato circa sei anni ; la

produzione che ne è scaturita, di rapporti, articoli, commenti e riflessioni sui problemi legati

all’implementazione di tali sistemi analitici, è enorme e rappresenta un capitale di conoscenza e di esperienze

dal quale è possibile attingere a piene mani.

In seno a tale sperimentazione un ruolo di particolare rilievo è stato svolto dal General Accounting Office

(GAO), la Corte dei conti americana, che ha accompagnato l’implementazione del GPRA in qualità sia di

osservatore critico, per conto del Congresso, sia di punto di riferimento metodologico nei confronti delle

Amministrazioni federali. Dal nostro punto di vista appare perciò di grande interesse esaminare i documenti

prodotti dal GAO, che rappresentano una testimonianza dello spirito che ha guidato GPRA e delle difficoltà

che ne hanno caratterizzato la messa in opera. Essi contengono, in alcuni casi, le raccomandazioni

metodologiche generali indirizzate alle Agenzie; in altri, le osservazioni critiche sulle specifiche esperienze

condotte all’interno delle singole amministrazioni.

Nel suo impianto metodologico, il GAO (1996) individua tre passaggi chiave che dovrebbero segnare il

percorso da compiere verso l’analisi di performance; tali passaggi (define mission and desired outcome;

measure performance; use performance information) costituiscono il cuore di questo approccio, improntato

ad un “sano realismo” riguardo gli eventuali usi a fini decisionali dei risultati dell’analisi e alla

consapevolezza dei possibili rischi di distorsioni od errate interpretazioni di tali risultati. Esso soprattutto si

fonda sul pieno riconoscimento delle debolezze e dei pericoli insiti nell’applicazione di un metodo d’analisi

che ambisce a giudicare il successo di un’organizzazione sulla base di semplici misure quantitative.

“D ”

EFINE MISSION AND DESIRED OUTCOMES

Le Agenzie federali sottoposte al mandato di GPRA sono organizzazioni di vaste dimensioni, con molti anni

di attività e con competenze che insistono su un ambito territoriale molto esteso; esse perciò si trovano

spesso nelle condizioni di dover interagire con un gran numero di istituzioni e prestare la loro opera nei

confronti di diverse categorie di soggetti (cittadini, imprese, associazioni, enti locali). Per questi motivi le

loro attività ben difficilmente possono essere ricondotte al raggiungimento di un unico risultato chiaramente

identificabile, ma esse si trovano spesso a svolgere funzioni diverse con finalità assai differenti. In contesti

organizzativi caratterizzati da una così elevata complessità, prima di misurare, è necessario ricostruire la

missione stessa dell’organizzazione e definire i risultati ai quali essa tende. Ma che cosa significa per

un’organizzazione pubblica “ricostruire la propria missione”?

In estrema sintesi, significa esplicitare le ragioni per cui quella particolare organizzazione interviene in un

determinato settore o ambito di policy: quale “problema” di rilevanza pubblica cerca di risolvere od alleviare;

1 L’attuazione di GPRA è proceduta molto gradualmente: entro il settembre 1997 ogni amministrazione doveva

presentare al Congresso il proprio strategic plan; prima del gennaio 1999 doveva essere approvato il primo

performance plan; entro il 31 marzo 2000 doveva essere presentato il primo performance report. Negli anni precedenti

a queste scadenze molte Agenzie sono state impegnate in esperienze-pilota.

4

a quali fondamentali esigenze della collettività s’impegna a dare risposta; quali soggetti titolari del diritto a

una certa prestazione intende servire. A questo sforzo definitorio dovrebbe naturalmente seguire la

specificazione dei risultati che l’organizzazione si prefigge, delle strategie d’azione che ha intenzione di

mettere in atto per tentare di raggiungerli e dei motivi per cui si sono scelte tali strategie e non altre possibili.

Affinché questo sia un tentativo serio e non si riduca ad uno sterile esercizio di retorica, il GAO raccomanda

ai responsabili dell’organizzazione di seguire alcune “buone prassi di lavoro”. In primo luogo, è importante

avviare un processo dinamico ed inclusivo, teso a coinvolgere tutti gli stakeholders, cioè tutti quei soggetti

che hanno un qualche interesse, una qualche posta in gioco (stake), nell’area d’intervento

dell’organizzazione: dai suoi stessi finanziatori; ai gruppi di interesse che fanno parte del policy network di

riferimento; ai destinatari/utenti/beneficiari delle politiche che l’organizzazione contribuisce ad

implementare; ai rappresentanti di altre amministrazioni. Il significato di tale raccomandazione è chiaro:

evitare il rischio che l’amministrazione, troppo concentrata nello sforzo di conoscersi e di guardare al proprio

interno, compia un’operazione sostanzialmente “autoreferenziale” e dimentichi di confrontarsi con le istanze

provenienti dall’esterno.

In secondo luogo, è necessario tenere nella giusta considerazione i fattori “ambientali”, sia esterni che interni

all’amministrazione (evoluzione dei fenomeni economici e sociali, cambiamenti nel quadro normativo,

preparazione e formazione culturale del personale, livello di informatizzazione interna), che possono incidere

sulla capacità dell’organizzazione stessa di raggiungere i risultati desiderati. Una sottovalutazione di tali

fattori può portare l’organizzazione a porsi obiettivi troppo ambiziosi e al di fuori della sua portata, o,

peggio, a fallire completamente nella scelta delle attività da realizzare. Infine, come ultima raccomandazione,

si pone l’accento sulla necessità di mettere in discussione e ripensare le attività tradizionalmente svolte

dall’organizzazione, chiedendosi il “se e perché” sia opportuno continuare a svolgere tali attività. L’invito è

di sfuggire alla naturale tendenza “autoconservativa” di descrivere ciò che si sta facendo, o che si è abituati a

fare, invece di prevedere in modo creativo nuove attività, più rispondenti ai bisogni dei cittadini e agli

interessi degli stakeholders. Insomma, riassumendo lo spirito delle tre raccomandazioni in uno slogan, le

Agenzie sono incoraggiate a “guardare di più all’esterno delle proprie strutture per capire come

organizzarsi ed agire meglio al proprio interno”. 2

Il caso della Federal Emergency Management Agency (FEMA), l’Agenzia federale per la Protezione Civile

degli Stati Uniti, rappresenta un buon esempio del modo in cui questo percorso, se affrontato seriamente,

possa davvero condurre ad una sostanziale revisione delle finalità e delle strategie dell’organizzazione. Dopo

alcune calamità naturali, avvenute tra la fine degli anni ottanta e gli inizi degli anni novanta (l’uragano Hugo

e il terremoto di Loma Prieta nel 1989; l’uragano Andrew nel 1992), la reputazione della Protezione Civile

era molto appannata agli occhi dell’opinione pubblica statunitense; su di essa gravava un generale

scetticismo riguardo la sua capacità di far fronte a situazioni d’emergenza nazionale. GPRA rappresentò

allora l’opportunità, per i responsabili della Protezione Civile, di rispondere in modo costruttivo alle critiche

e ai dubbi sollevati intorno all’operato dell’Agenzia. Tradizionalmente la FEMA aveva concentrato gli

sforzi e le risorse a sua disposizione per fornire assistenza alle vittime di disastri naturali; si interveniva nel

momento in cui nasceva lo stato d’emergenza e il fine degli interventi era di alleviare le situazioni di disagio

e di sofferenza sorte in seguito all’evento naturale. Durante la stesura del piano strategico, approvato nel

1997 al termine di un ampio processo di riflessione, le modalità d’intervento della FEMA sono state

completamente riviste, quasi rovesciate: accanto alle classiche attività post disastro, volte all’immediato

soccorso e al ripristino delle infrastrutture distrutte, è stato dato grande spazio alle attività, precedentemente

3

trascurate, di prevenzione e di riduzione del rischio per le persone e le proprietà . Piuttosto che darsi obiettivi

di miglioramento sulle attività svolte abitualmente, l’organizzazione ha quindi scelto di impegnarsi in

programmi innovativi; il processo cognitivo avviato con la ridefinizione della propria missione ha messo in

2 La Federal Emergency Management Agency è stata istituita nel 1979; si tratta dell’agenzia responsabile a livello

federale del coordinamento e della programmazione del soccorso e dell’assistenza civile in caso di disastri naturali

(alluvioni, inondazioni, uragani e terremoti).

3 Ad esempio, l’Agenzia ha deciso di finanziare campagne di comunicazione rivolte agli studenti contro il rischio di

incendi; di promuovere iniziative che impegnano gli Stati, le Autorità locali e i rappresentanti delle imprese costruttrici

ad adottare codici di sicurezza per la costruzione di infrastrutture più resistenti alle calamità naturali; di formare agenti

di polizia specializzati nel recupero di individui isolati o dispersi durante alluvioni o inondazioni.

5

evidenza nuovi bisogni della collettività e ha permesso all’Agenzia di individuare nuovi modi per dar loro

risposta.

“M ”

EASURE PERFORMANCE

Il secondo passaggio che il GAO individua è relativo alla misurazione della performance, al tentativo cioè di

dare una rappresentazione quantitativa del successo ottenuto dall’organizzazione nel raggiungere una

determinata finalità. In questa sede però non vengono proposte tipologie o batterie di indicatori predefiniti da

adottare/adattare nei diversi contesti organizzativi; si preferisce piuttosto indicare quali sono le cautele che

un valutatore dovrebbe seguire nella scelta degli indicatori. Non vengono offerte facili scorciatoie. Al

contrario; i criteri che il GAO definisce complicano il lavoro del valutatore e lo costringono, prima di

accettare un indicatore come una corretta misura di successo, a testarne ripetutamente la validità e a

verificare le possibilità di suo effettivo utilizzo.

Il primo compito del valutatore consiste nell’esplicitare chiaramente in che modo l’attività svolta

dall’organizzazione possa influire sui valori assunti dall’indicatore; se non esiste un chiaro e dimostrabile

legame tra ciò che l’organizzazione compie e ciò che l’indicatore misura, è opportuno rifiutarne l’impiego.

Anche se tale connessione esiste, occorre comunque fare lo sforzo, prima di adottare l’indicatore come

misura di performance, di individuare e chiarire quali sono i fattori esogeni, indipendenti dall’operato

dell’organizzazione, che ne possano influenzare il valore; dall’adeguato riconoscimento di tali fattori dipende

infatti la possibilità di utilizzare l’indicatore a scopo valutativo.

In secondo luogo, accanto all’indicatore deve essere anche individuata l’unità organizzativa responsabile di

un suo eventuale miglioramento, o peggioramento, che possa/debba reagire, con azioni opportune, ai segnali

che provengono da tali variazioni. Senza questo sforzo di attribuzione di responsabilità è improbabile che i

valori assunti dall’indicatore possano essere d’aiuto nell’orientare future decisioni. In terzo luogo, il

valutatore deve resistere alla tentazione di usare “troppi indicatori”. Spesso, infatti, si tenta di sopperire

all’intrinseca limitatezza informativa di questo strumento, aumentando artificiosamente il numero degli

indicatori individuati; questa operazione però rischia di complicare inutilmente la lettura dei dati e di rendere

ancora più difficile interpretarne il senso. Infine, ogni attività di misurazione nasconde delle insidie nel

momento in cui si passa alla raccolta delle informazioni. Questa è una fase che viene spesso trascurata e di

cui si sottovaluta l’importanza; in realtà dietro ad ogni indicatore si possono nascondere problemi di

attendibilità, accuratezza e completezza dei dati, causati dalle modalità di raccolta e di rilevazione delle

informazioni. Non considerare fin dall’inizio tali difficoltà significa far perdere di credibilità all’intero

processo di misurazione.

Le obiezioni sollevate dal GAO ai tre performance plans fino ad oggi presentati dalla Protezione Civile si

ispirano direttamente ai criteri appena esposti e ne rappresentano una concreta applicazione. La disamina del

GAO ha l’intento di verificare se gli indicatori adottati consentiranno davvero al Congresso di capire in che

direzione si stia muovendo l’Agenzia, in che misura essa stia raggiungendo gli obiettivi fissati nello strategic

plan e in che modo si stia attrezzando per rispondere a eventuali performance negative. Ogni

sottovalutazione da parte dell’Agenzia dei limiti del sistema d’analisi proposto viene quindi opportunamente

evidenziata e sottoposta a critica; qualche esempio dei rilievi mossi ci permette di comprenderne meglio lo

spirito:

• FEMA propone circa 150 indicatori di performance: molti tra questi sono però ridondanti e non hanno

nessun reale valore conoscitivo per il Congresso, il GAO ne consiglia perciò l’eliminazione dal

performance plan;

• accanto ad ogni indicatore è prevista una sezione dedicata a “mezzi e strategie” con cui s’intende operare

su quella misura al fine di migliorarne il valore: in molti casi però non è chiaro quali sono le strategie che

l’Agenzia intende adottare o manca un nesso evidente tra la strategia adottata ed un eventuale

cambiamento nel valore della misura;

• in molti casi si ignora che esistono fattori esterni (ad esempio l’attività di altre organizzazioni) che

possono influenzare in modo determinante il valore assunto dall’indicatore; per tutti questi casi

l’Agenzia dovrebbe specificare se e in che modo prevede di tenere sotto controllo l’incidenza di tali

fattori; 6

• accanto ad ogni indicatore è prevista una sezione dedicata alla “verifica della validità” dell’informazione

raccolta: spesso l’Agenzia mostra superficialità nel trattare questo problema, non mette in evidenza i

limiti delle proprie fonti informative e non considera la possibilità di usare informazioni alternative per

convalidare i risultati ai quali è pervenuta.

“U I ”

SE PERFORMANCE NFORMATION

La definizione della missione, la scelta degli indicatori e la raccolta delle informazioni non esauriscono il

percorso analitico da intraprendere al fine di dare un giudizio sulla performance di un’organizzazione. E’

necessario effettuare un ultimo sforzo: rendere le informazioni utilizzabili ed utili al processo decisionale.

Non porre sufficiente attenzione a quest’ultima fase dell’analisi significa svuotare di valore e di sostanza

anche le due fasi precedenti.

In particolare si sottolinea l’importanza di avere degli standard di riferimento e la necessità di rendere

chiaramente interpretabili, anche ad interlocutori esterni all’organizzazione, le differenze riscontrate tra

questi e i valori realmente assunti dagli indicatori. Nel caso di GPRA tali standard assumono di solito la

forma di obiettivi di miglioramento rispetto alla performance realizzata nell’anno precedente o comunque

rispetto una baseline; non vengono quasi mai proposti confronti con altre organizzazioni. Ciò è dovuto

principalmente al carattere di unicità delle Agenzie federali, nonché delle attività che esse svolgono sul

territorio nazionale, per le quali sarebbe molto difficile individuare dei validi termini di confronto al di fuori

della stessa amministrazione.

Anche a questo proposito le critiche effettuate dal General Accounting Office ai performance plans della

Protezione Civile sono chiarificanti; il GAO, infatti, non si accontenta che all’interno del piano siano

individuati degli indicatori di performance, in qualche modo connessi al successo dell’organizzazione, ma

pretende che ai valori eventualmente assunti da tali indicatori sia data un’interpretazione univoca. Se, ad

esempio, si prevede di utilizzare quale indicatore di performance il “tempo necessario ai soccorsi per

giungere sul luogo del disastro dal primo segnale di aiuto ricevuto”, occorre anche specificare chiaramente

rispetto a quale indice verrà espresso il giudizio (tempo medio, mediano, massimo) e perché; quale

miglioramento si prevede di raggiungere su tale indice e come è stato determinato tale obiettivo; rispetto a

quale periodo di riferimento (l’anno passato, la media dei tre anni precedenti); quali potrebbero essere i

motivi di un eventuale fallimento nel tentativo di raggiungere tale obiettivo. Soltanto una chiara

4

specificazione e comunicazione di tali aspetti rafforzano le probabilità che tali misure saranno

effettivamente usate a fini decisionali e che diventino effettivi strumenti di giudizio sull’operato

dell’organizzazione.

Per concludere, lo sforzo analitico compiuto dalle Agenzie federali e dal GAO, che abbiamo messo in

evidenza in queste pagine, dovrebbe soprattutto consegnarci un’importante lezione: sistemi di misurazione di

questo tipo, concepiti a fini rendicontativi, sono davvero utili solo se vi è nei soggetti interessati una piena

attenzione alla rilevanza, validità e comunicabilità delle informazioni raccolte. Nel caso contrario vi è il

rischio concreto che tutta l’operazione si trasformi in un mero esercizio contabile, magari molto costoso ed

impegnativo, ma sicuramente poco utile a prendere decisioni.

2.2 Il Job Training Partnership Act e i performance standards per le agenzie locali per l’impiego

Questa esperienza di analisi della performance si differenzia da quella precedente sotto vari profili:

innanzitutto riguarda un solo tipo di intervento pubblico, la fornitura di servizi formativi e di orientamento

per soggetti economicamente svantaggiati, invece che applicarsi a tutto lo spettro delle politiche del governo

federale. Una legge emanata nel 1982, il Job Training Partnership Act, rivoluziona il modo con cui si

finanziano e si erogano servizi per favorire il reinserimento lavorativo delle fasce deboli. Vengono istituite

nuove agenzie per l’impiego a livello locale, le Service Delivery Areas¸ con il compito di organizzare

l’offerta dei servizi sul territorio, gestire la selezione e l’orientamento degli allievi/utenti, appaltare lo

4 Donald Kettl (citato in Newcomer, 1997) sottolinea che uno dei maggiori benefici derivati dall’implementazione di

sistemi di misurazione della performance nel governo federale è stato proprio il miglioramento della comunicazione dei

programmi e degli obiettivi delle agenzie a favore di interlocutori esterni quali il Congresso.

7

svolgimento dei corsi ai centri di formazione e ad altre organizzazioni pubbliche e private, raccogliere i dati

sulle caratteristiche degli allievi e sui loro esiti occupazionali. Esistono circa 600 agenzie locali per

l’impiego in tutti gli Stati Uniti: esse dipendono gerarchicamente dall’amministrazione di ciascun Stato, che

ha compiti di supervisione su di esse. L’opera di supervisione da parte dell’amministrazione di ciascun Stato

si basa in parte sull’uso dei performance standards descritti in questa sezione.

I servizi offerti ai disoccupati dalle agenzie locali variano lungo un ampio spettro che va dall’offerta di corsi

di formazione tradizionale (classroom training) a forme di apprendistato/formazione sul lavoro (on-the-job

training) a corsi per imparare a cercare lavoro (job search assistance). I servizi non sono prodotti

direttamente dall’agenzia locale per l’impiego, bensì appaltati a organismi pubblici e non-profit, quali i centri

di formazione, i community colleges, gli istituti medi superiori, le organizzazioni filantropiche e del

volontariato.

Una novità importante che JTPA introduce è l’istituzione di un sistema di misurazione della performance,

che intende valutare la capacità delle agenzie di ottenere buoni esiti occupazionali per gli utenti dei servizi.

Poiché il recupero dello svantaggio economico, cioè dello stato di povertà, è l’obiettivo di fondo di JTPA, è

naturale che si usi il miglioramento delle prospettive occupazionali degli allievi come criterio-guida per

giudicare la performance delle agenzie locali. Il primo passo della costruzione di questo sistema è quindi

quello di identificare con precisione le dimensioni di successo sulla base delle quali l’attività svolta dalle

agenzie va giudicata. Le principali dimensioni di successo vengono identificate nella probabilità di trovare

lavoro tra gli utenti dei servizi entro un certo periodo dalla frequenza/fruizione dei servizi; e nella

retribuzione ottenuta dagli allievi che hanno trovato lavoro.

Queste dimensioni di successo vengono poi tradotte operativamente in indicatori di performance. Sono stati

utilizzati solo due indicatori, replicati però per diverse combinazioni di età e sesso degli allievi:

• la percentuale di occupati (per almeno 20 ore alla settimana) tra gli allievi, rilevato mediante un

indagine di follow-up a 13 settimane dalla conclusione del corso/fruizione del servizio;

• la retribuzione settimanale, rilevata per coloro che sono occupati alla 13-esima settimana dalla

conclusione del corso/fruizione del servizio.

L’adozione di questi indicatori implica delle scelte metodologiche molto precise. Innanzitutto implica la

volontà di porre tutta l’enfasi sui risultati finali (outcomes) ottenuti dai servizi, a scapito degli indicatori di

attività (ad esempio: il numero di ore di lezione effettuate) o di output (ad esempio: il numero di utenti

serviti) o di soddisfazione della domanda (il rapporto tra numero di utenti serviti e il numero di utenti

potenziali) o di costo (costo per utente servito.) La scelta è quindi quella di privilegiare, nel giudicare la

performance di questo servizio, i risultati ottenuti a favore degli utenti.

La seconda scelta “forte” che discende dall’adozione di questi due indicatori è quella di focalizzare

l’attenzione sui soli risultati legati al successo sul mercato del lavoro. La frequenza di corsi di formazione o

la fruizione di altri servizi per l’impiego può produrre a favore degli utenti “effetti” positivi su altre

dimensioni, quali l’autostima e la capacità di socializzazione, che non si traducono direttamente in un

maggiore successo nel trovare lavoro o in una maggiore retribuzione. Tuttavia, queste dimensioni di

successo sono molto più difficili da misurare e comunque sono state ritenute secondarie ai fini di dare un

giudizio sulla performance di queste agenzie.

A questo punto è importante evidenziare i due passi ulteriori che vengono compiuti nella costruzione di

questo sistema di misurazione della performance: (i) la definizione, rispetto a ciascun indicatore, di un

livello minimo di performance che ogni agenzia è tenuta a raggiungere in un certo anno; e (ii) la creazione di

un meccanismo di sanzioni per quelle agenzie la cui performance si riveli sistematicamente (cioè per tre anni

consecutivi) ad di sotto dello standard.

La parte più interessante e innovativa di questo sistema riguarda appunto la fissazione dello standard per

ciascun indicatore. Non ci si è limitati a definire un valore arbitrario comune a tutte le agenzie, bensì si è

costruito un meccanismo per creare, ogni anno, uno standard “calibrato” per ciascuna delle 600 agenzie. Lo

scopo della calibrazione è quello di assegnare a ciascuna agenzia un valore che sia tale da: (i) non

penalizzare le agenzie che operano in condizioni socio-economiche più difficili di altre, e quindi hanno più

8

difficoltà a garantire buoni esiti occupazionali; e (ii) non penalizzare quelle agenzie che servono una

popolazione di utenti più “difficile”, cioè con caratteristiche meno appetibili ai datori di lavoro.

Questa seconda esigenza va sottolineata. L’intento è prevenire un problema molto comune nei servizi mirati

5

a soggetti portatori di problematiche particolari: il pericolo che il servizio operi una scrematura dei propri

utenti, in modo da evitare i casi più difficili, in questo caso quelli meno occupabili. L’esistenza di un sistema

di misurazione della performance può paradossalmente acuire questo pericolo: se le agenzie sono giudicate

sulla base degli esiti occupazionali che i loro utenti raggiungono, hanno l’incentivo a mettere in atto tattiche

di scoraggiamento nei confronti degli utenti più difficili da occupare, in modo da poter tenere alta la propria

performance. Questo pericolo è acuito nel caso in cui la loro performance sia giudicata sulla base di uno

standard unico, che non tiene conto delle diverse condizioni locali e della composizione della platea degli

utenti. Per garantire uguali condizioni di giudizio, occorre quindi assegnare uno standard proporzionalmente

più basso a quelle agenzie che operano in una zona con più alto tasso di disoccupazione o con retribuzioni

medie più basse e/o che attraggono soggetti con caratteristiche personali che costituiscono fattori di

svantaggio sul mercato del lavoro (ad esempio, l’essere anziano, nero, disabile, disoccupato da molto tempo,

senza dimora, analfabeta, ecc.).

Questo risultato è stato ottenuto mediante il ricorso ad un modello statistico (regressione) che identifica qual

è l’effetto marginale di ciascun fattore di svantaggio sul valore medio dell’indicatore (sia il tasso di

occupazione sia la retribuzione media) a livello nazionale. Il compito di stimare il modello viene affidato ad

un istituto di ricerca che opera su contratto con il Ministero del Lavoro e che ha accesso ai dati su tutte le 600

agenzie. Ogni anno questo istituto stima una nuova versione del modello e genera un insieme di “pesi”, uno

per ciascun fattore di svantaggio. Moltiplicando il peso per il corrispondente fattore di svantaggio osservato

in ciascuna agenzia, si ottiene un valore di correzione da applicare a ciascuna agenzia per ottenere il valore

atteso della performance dell’agenzia, e quindi il suo standard di performance.

I dettagli di questa procedura sono illustrati in Barnow (1992) e in Dickinson (1988). In questa sede non

interessa tanto entrare in ulteriori dettagli operativi, quanto passare in rassegna gli ingredienti essenziali di

questo approccio:

• si fa innanzitutto chiarezza su quelli che sono gli obiettivi dell’azione, e da questi si ricavano le

dimensioni di successo sulla cui base giudicare la performance delle agenzie;

• dalle dimensioni di successo si ricavano gli indicatori, che vengono concretamente calcolati ogni

anno per ciascuna agenzia, ricavando i dati da un’indagine di follow-up;

• si definisce uno standard con cui confrontare la performance osservata ogni anno per ciascuna

agenzia;

• ci si cautela contro i possibili effetti distorsivi che l’uso di un unico standard per tutte le agenzie

potrebbe avere, in particolare sulla possibilità di scrematura a danno degli utenti meno facilmente

occupabili;

• si mette in piedi un sistema statistico che identifica, per ciascuna agenzia, un livello atteso di

performance calibrato sulle caratteristiche dell’economia locale e sul mix di caratteristiche socio-

economiche dei suoi utenti;

• si introduce un meccanismo di sanzioni per quelle agenzie la cui performance è sistematicamente al

di sotto dello standard così calcolato.

Si tratta quindi di un sistema di misurazione della performance che coniuga rigore metodologico e attenzione

per l’utilizzo concreto delle informazioni prodotte, una combinazione abbastanza rara anche nel panorama

statunitense.

2.3 L’approccio di “Performance Measurement: Getting Results”

Il contenuto del manuale “Performance Measurement: Getting Results” (Hatry, 1999) è frutto di una

pluridecennale esperienza da parte del suo autore e di un gruppo di analisti a lui associati presso l’Urban

Institute e presso l’International City/County Management Association (ICMA), l’organizzazione che

5 Nella letteratura anglosassone questo fenomeno è generalmente chiamato “creaming” (Barnow, 2000).

9

rappresenta i manager degli enti locali (città e contee) statunitensi. Il manuale contiene una grande quantità

di spunti e consigli pratici per mettere in piedi un sistema che misuri la performance di un program, cioè di

un programma di intervento pubblico. Il program, dotato di un suo budget e diretto al raggiungimento di

uno scopo relativamente ben definito, è il modo fondamentale di operare del settore pubblico negli Stati

Uniti. Tutta la valutazione, compresa la misurazione della performance, tende a ruotare attorno a questo

concetto, che peraltro è difficilmente traducibile nel contesto italiano, dove è più importante l’enfasi sulla

struttura organizzativa a livello territoriale.

I campi principali di applicazione dell’approccio descritto dal manuale sono i servizi pubblici erogati da enti

del governo locale, direttamente o per il tramite di organizzazioni non-profit. Più raramente le applicazioni

riguardano interventi erogati dal governo federale: a differenza di GPRA, illustrato nella sezione 2.1, questo

approccio non riguarda la performance di grandi e complesse organizzazioni, quali agenzie federali, ma

singoli programmi di intervento messi in atto da singole organizzazioni.

Quella che presentiamo in questa sezione non è una dettagliata recensione del manuale, ma un tentativo di

metterne in luce gli elementi distintivi che a nostro parere lo rendono rilevante anche al di là del contesto

statunitense a cui più direttamente si applica. Sono questi elementi di impostazione generale da cui è

possibile trarre qualche lezione utile, mentre la mole di consigli pratici che il manuale offre è di più difficile

fruibilità e applicabilità, perché molto legati al particolare contesto americano. Secondo questa lettura,

abbiamo individuato quattro “elementi” che a nostro parere rendono questo approccio rilevante al di là del

contesto specifico: (i) l’idea di fondo che l’analisi della performance non si riduca ad un’attività di

misurazione, ma sia invece un processo complesso che serve in ultima istanza a “dare significato” alle

misurazioni effettuate; (ii) la necessità, come primo passo di questo processo, di chiarire la missione e gli

obiettivi di miglioramento perseguiti dall’organizzazione; (iii) l’importanza di affinare la fase di definizione

e costruzione degli indicatori; (iv) l’attenzione dedicata a far sì che il prodotto della misurazione venga

effettivamente utilizzato.

“T …”

HINK BEFORE YOU MEASURE

Va messo in evidenza come il manuale non si apra dando prescrizioni su cosa sia necessario misurare né su

quali indicatori sia necessario usare, né presentando sistemi per classificare a priori gli indicatori. Anzi, la

costruzione degli indicatori non viene trattata in maniera esplicita fino quasi alla metà del manuale. L’enfasi

non è quindi, fin dall’inizio, sugli aspetti della misurazione, bensì sul processo che è importante attivare per

dare un senso alla misurazione e facilitarne l’utilizzo. La parte centrale del manuale si intitola appunto “The

performance measurement process” e contiene una descrizione dettagliata dei passi necessari a mettere in

piedi un processo di questo tipo.

Il manuale mette in evidenza i prerequisiti per avviare questo processo: (a) avere l’appoggio attivo da parte

del top management dell’organizzazione; (b) operare in un contesto stabile: servizi che stanno attraversando

fasi di ristrutturazione o ridefinizione di ruoli non sono buoni candidati per una misurazione della

performance; (c) avere a disposizione un minimo di “computerized data-processing capability”: quindi non

di dati già disponibili, ma della capacità di processare dati mediante computer. Questi tre requisiti, pur nella

loro semplicità (e volendo banalità), sottolineano tre fatti importanti: se gli utilizzatori finali non sono

convinti e coinvolti, non conviene neppure partire con l’attivazione del processo; un sistema di misurazione

standardizzata richiede stabilità, senza la quale la standardizzazione non è possibile; i “dati” non devono

necessariamente già esistere (e la loro mancanza non è una scusa sufficiente per non attivare il processo), ma

devono esserci le condizioni minime per generarli.

II. “W ’ ?”

HAT ARE THE PROGRAM S MISSION AND OBJECTIVES

Molti dei capitoli del manuale sono formulati sotto forma di domanda a cui il valutatore deve rispondere per

compiere i passi successivi del processo di costruzione del sistema. La prima importante domanda è: “Qual

è la missione e quali sono gli obiettivi che il servizio (o l’organizzazione) sta perseguendo?” Un elemento

va in particolare sottolineato riguardo alla discussione contenuta in questa parte del manuale: non si

presuppone che la definizione di missione ed obiettivi esista già, in quanto generata esplicitamente dal

processo decisionale, bensì si accetta il fatto che la missione venga definita come parte del processo stesso di

analisi di performance. Questo atteggiamento a nostro parere contrasta con quello riassunto nella frase “non

10

si può valutare finché il processo decisionale non ha chiaramente e univocamente stabilito quali sono gli

obiettivi”. E’ difficile incontrare un processo decisionale che univocamente fissi missioni e obiettivi da

raggiungere: questi, nella maggior parte dei casi, vengono enunciati in modo molto generico o mancano del

tutto.

Il manuale quindi riconosce che l’erogazione di servizi pubblici non segue un modello razional-sinottico in

cui prima vengono fissati gli obiettivi e poi deduttivamente si procede a stabilire come raggiungerli. La

missione dell’organizzazione e i suoi obiettivi vanno ricostruiti in modo pragmatico nel momento in cui ci si

pone il compito di valutare la performance. A questo scopo il manuale dà una serie di consigli pratici e lista

una serie di potenziali fonti informative da cui trarre ispirazione per questa opera di ricostruzione: al primo

posto stanno leggi e regolamenti, seguiti dai bilanci, piani strategici, discussioni con il top management,

incontri con operatori e utenti, contatti con altri enti che offrono servizi analoghi. Ciò che è importante

sottolineare è che, in questa prima fase, si rimane ancora lontani dalla preoccupazione di definire “cosa c’è

da misurare”, concentrandosi invece sul “cosa definisce il “successo” dell’organizzazione nel perseguimento

dei suoi scopi”.

Un passo di avvicinamento verso la misurazione è riassunto dalla domanda successiva “What outcomes

should be tracked?”, cioè quali risultati desiderabili devono essere tenuti sotto osservazione? Il manuale

distingue quindi tra “objectives” e “outcomes”, una distinzione non facile da rendere in italiano. Secondo il

manuale, objectives sono gli obiettivi espressi ancora in termini generali e qualitativi: ad esempio “favorire

l’inserimento lavorativo dei portatori di handicap”, “aiutare le piccole aziende ad esportare”, “migliorare la

circolazione degli autobus urbani”. Outcomes sono invece i risultati attesi, in termini di

cambiamento/miglioramento osservabile: ad esempio, “aumento dell’inserimento lavorativo dei portatori di

handicap”, “incremento nelle esportazioni delle piccole imprese”, “miglioramento della velocità

commerciale degli autobus”. I risultati attesi vanno tendenzialmente concettualizzati in termini quantitativi e

sono un ulteriore passo verso la definizione degli indicatori.

III. “W ?”

HAT OUTCOME INDICATORS SHOULD BE TRACKED

La domanda “quali indicatori è più opportuno costruire” viene posta solo a questo punto, presupponendo

quindi che il processo sia arrivato a chiarire quali obiettivi il servizio persegue e quali risultati ci si attende

dalla sua erogazione. Il manuale mette in chiaro che “outcome indicators are not the same as outcomes”: gli

indicatori di risultato non sono la stessa cosa dei risultati attesi. Gli indicatori sono solo strumenti con cui si

misura qualcosa che si ritiene importante e che ci aspetteremmo di ottenere dall’erogazione del servizio. Ad

ogni risultato atteso possono corrispondere più indicatori. Il manuale usa l’esempio classico della raccolta

rifiuti: accanto a quattro obiettivi generali del servizio in cui si articola la sua missione (migliorare l’estetica;

migliorare le condizioni igenico-sanitarie; minimizzare gli inconvenienti per i cittadini; massimizzare la

soddisfazione degli utenti), elenca nove risultati attesi (tra cui: grado di pulizia delle strade; assenza di odori;

assenza di rumori molesti; perdita di rifiuti durante la raccolta; danni materiali causati durante la raccolta) e

quindi 16 indicatori. Tutti gli indicatori elencati assumono la forma di semplici quantità (ad esempio

“numero di veicoli abbandonati”) o più spesso di rapporti percentuali (“percentuale di famiglie intervistate

che si lamenta di rumori molesti”; “percentuale di famiglie che denuncia danni alla proprietà”).

La discussione sulle fonti di dati conclude la parte del manuale che si riferisce alla messa a punto del sistema

di costruzione degli indicatori. A questo punto il manuale potrebbe interrompersi: consigli pratici sono stati

forniti su come costruire gli indicatori e su come raccogliere i dati necessari per tradurli in concrete

misurazioni. Il manuale invece non si interrompe, anzi contiene ancora cinque capitoli, dedicati all’utilizzo

degli indicatori. In questo riteniamo il manuale si stacchi più nettamente da quella parte della pubblicistica

italiana sull’argomento che tende a focalizzare l’attenzione esclusivamente sulla costruzione degli indicatori.

IV. “M ”

AKING OUTCOME INFORMATION USEFUL

L’ottavo capitolo del manuale si apre con una frase che sottolinea bene l’essenza del problema: “Producing

data does not mean that they will be useful”, produrre dati non significa che saranno utili. L’idea di fondo di

questo e del successivo capitolo è la seguente: l’informazione contenuta negli indicatori di performance può

essere utile solo se si trovano modi per confrontare i valori generati dagli indicatori con altri valori, in modo

da poter far emergere dal confronto gli elementi per un giudizio. In altre parole, una volta raccolti i dati per

“riempire” gli indicatori, i valori ottenuti daranno un’informazione veramente utile solo nella misura in cui

11

siano confrontati con “qualcosa” e dal confronto emerga la possibilità di dare un qualche giudizio sulla

performance osservata.

Il manuale introduce la distinzione tra due famiglie o tipologie di confronti. Una è quella della semplice

disaggregazione interna degli indicatori lungo dimensioni osservabili: per definire questo tipo di confronti il

manuale usa il termine di indicator breakout (disaggregazioni degli indicatori). L’altra è quella dei

confronti con valori “esterni”, per il quale il manuale utilizza il termine di benchmarks.

I confronti effettuati mediante gli indicator breakout sono di natura esplorativa, tendono cioè a stimolare

delle domande più che a consentire conclusioni o giudizi. Servono a sollevare questioni del tipo: una

performance migliore viene osservata in alcuni casi e non in altri? Esistono delle disparità di trattamento tra

categorie di utenti? Diverse modalità di prestazioni corrispondono a risultati diversi? Il manuale fornisce

una gran quantità di consigli pratici su come disaggregare gli indicatori raccolti da una singola

organizzazione in un certo periodo di tempo: si tratta di confronti relativamente facili da condurre, purché la

loro necessità sia riconosciuta e anticipata nella fase di raccolta dei dati. Esempi di questi confronti sono

quelli tra sub-unità interne all’organizzazione; tra singoli progetti in cui si articola il programma di

intervento; tra categorie di utenti; tra circoscrizioni amministrative; tra diverse tipologie di prestazioni

offerte. Il manuale non offre regole generali e universalmente valide per effettuare ogni tipo di confronti, ma

riesce ciononostante a mandare un messaggio molto chiaro: il valore informativo degli indicatori ottenuti

può venire aumentato a partire da semplici e apparentemente banali operazioni di disaggregazione e

confronto interno all’organizzazione.

Il capitolo successivo passa a discutere il secondo tipo di confronti, quelli con i “benchmarks” esterni. Il

manuale lista sei tipologie diverse di benchmarks, e fornisce per ciascuna di esse una discussione di come e

quando un tale tipo di confronto può generare informazione utile: (a) confronti con la performance passata

per la stessa organizzazione; (b) confronti con la performance di organizzazioni simili; (c) confronti con uno

standard generalmente accettato; (d) confronti con organizzazioni del settore privato che producono lo

stesso tipo di prestazioni; (e) confronti con modalità diverse di erogare lo stesso servizio; (f) confronti con

target, cioè obiettivi numerici, stabiliti all’inizio del periodo di performance. Il manuale offre cioè

un’interpretazione molto ampia al termine benchmark, che va quindi tradotto come “termine di paragone”.

La necessità di esplicitare dei benchmark come punto di arrivo del processo di misurazione della

performance è chiaramente e semplicemente affermata all’inizio del nono capitolo “Once a program has

outcome data, how can it find out whether the level of performance is good or bad? By comparing the

6

outcomes of the period of interest with benchmarks—that is, measures of what can be expected.” In altre

parole, secondo il manuale, una valutazione, cioè un giudizio, può solo venire dal confronto dei valori degli

indicatori ottenuti per quella organizzazione e per quel periodo con altri valori che rappresentano un termine

di paragone. Il significato e l’interpretazione del confronto varierà a seconda di come il termine di paragone

viene scelto. Non vi sono regole generali, dipende dal contesto specifico e dallo scopo della valutazione

quali benchmark utilizzare. Quello che il manuale fa egregiamente è mettere l’accento su quello che a nostro

parere è il cuore di ogni analisi di performance: preoccuparsi di stabilire quali confronti effettuare con gli

indicatori che si sono costruiti.

3. Alcuni criteri generali per impostare un’analisi di performance

I tre casi tratti dall’esperienza statunitense mettono in evidenza come non esista una metodologia unica per la

costruzione e l’utilizzo di indicatori di performance. Tuttavia, esistono consapevolezze “trasversali” che

tendono a ricorrere, seppure con intensità diverse, in tutti e tre i casi. Lo scopo di questa sezione è mettere a

fuoco queste consapevolezze, che, a nostro parere, sono utili a chiunque si accinga a valutare la performance

di un’organizzazione attraverso indicatori. Non intendiamo quindi proporre una metodologia applicabile ad

ogni contesto; il nostro scopo è di identificare un minimo comun denominatore di cautele da rispettare nei

6 “Una volta che un programma di intervento ha a disposizione dati sui risultati ottenuti, come fa a determinare se essi

rappresentano un livello di performance buono o cattivo? Solo confrontando i risultati ottenuti nel periodo di interesse

con dei termini di paragone - più precisamente con misure di ciò che ci si attende” (Hatry, 1999)

12


PAGINE

22

PESO

109.18 KB

AUTORE

Atreyu

PUBBLICATO

+1 anno fa


DESCRIZIONE DISPENSA

Dispensa al corso di "Metodi di valutazione di programmi e proggetti" del Prof. Claudio Mazziotta. Trattasi del saggio del Prof. Alberto Martini e del Dott. Marco Sisti dal titolo "Indicatori o analisi di performance? Implicazioni dell’esperienza statunitense di performance measurement", riguardante i seguenti argomenti: misuratori di performance nell'esperienza statunitense, criteri generali per l'analisi di una performance, costruzione degli indicatori, giudizio sulla performance, uso degli indicatori in Italia.


DETTAGLI
Corso di laurea: Corso di laurea magistrale in politiche pubbliche
SSD:
A.A.: 2011-2012

I contenuti di questa pagina costituiscono rielaborazioni personali del Publisher Atreyu di informazioni apprese con la frequenza delle lezioni di Metodi di valutazione di programmi e progetti e studio autonomo di eventuali libri di riferimento in preparazione dell'esame finale o della tesi. Non devono intendersi come materiale ufficiale dell'università Roma Tre - Uniroma3 o del prof Mazziotta Claudio.

Acquista con carta o conto PayPal

Scarica il file tutte le volte che vuoi

Paga con un conto PayPal per usufruire della garanzia Soddisfatto o rimborsato

Recensioni
Ti è piaciuto questo appunto? Valutalo!

Altri appunti di Metodi di valutazione di programmi e progetti

Valutazione dei costi e dei benefici nell’analisi dell’impatto della regolazione
Dispensa
Evaluating socio-economic programmes
Dispensa
Statistica - Indice di contingenza quadratica media
Appunto
Statistica - Esercizi
Esercitazione