Riassunto esame Valutazione della qualità degli organismi educativi e formativi, prof Gariboldi, libro consigliato Valutazione dei processi formativi, Tessaro

La valutazione dei processi formativi

I processi formativi nella ricerca valutativa

L'interesse di studio della ricerca valutativa si è sempre rivolto ai programmi di formazione, intesi come sistemi organizzati di pratiche sociali rivolte all'acquisizione e alla trasformazione di competenze. La programmazione e la progettazione rappresentano le attività nelle prime due fasi dell'iter formativo e sono deputate alla costruzione di quell'intervento che si andrà ad applicare.

Rielaborando le indicazioni proposte da Pellerey, si può circoscrivere l'ambito della programmazione nelle attività orientate alla determinazione degli standard formativi generali, mediante l'analisi del contesto allargato entro cui l'iter formativo va a collocarsi e la verifica della compatibilità tra gli standard formativi, il tipo di utenza a cui è diretto l'intervento e la domanda culturale o professionale proveniente dal territorio.

La progettazione è l'insieme delle attività orientate all'organizzazione sistematica delle risorse intellettuali e tecnologiche e alla declinazione di tali risorse in schemi e piani di produzione di interventi formativi. Le attività connesse alla progettazione implicano la modularizzazione dell'intervento, la definizione delle strategie, dei metodi e delle tecniche, la scelta e la selezione dei media e dei modi di comunicazione, la determinazione dei criteri valutativi e la ripetizione temporale delle attività.

La terza fase dell'iter attiene all'applicazione del progetto nel suo esplicitarsi concreto in ambienti predisposti. L'iter formativo si conclude con l'analisi degli esiti: insieme delle attività di verifica e di valutazione.

Lo sviluppo dell'iter formativo si avvale, grazie alla sua flessibilità, di retroazioni che muovono da ciascuna fase verso la precedente. Per la valutazione dei processi formativi, le retroazioni rivestono un carattere importante: esse infatti tengono sotto controllo la corretta evoluzione delle procedure e dei piani di intervento e promuovono i cambiamenti nell'orientamento dei processi, suggeriscono ulteriori attività.

Nell'ambito interno del sistema formativo si possono individuare tre tipi di attività di feedback:

• Processi di regolazione deputati alla calibratura delle metodologie attivate in fase di applicazione: i risultati che man mano si raggiungono comunicano i cambiamenti delle rotte didattiche;
• Processi di riorganizzazione diretti alla messa a punto del progetto formativo a seguito dei segnali avvertiti in sede di applicazione;
• Processi di revisione orientati alla rideterminazione degli standard formativi in fase di programmazione: l'intervento ha raggiunto finalità e scopi diversi da quelli attesi.

Ora si rende necessario individuare gli elementi di contesto che si relazionano con il sistema formativo, che lo alimentano e dal quale dovrebbero ricevere gli esiti richiesti. Gli elementi in ingresso sono rappresentati dai bisogni di formazione, siano essi individuali o sociali. In essi si possono individuare due componenti: una personale riferita a ciascun attore esterno interessato rispetto alle motivazioni che lo stimolano e alle attese che alimentano tali motivazioni, l'altra sociale-professionale riferita alle risorse e ai vincoli che possono limitare dall'esterno la progettazione dell'intervento formativo. Gli elementi in uscita sono rappresentati dalle competenze raggiunte, per una nuova riorganizzazione e acquisizione delle esistenti, dai formati.

Valutazione e ricerca

Ricerca: indagine sistematica tesa a produrre conoscenze mediante campionatura sulle relazioni tra più variabili oppure mediante la descrizione di fenomeni. Le conoscenze ottenute tramite l'ausilio di metodi e di strumenti possono generare modelli teorici, relazioni funzionali, e declinarsi o meno in applicazioni immediate. La valutazione può essere definita come un processo atto a determinare il valore di una cosa.

Iniziamo con i punti che le accomunano: la valutazione e la ricerca possono condividere i medesimi strumenti e le medesime metodologie di indagine. Il secondo elemento di comunanza è che sia la ricerca che la valutazione sono deputate alla produzione di conoscenze le quali posseggono la caratteristica comune della novità elaborativa ed informativa.

È necessario una differenziazione tra ricerca di base, diretta a sperimentare un'ipotesi teorica e a produrre conoscenze specifiche, e ricerca applicata, diretta alla applicazioni pratiche delle conoscenze acquisite e alla produzione di conoscenze generalizzabili per la soluzione dei problemi generali.

Analizzando la ricerca e la valutazione possiamo individuare diversità raggruppabili in otto categorie:

• Motivazione dell'indagine: la ricerca viene avviata per soddisfare una curiosità scientifica di conoscenza, mentre la valutazione trova la sua origine nella necessità di contribuire alla soluzione di problemi pratici.
• Obiettivo sull'indagine: la ricerca punta alla conclusioni, la valutazione alle decisioni.
• Elemento di comparazione: nella ricerca è determinato da un'ipotesi da provare esplicita e formulata; nella valutazione è specificato da un'entità da confrontare.
• Estensione versus intensione dell'indagine: con questa distinzione si intente individuare la differenza euristica tra denotazione (estensione) e connotazione (intensione). L'indagine intensiva attiene alla ricerca fondamentale, quella intensiva alla valutazione.
• Ruolo della spiegazione: è carattere peculiare nella ricerca; la spiegazione assume una funzione marcata nella valutazione a posteriori degli effetti e dell'impatto di un progetto formativo.
• Autonomia dell'indagine.
• Proprietà dei fenomeni sottoposti ad indagine: per la valutazione è determinante una proprietà: il possesso e la manifestazione di un valore onde stimarne l'utilità sociale e personale.
• Criteri di giudizio delle attività: l'adeguatezza della ricerca sottostà a due criteri fondamentali: validità interna ed esterna. L'adeguatezza delle attività valutate risponde a numerosi criteri, tra i quali l'accuratezza, la credibilità, l'utilità.

L'evaluation research

Questa espressione, utilizzata già negli anni '60, è stata ufficializzata da F.G. Caro nel 1971 con la pubblicazione di Readings in Evaluation Research. Con l'evaluation research si è assistito ad uno spostamento paradigmatico negli studi sulla valutazione: dalla verifica dell'apprendimento nei partecipanti alla formazione, funzionale alla certificazione delle competenze acquisite dagli allievi, ad un sistema di valutazione complesso e differenziato che include programmi, processi e risultati, funzionale alle strategie politiche di miglioramento dell'offerta formativa.

Si è cercata una soluzione su come fare affinché i risultati degli studi di valutazione non venissero ricondotti a difesa e a giustificazione delle decisioni politiche che avevano avviato l'indagine. Va da sé comunque che la ricerca valutativa nel suo rapporto con la politica formativa non si limita a fornire informazioni ma ne riceve anche il mandato.

Agli albori della ricerca valutativa, quando ancora possedeva spiccate caratteristiche di ricerca sociale, il ruolo politico era decisivo anche nel fissare gli oggetti di valutazione in funzione dei contesti informativi su cui innestare i processi decisionali. In tale ambito si sono andate generando e perfezionando metodologie di ricerca valutativa oramai consolidate ed autonome.

Modelli di valutazione e di analisi

Emerge una distinzione, dal punto di vista epistemologico, tra la funzione interpretativa e quella euristico-strumentale del modello: nel primo caso il modello discende dalla teoria e serve per interpretare la realtà, nel secondo modello parte dalla realtà e funge da generatore della teoria.

Applicata ai modelli designati dall'Evaluation Research, questa specificazione funzionale conduce alla distinzione tra modelli di valutazione e modelli di analisi della valutazione: i primi si rappresentano come comprensione-interpretazione di una teoria in un progetto di intervento valutativo, i secondi partendo dall'analisi dei fenomeni valutativi reali tendono alla designazione di paradigmi e alla costruzione di quadri teorici di riferimento.

La ricerca valutativa ha percorso la strada in cui i modelli fungono da rappresentazioni formali che trasferiscono un approccio teorico nella realtà da valutare.

Per una classificazione dei modelli di valutazione

Se per un verso Cronbach (1963), Stufflebeam (1967), Scriven (1967) e Stake, ossia coloro che possono essere considerati i padroni fondatori dell'Evaluation Research, nei loro manifesti condividevano il carattere socialmente e politicamente strategico della valutazione dell'efficacia degli investimenti per la formazione, dall'altro hanno mostrato la settorialità delle loro concezioni valutative, delle diverse finalità che attribuivano alla valutazione e delle metodologie che adottavano.

Nel 1973 Robert Stake propose un elenco che riuniva in nove approcci la varietà delle impostazioni allora esistenti assumendo come paradigma di raggruppamento la comunanza degli obiettivi della valutazione. Alcuni più tardi, Stufflebeam e Webster (1980) articolarono una classificazione più differenziata sulla base del paradigma valoriale, ossia sulla funzione attribuita al giudizio di valore. L'elenco di Stake punta solo a raggruppare mentre lo studio di Webster e Stufflebeam introduce una dimensione classificatoria che si sviluppa su tre livelli entro cui vengono ripartiti i diversi modelli.

L'obiettivo della valutazione come fattore di raggruppamento

Le impostazioni teoriche possono essere accomunate, ad avviso di Stake, in ordine ad un unico fattore-chiave che egli identifica con l'obiettivo primario che ogni modello persegue. La scelta di Stake è dettata dalla considerazione che solo l'obiettivo distingue i modelli.

Ecco le nove prospettive di ricerca valutativa indicate da Stake con i rispettivi obiettivi:

• Misurazione del profitto degli studenti per misurare le prestazioni e i progressi degli studenti.
• Auto-analisi istituzionale per osservare e incrementare l'efficacia del lavoro di staff nelle istituzioni formative.
• Commissione di esperti per risolvere i conflitti e le crisi che si vengono a creare intorno ad un programma e per tutelare le istituzioni.
• Osservazione e analisi delle transazioni per provvedere alla comprensione profonda nella varietà delle prospettive delle attività formative e delle loro valutazioni.
• Analisi delle competenze gestionali per incrementare la razionalizzazione delle micro-decisioni nella gestione di un progetto di intervento formativo.
• Ricerca nel settore educativo per generare spiegazioni valide nelle sperimentazioni di nuove metodologie di istruzione.
• Analisi di politica sociale per aiutare lo sviluppo delle politiche istituzionali.
• Valutazione non dipendente dall'obiettivo per accertare autonomamente gli effetti del programma formativo senza compararli con gli obiettivi predefiniti.
• Valutazione antagonista per risolvere la scelta tra due posizioni contrapposte rispetto all'efficacia di un programma di formazione.

È indubbio il merito di Stake nell'aver differenziato alcuni tra i principali "tipi metodologici" della valutazione registrando le peculiarità dei loro obiettivi. Ciò che invece non si riesce a comprendere è la progressione dei nove approcci. Si può supporre quindi che lo scopo di Stake fosse limitato al raggruppare gli studi in approcci omogenei rispetto ai loro obiettivi funzionali, tralasciando la logica della sequenza.

La formulazione del giudizio di valore come paradigma di classificazione

Anche la classificazione di Stufflebeam e Webster muove dagli obiettivi che ciascuna proposta di valutazione persegue. Secondo loro, però, l'obiettivo della valutazione deve condurre ad un giudizio di valore sull'oggetto sottoposto a controllo e, sulla base della formulazione o meno di un giudizio di valore, distinguono tre tipi di valutazione:

• Pseudo-valutazione: in cui i metodi di indagine e i risultati ottenuti sono funzionali alla giustificazione o alla copertura di scelte politiche o di mercato;
• Quasi-valutazione: in cui i dati emersi da indagini condotte con metodi scientifici possono fungere da base "oggettiva" su cui poggiare un giudizio di valore;
• Valutazione effettiva: in cui ogni attività valutativa concorre alla formulazione di un giudizio di valore.

Nel primo, orientato politicamente, lo scopo della valutazione è quello di fornire informazioni che favoriscono un'immagine positiva presso il pubblico per indirizzare le scelte. Nel secondo approccio lo scopo della valutazione è quello di rispondere alle domande provenienti da diverse utenze fornendo loro informazioni oggettive. Nel terzo approccio, orientato ai valori, lo scopo della valutazione è quello di esprimere autonomi giudizi sul valore di quanto sottoposto ad indagine.

Ricerche valutative orientate politicamente (pseudo-valutazione)

Ricerca per il controllo politico: è la risposta informativa alla minaccia implicita o esplicita ad una posizione di potere. L'obiettivo è garantire a gruppi di interesse l'acquisizione, il mantenimento e l'incremento di una sfera di influenza o di un potere sociale, politico o economico. La ricerca, con metodi investigativi e studi di simulazione, mira ad individuare sia le informazioni più opportune da presentare al pubblico per promuovere un'immagine positiva, sia quelle da celare che potrebbero condurre all'effetto opposto.

Ricerca ispirata dalle pubbliche relazioni: risponde ai bisogni di informazione circa il modo migliore per garantire il successo di un prodotto o di un programma sul mercato della formazione. Questa ricerca punta ad individuare gli strumenti per accrescere il favore verso il prodotto formativo.

Ricerche valutative orientate alle questions (quasi-valutazione)

Ricerca centrata sugli obiettivi: lo scopo è determinare quali obiettivi in un programma di sviluppo sono stati raggiunti. I metodi di indagine consistono nella raccolta, mediante test standardizzati, e nell'analisi dei risultati delle prestazioni in rapporto agli obiettivi specifici.

Ricerca centrata sulla responsabilità: questo approccio è nato, nei primi anni '70, come risposta alla constatazione che i programmi USA sullo sviluppo formativo non avevano ottenuto risultati significativi.

Ricerca sperimentale: l'obiettivo è determinare le relazioni causali tra specifiche indipendenti e variabili dipendenti, indagando con procedure standardizzate i metodi utilizzati nella formazione e le prestazioni manifestate dagli allievi.

Programmi di testing: l'obiettivo è quello di comparare le prestazioni nei test tra singoli studenti e tra i diversi gruppi onde poterne selezionare le norme. I metodi utilizzati comprendono la selezione e la somministrazione delle prove, l'attribuzione dei punteggi e la standardizzazione dei test.

Management information system: è un sistema informativo autonomo che funge da supporto alla pianificazione della produzione e dei servizi, alla loro gestione e al loro controllo.

Ricerche valutative orientate ai valori (valutazione effettiva)

Certificazione e accreditamento: l'obiettivo è di determinare gli standard e le norme di qualità dei programmi di formazione e delle istituzioni che li erogano. Una commissione di esperti, dopo aver sottoposto a controllo e misurazione le prestazioni dei formatori e degli allievi, certifica che il programma risponde agli standard richiesti.

Ricerca per le politiche formative: l'obiettivo è identificare e misurare i potenziali costi e benefici rispetto ad un programma avviato da una specifica istituzione entro uno specifico contesto sociale.

Ricerca orientata alle decisioni: l'obiettivo è di provvedere ad una base di conoscenze e di valori per generare e difendere le decisioni. Ci si avvale di un metodo che comprende l'indagine sociale del territorio, l'analisi dei bisogni, gli studi di caso, l'osservazione.

Ricerca orientata al consumatore: si propone di giudicare la bontà dei prodotti e dei servizi erogati per la formazione, valutandone le alternative presenti sul mercato.

Ricerca centrata sul cliente: l'obiettivo è incrementare le conoscenze circa le attitudini e le transazioni che avvengono in un definito ambiente di formazione raccogliendo dagli attori la più ampia varietà di prospettive possibili, di osservazioni, pareri e giudizi.

Ricerca condotta dagli esperti: si propone di illuminare l'oggetto di valutazione, individuandone meriti e demeriti, con la descrizione critica e l'approfondimento analitico.

La classificazione di Stufflebeam e Webster ripristina la distinzione tra valutazioni quantitative tutte relegate nella ripartizione delle quasi-valutazioni e quelle qualitative degne dell'appellativo di vere valutazioni. Inoltre, l'impostazione di Stufflebeam e Webster è dicotomica e contribuisce a separare piuttosto che a cercare di cogliere elementi di continuità e di trasversalità tra le diverse impostazioni di ricerca.

Fondamenti epistemologici per una classificazione dei modelli di valutazione

Secondo House le due categorie epistemologiche su cui convergono e si dividono gli approcci di valutazione sono l'oggettivismo e il soggettivismo. L'oggettivismo comporta informazioni "scientificamente oggettive" affinché la loro raccolta e la loro elaborazione possano essere riproducibili e verificabili da altre persone che usano le medesime tecniche. L'oggettivismo punta non solo a manipolare informazioni oggettiva ma anche a rendere manifeste le procedure di generazione della conoscenza. Il soggettivismo basa la ...