Riassunto esame Metodologia, prof. Cuzzocrea, libro consigliato Misurare e valutare il cambiamento, Larcan

Misurazione e valutazione

La ricerca scientifica ha come obiettivi l'identificazione, la descrizione e la spiegazione dei fenomeni, finalizzati alla previsione ed al controllo. Parallelamente, gli obiettivi di un intervento educativo sono identificare i comportamenti che devono essere modificati, cercando di individuare le componenti personali e/o ambientali che ne possono spiegare la presenza e che possano essere utilizzati per produrre un cambiamento nella direzione desiderata. In quest'ottica, il processo educativo-didattico diventa un processo di problem-solving. L'insieme delle procedure per identificare, valutare e analizzare i comportamenti di un soggetto, in un determinato contesto e in determinate circostanze, e i fattori che li influenzano è noto come assessment cognitivo comportamentale; gli strumenti tecnici che ne rendono possibile l’attuazione sono: l'osservazione e la misurazione.

La misurazione

Per misurazione si intende la quantificazione sistematica e obiettiva di oggetti, eventi o comportamenti, che deve essere realizzata seguendo alcune regole o passaggi essenziali:

• Identificare ciò che deve essere misurato;
• Definire il comportamento o l'evento in termini osservabili;
• Scegliere un sistema di osservazione, quantificazione e sintesi adeguato ai dati da registrare.

La scelta dei comportamenti da misurare consiste nella specificazione, gerarchizzazione ed individualizzazione degli obiettivi, che possono essere obiettivi cognitivi, legati all'apprendimento di specifiche abilità, o di obiettivi comportamentali. In linea con l'approccio comportamentale, la definizione dei comportamenti target, cioè qualsiasi comportamento da modificare, deve essere realizzata in termini operativi, ovvero osservabili e misurabili.

Dopo aver identificato i comportamenti da misurare si deve scegliere un sistema di registrazione dei dati che sia pratico e attendibile e che si adatti alla situazione e all'aspetto del comportamento su cui si deve lavorare, tenendo conto anche delle caratteristiche e dei limiti contestuali.

Il concetto di valutazione

Utilissimo è anche il concetto di valutazione, che rappresenta l'anello di congiunzione tra il processo di misurazione e le decisioni operative che l'insegnante-ricercatore deve assumere sull'intervento educativo. Se le operazioni di misura sono state valide, il processo di valutazione può fornire informazioni utili; una delle strategie più frequentemente utilizzate per la misurazione è il paradigma pretest-posttest, o meglio, pretraining-posttraining: questo tipo di valutazione viene definita sommativa o di sintesi ed è la procedura più utilizzata, sia in ambito educativo, sia nella ricerca.

La valutazione iniziale è fondamentale ai fini della verifica del cambiamento: nel paradigma sperimentale il comportamento osservato e misurato rappresenta la variabile dipendente, che si ipotizza essere effetto dell'intervento educativo (variabile indipendente). La valutazione pre-post, però per le sue caratteristiche strutturali e temporali, pur fornendo indicazioni utili non può essere considerata sufficiente a cogliere l'effettivo andamento dei processi di apprendimento. Per ottenere informazioni più ricche e attendibili, il processo di valutazione richiede programmi strutturati su basi più frequenti e regolari. Le informazioni ottenute rappresentano un feedback costante che consentono di individuare in tempo utili eventuali problemi, e quando si predispongono delle schede di osservazione e di valutazione, la prima e fondamentale cosa da fare è chiedersi quali informazioni si desidera ricavare dai dati che si raccoglieranno evitando così di raccogliere dati inutili; come sostengono Tawney e Gast la regola dovrebbe essere "praticità e parsimonia". Il sistema di misurazione dovrebbe essere il più semplice possibile e limitarsi a fornire solo le informazioni che possono servire.

Che cosa e come misurare

Le ragioni che possono richiedere in intervento educativo-didattico possono essere molteplici, come l'acquisizione di un nuovo comportamento oppure il cambiamento di un comportamento già presente ecc. È indispensabile effettuare un certo numero di osservazioni sistematiche per accertarsi che il comportamento osservato non si sia verificato per caso, ma sia un comportamento stabile; in questo caso la misurazione (base-line) serve essenzialmente a valutare quale sia l'entità del problema, in modo da scegliere la strategia più idonea a risolverlo. Questa procedura viene definita "assessment" ed è proprio ciò che conferisce caratteristiche di scientificità al lavoro.

Il lavoro del ricercatore e quello dell'insegnante hanno molti aspetti in comune, tra cui l'obiettivo di produrre cambiamento. Gli obiettivi della ricerca scientifica sono infatti:

• Identificare i fenomeni;
• Fornire una descrizione il più completa ed esauriente possibile;
• Spiegarli, trovare cioè gli eventi che ne determinano l'origine e i fattori ai quali sono correlati, in modo da poterli prevedere e controllare.

L'educatore, a sua volta, ha i seguenti obiettivi:

• Conoscere cioè acquisire informazioni che servano a identificare e descrivere i comportamenti e le modalità di apprendimento degli allievi;
• Comprendere cioè individuare i fattori x (variabili) che agiscono funzionalmente sul comportamento (Y=fx);
• Modificare cioè alterare i fattori (x) che agiscono sul comportamento (y), introducendo nuove variabili e osservarne gli effetti.

Si delinea così il parallelismo tra scienza ed educazione. La ricerca richiede gruppi numerosi di soggetti, detti "campioni" che siano rappresentativi della popolazione dalla quale vengono estratti, questo perché i risultati di ricerca possano essere generalizzati. Se si vuole verificare l'efficacia di un trattamento su un gruppo di soggetti, è necessario disporre di "un gruppo di controllo", che non venga sottoposto al trattamento. In altre parole, deve essere previsto un assessment di almeno 3 fasi successive:

• A= misurazione d'ingresso o base-line;
• B= intervento;
• AI= misurazione post-intervento verifica del cambiamento.

In genere, è sempre preferibile aggiungere a questo schema-tipo altre fasi di rilevazione per verificare se il cambiamento è indipendente dai contesti e dai materiali utilizzati per la sperimentazione (prove di generalizzazione) e se si mantiene a distanza di tempo (follow up). Quando la "ricerca" ha come oggetto di studio e di analisi singoli soggetti, l'assessment non è finalizzato al confronto tra gruppi, né al confronto con la norma ma solo alle transazioni dell'individuo con l'ambiente fisico e sociale.

Anche in questo caso l'assessment segue le stesse tappe procedurali della ricerca applicata:

• Osservazione preliminare (quesiti generali);
• Formulazione di un'ipotesi di relazioni funzionali (y=fx);
• Osservazione sistematica;
• Analisi funzionale;
• Definizione degli obiettivi e task analysis;
• Scelta del/dei comportamenti target;
• Baseline del/dei comportamenti target;
• Ipotesi di intervento per il raggiungimento del comportamento meta;
• Realizzazione dell'intervento;
• Verifica-Generalizzazione;
• Follow-up.

La definizione degli obiettivi

Dopo aver formulato delle ipotesi sui comportamenti che necessitano di un intervento, bisognerà progettare schede di osservazione o check list (lista di controllo, simile ad un questionario, che contiene un elenco di competenze/comportamenti di cui bisogna verificare la presenza o l'assenza) per avere un quadro completo delle informazioni necessarie alla definizione degli obiettivi. Ognuno di questi dovrà essere scomposto in sotto-obiettivi, che rappresentano gli obiettivi a breve termine, attraverso specifiche task analysis. La task analysis o analisi del compito è la descrizione dettagliata della sequenza di prerequisiti, disposti in ordine gerarchico, necessari al raggiungimento degli obiettivi.

La scelta del setting e dei tempi di rilevazione

I comportamenti sono "campioni" del repertorio del soggetto, possono quindi variare in relazione al setting, ovvero al contesto e agli stimoli in esso presenti, e ad altre variabili. Per questa ragione, l'assessment deve essere esteso a tutti i setting in cui il comportamento potrebbe verificarsi. Un'altra decisione riguarda i tempi di osservazione (n° di sessioni) e quante osservazioni devono essere effettuate per ogni sessione. I tempi complessivi di osservazione dovrebbero essere lunghi, soprattutto se i comportamenti target sono rari o variabili o controllati da molti eventi possibili. La durata di ogni sessione deve essere preferibilmente breve, soprattutto per esempio quando si osservano più soggetti contemporaneamente. È indubbio che sistemi continui di misurazione siano sempre preferibili, ma un'alternativa potrebbero essere le procedure non continue o intermittenti.

Parametri di misura

La scelta del parametro di misura, ovvero dell'aspetto del comportamento che può essere oggetto di valutazione ai fini del cambiamento dipende dalla situazione e dal tipo di problema che si vuole risolvere. I principali parametri di misura sono:

• Numero, cioè il numero di volte in cui un comportamento o un evento ricorre durante un periodo costante;
• Frequenza o tasso, cioè il numero di ricorrenze diviso il numero di unità di tempo-es. minuti, ore, secondi. I vantaggi nella scelta di questo parametro sono rappresentati dal fatto che è estremamente sensibile ai cambiamenti del comportamento, fornisce una misura standard e costante del comportamento che può essere riportata su appositi grafici;
• Percentuale di risposte corrette, cioè il numero di ricorrenze diviso il numero totale delle opportunità fornite, moltiplicato per 100; i dati in percentuale sono quelli più frequentemente usati, poiché offre numerosi vantaggi, tra cui quello di sintetizzare numeri elevati di risposte e rende facile la rappresentazione grafica. L'uso della percentuale presenta però alcuni limiti riguardo per esempio la padronanza di una certa abilità, o un range minimo e massimo di possibilità limitato (0%- 100 %), oppure non fornisce informazioni su quando un comportamento ricorre durante un periodo di osservazione ecc...;
• Durata totale, cioè la quantità di tempo in cui il comportamento ricorre durante un periodo di osservazione;
• Durata per ricorrenza, cioè la quantità di tempo in cui il comportamento ricorre, ogni singola volta;
• Latenza, cioè il tempo che intercorre dalla presentazione dello stimolo all'inizio del comportamento oppure tra un comportamento ed un altro. Essa è una misura dipendente adeguata nei casi in cui il soggetto abbia tempi di compliance lunghi: in questi casi bisogna valutare se per ridurre la latenza siano sufficienti istruzioni aggiuntive o il modellamento della risposta (modeling), se cioè si tratti di un problema di comprensione, o se sia necessario ricorrere ad interventi più specifici. Lavorare sulla latenza può essere utile quando un comportamento disturbante si presenta troppo frequentemente;
• Ampiezza o intensità, cioè la forza della risposta o del comportamento. Tale parametro difficilmente viene utilizzato in ambito scolastico, poiché per effettuare rilevazioni dirette, bisognerebbe ricorrere a strumenti meccanici di non facile utilizzo; così, solitamente, si ricorre all'uso di misurazioni di tipo indiretto, ovvero si inferisce l'intensità del comportamento dagli effetti che questo produce sull'ambiente;
• Tentativi per il criterio, cioè il numero delle volte che viene ripetuto un esercizio, una prova, un comportamento prima che venga eseguita correttamente. Attraverso questo parametro si può calcolare anche la capacità di learning set o learning to learn di un soggetto che consiste nella capacità di trasferire la capacità appresa da un compito a un altro e quanto l'apprendimento di una determinata abilità possa favorire o inibire l'apprendimento di un'altra. Se la programmazione è stata realizzata correttamente, tra un obiettivo e un altro si dovrebbe evidenziare learning set, dovrebbe cioè ridursi il numero di tentativi per apprendere nuovi comportamenti;
• Errori fino al criterio, cioè il numero degli errori ommessi prima di raggiungere il criterio di padronanza;

Il tipo di misura da scegliere dipende dal tipo di comportamento che si vuole modificare e dall'obiettivo che si vuole raggiungere, e si può lavorare anche su più parametri contemporaneamente.

Scelta della procedura di misurazione

I principali metodi che si possono utilizzare per misurare e registrare un comportamento sono di tre tipi:

• Registrazione quantitativa automatizzata;
• Misurazione diretta di prodotti permanenti;
• Registrazione tramite osservazione diretta.

Gli ultimi due tipi di metodi sono quelli più utilizzati, anche se ultimamente la diffusione di software sofisticati si sta diffondendo rapidamente.

Misurazione diretta di prodotti permanenti

Per prodotto permanente si intende un compito scritto, una prova pratica, oppure una documentazione fissa o riproducibile del comportamento, che ne documenti il livello di competenza e/o le varie lacune. Questo tipo di rilevanza offre il vantaggio dell'oggettività, la possibilità di essere analizzato più e più volte e di poter osservare contemporaneamente molti soggetti.

Registrazione diretta delle osservazioni

Consiste nel registrare e quantificare i comportamenti contestualmente.