Appunti corso Docimologia

Docimologia: libri di testo e materiali di studio

• C. Coggi, A. Notti, Docimologia, Lecce, Pensa-Multimedia, 2002. (NO cap. 1, 9, 10)
• Mason L., Valutare a scuola, Padova, Cleup, 1997 (prima ed.), pp. 7-153. (NO cap. 1)
• Presentazioni in .ppt scaricabili con audio
• «Storia della docimologia» (saggio da scaricare nella piattaforma Moodle dell’insegnamento con i materiali didattici)
• Portfolio da compilare (scaricare dal sito della docente)

I materiali li troverete in piattaforma, in forma di audio-lezioni, di PowerPoint, di esercizi aggiuntivi e riportati nel PowerPoint. Laddove occorre chiarire e fare il punto con un'attività breve dei materiali, avete “Elementi di storia della docimologia” che ci accompagnerà nelle prime lezioni per fare il punto degli studi che sono stati fatti, per capire come si può migliorare la valutazione e vedremo poi il foglio da compilare che scaricherete nei materiali. Il portfolio raccoglie invece una serie di esercizi; l'integrazione delle conoscenze delle abilità progredirà riflettendo anche sulle esperienze che fate in occasione del tirocinio, ma non solo anche l'interazione con i bambini che avete in altre condizioni e certamente il portfolio con le sue esercitazioni è una condizione di passaggio dalle conoscenze teoriche e della capacità di applicarle.

Docimologia: scienza che si occupa di valutazione scolastica

H. Piéron ha proposto di chiamare, con il nome di docimologia (dal gr, dokimàzo, valuto, stimo, e lògos, discorso sistematico, scientifico) lo studio dei problemi posti dalla valutazione. Questa proposta ha avuto seguito in alcuni paesi; spesso si parla anche di “studio della valutazione scolastica” o “metodi e tecniche della valutazione” (in inglese si usano termini come: “Measurement”, “Assessment”, “Evaluation”; in francese si usano termini come “Mesure”, “Évaluation”).

Esame

L’esame è orale e prevede delle domande sui contenuti del corso e sul portfolio e quindi è finalizzato a capire se avete elaborato i temi del corso e se avete anche appreso ad applicarlo in condizione professionale.

Chiarimenti a riguardo

Il portfolio come si compila? Alla fine del corso bisognerà caricarlo 10 giorni prima ma le modalità in cui si compila sono a scelta. Il portfolio è lo strumento che vi accompagnerà in questo corso per le parti operative. Andiamo a vederne i contenuti:

1. La prima richiesta è quella di chiedervi che cosa vi aspettate da apprendere in questo corso. In un patto sociale vi ho detto quello che vi proporrò, vi richiedo di dire quelle che sono le vostre esigenze di ingresso in questo corso che ritenete particolarmente importanti; quali competenze vorresti acquisire in specifico a seguito.
2. La seconda richiesta riguarda il concetto che avete di valutazione scolastica; concetto che a scuola si introduce facilmente ma che presenta delle ambiguità, quindi provare a chiarire una vostra definizione.
3. La terza richiesta prevede di descrivere un episodio in cui è stato attuato un processo di valutazione che ti ha colpito (o come studente o come insegnante), spiegando perché vi siete soffermate su quel caso.
4. Nella quarta richiesta vi chiedo poi di dire se avete condotto o se avete visto condurre delle attività valutative, riflettendo su cosa avete appreso attraverso il contatto con la scuola.
5. Nella quinta domanda vi chiedo di riflettere sui problemi che pone la valutazione degli alunni.
6. La sesta si riferisce ai valori che dovrebbero essere incarnati in una valutazione: quali valori dovrebbe considerare il docente? Cercate di esplicitare quelli che sono per voi i valori importanti della vostra professione che devono essere applicati nel momento in cui si valuta.
7. La settima domanda si riferisce alle valutazioni delle competenze professionali degli insegnanti. Pensate sia una buona pratica l’ipotesi di valutare le competenze professionali degli insegnanti? In altri paesi si fa da moltissimo tempo, addirittura è stato agganciato lo stipendio alle competenze professionali valutate degli insegnanti e dei progressi di carriera, quindi ci sono paesi anglofoni e francofoni in cui questa pratica del valutare le competenze dell'insegnante è una lunga tradizione. Qual è il vostro parere in proposito? Ed eventualmente, secondo quali modalità? Ne impareremo alcune durante il corso.
8. L'ultima richiesta riguarda la valutazione degli istituti scolastici e da qualche anno si valutano istituti fin dalla scuola dell'infanzia. Questa pratica è nuova e molti insegnanti non la conoscono molto. Può essere interessante sapere che cosa sapete voi, cosa ne pensate.

Avete il questionario d'ingresso da compilare, poi farete un'esperienza di correzione del tema: vi si richiederà di correggere i temi in forma globale e in forma analitica. Poi avrete un esercizio di riepilogo delle diverse fasi della ricerca docimologica, che vi saranno presentate nelle prime lezioni, poi via via vi concentrerete sulla costruzione di strumenti: avrete da costruire un questionario per valutare le caratteristiche socio ambientali dei bambini e quindi sapere se sono a rischio di ritardi derivanti da povertà educativa. Avrete poi delle esperienze di costruzione di strumenti di osservazione della motivazione ad apprendere e di valutazione della motivazione allo studio. Avrete poi da costruire una prova oggettiva, una prova di lettura che dovete esaminarla prima e poi costruirla e mettere in campo una tecnica di costruzione del tema che porterà una correzione oggettiva. Avrete poi l'esperienza di valutazione dei processi cognitivi con una prova semi strutturata e l'esperienza di una forma di colloquio particolare per diagnosticare l'attivazione dei processi cognitivi e delle trasformazioni di una scala per valutare aspetti legati al carattere, che conoscerete voi stessi e che poi applicherete nella conoscenza dei bambini. Avrete dei casi quali sarete chiamati a dare un giudizio di valutazione formativa, sarete poi chiamati a preparare degli item per la valutazione della qualità di istituto e fare un bilancio di competenze e per verificare la qualità delle competenze che avete.

La scheda di autovalutazione finale ripercorrerà quella che compilerete in questi giorni per autovalutare bene questo, sarà il percorso che farete. Qualche strumento potrete pianificarlo e svilupparlo a distanza in collaborazione.

Lezione 21: sviluppi della ricerca in docimologia: i problemi e le prime soluzioni

Quali studi sono stati condotti a proposito della valutazione scolastica? Quali problemi sono stati affrontati e quali soluzioni sono stati individuati?

La storia della ricerca sulla valutazione ha una lunga tradizione. Nella stessa si possono individuare dei passaggi importanti che cercheremo di descrivere, soffermandoci in questa lezione sulla fase definita: Docimologia critica.

Prima fase: la valutazione come misura

I primi studi della docimologia si sono centrati sul problema della valutazione intesa come misura che dava origine a numeri, punteggi, i quali sembravano espressioni chiare dei livelli raggiunti dagli alunni. Gli studiosi hanno poi cominciato a chiedersi se davvero i voti sono chiari, se hanno un significato univoco, che i valutatori sono in accordo quando danno voti alle stesse prestazioni scolastiche.

Pionieri della docimologia critica

Le prime constatazioni su un uso soggettivo dei voti in sede di esame universitario sono avvenute dagli studi di Fisher in Inghilterra (1700). Lo statistico ha iniziato ad evidenziare che docenti delle stesse discipline di fronte a stesse prestazioni universitarie attribuivano voci diverse. La stessa constatazione è stata confermata a fine ‘800 da Edgeworth, in Inghilterra, e dal matematico Lagrange, in Francia.

Gli studiosi hanno quindi concluso che il modo con cui i valutatori attribuivano i voti, li rendeva poco affidabili, poiché, di fronte alla stessa prestazione tendevano a dare voti diversi. Questo fenomeno è stato sottolineato a inizio ‘900 nei manuali statunitensi della psicologia, destinati alla formazione degli insegnanti. I manuali invitavano gli insegnanti a fare attenzione al modo con cui venivano attribuiti i voti e sottolineavano il fatto che di fronte anche a prestazioni semplici come un problema di matematica elementare o un saggio in lingua gli insegnanti tendevano a dare voti diversi.

Dopo le prime ricerche dei pionieri della docimologia, iniziarono ad arrivare in letteratura conferme sistematiche delle constatazioni di inaffidabilità dei valutatori da studiosi di vari paesi.

• Apporti significativi vennero dati in Francia dove H. Piéron condusse una ricerca sistematica sulla predittività che avevano gli esami di scuola elementare nel prevedere il successo scolastico nella scuola secondaria di primo grado. La sua ricerca, presentata alla Società Francese di Pedagogia, dimostrò che gli esami non avevano affatto una validità predittiva. In sintesi, selezionavano i bambini quasi con una modalità che risultava casuale, tale da non prevedere la riuscita successiva.
• Conferme avvennero anche per altri esami, come ad esempio gli esami di ammissione all’École normale supérieure per la formazione degli insegnanti. Laugier e Weinberg dimostrarono che all’esame di ammissione, anche valutatori esperti non erano stabili nelle selezioni e quindi non selezionavano con costanza gli stessi soggetti per ammetterli all’esercizio professionale.
• Anche in Belgio si ottennero analoghe segnalazioni. Ricordiamo in particolare gli studi di R. Buyse, padre della pedagogia sperimentale e O. Decroly, famoso pedagogista.
• A fronte di questa costellazione di segnalazioni venne condotta un’inchiesta internazionale coordinata dalla Columbia University. Vennero prodotti apporti dagli studiosi di vari paesi e i rapporti di ricerca convergevano tutti nell’affermare che i correttori non sono costanti nell’assegnare i voti e che non vanno d’accordo gli uni con gli altri e che, lo stesso correttore, quando deve correggere la stessa prestazione, a distanza di tempo, attribuisce lo stesso voto.

Traiamo delle prime conclusioni dalle ricerche che abbiamo presentato, riferite alla prima parte del secolo scorso a livello internazionale. Da queste ricerche è emerso che:

• I valutatori hanno un uso soggettivo dei voti.
• Questo significa che ridistribuiscono i voti secondo una gamma differente, con frequenza diversa.
• Di conseguenza i voti ottenuti non sono confrontabili tra di loro se vengono da valutatori diversi. Anche in condizioni controllate, come ad esempio gli esami (esami di selezione o esami finali), la valutazione non appare valida e stabile.
• Non predice il successo futuro né nella selezione dei ragazzi né nella conclusione di un curricolo scolastico.

Gli studi sull’inaffidabilità dei voti in Italia sono apparsi molto più tardi che negli altri paesi; l’Italia non aveva partecipato all’indagine internazionale promossa dalla Columbia University degli anni ’30. Gli studiosi italiani cominciarono a pubblicare sull’inaffidabilità dei voti dopo la Seconda guerra mondiale. Possiamo ricordare l’apporto dato da Diego De Castro come statistico nel segnalare alcuni fenomeni di inaffidabilità dei voti. Abbiamo inoltre lo studio sistematico svolto da Luigi Calonghi dal ’56 in poi, per far emergere le divergenze docimologiche degli esaminatori italiani, sia che si trattasse di insegnanti della scuola primaria sia di insegnanti di altri ordini scolastici. Dalla sua ricerca è emerso che:

• Esaminatori diversi non esaminano nello stesso modo lo stesso prodotto scolastico anche se è semplice.
• Esaminatori diversi nelle diverse materie non usano la scala di voti nello stesso modo. Ci sono materie in cui gli esaminatori tendono ad essere più stretti e quindi a dare voti più bassi e materie in cui tendono ad usare tutta la gamma dei voti ottenendo medie più alte.
• Lo stesso esaminatore nel considerare e nel correggere lo stesso prodotto non è costante nel tempo. Se corregge due volte dà origine a voti diversi.

La presente tabella, tratta dalle ricerche di Calonghi fa emergere le diversità dei valutatori a proposito della correzione di un problema aritmetico elementare, svolto dall’alunno 1 e dall’alunno 23. Diversi insegnanti danno voti diversi alla stessa prestazione. Per l’alunno 1 si tratta di una differenza tra il voto 9 ed il voto 6,5. Le differenze nei giudizi fanno emergere diversità nei criteri: il docente 7, che da 6,5 all’alunno 1 afferma che mancano le semplificazioni (nell’elaborato corregge anche la presenza del km davanti al totale di un calcolo in colonna); l’insegnante 10 giustifica il 9 attribuito alla prestazione affermando che il lavoro è condotto con ordine e precisione (però nell’elaborato segnala l’assenza delle semplificazioni esattamente come l’insegnante 7 senza far pesare questo difetto nel voto finale). Di conseguenza emerge la diversità dei criteri e dei voti anche nella valutazione di piccoli problemi elementari.

Variabilità nei voti in diverse discipline in una secondaria di primo grado

In questo esempio si vede la variabilità dei voti nelle diverse discipline. La targhetta orizzontale evidenzia dove si colloca la media e il segmento ci dice la variabilità delle valutazioni. È possibile notare come il voto medio attribuito in una scuola media agli alunni è in Matematica un voto che è sotto il 6, mentre invece in Geografia il voto medio per gli stessi alunni è verso il 6 e mezzo in media, con delle oscillazioni molto larghe, che vanno da un voto insufficiente, di poco sotto il 5 a un voto oltre il 7 e mezzo.

Frequenza (%) con cui l’insegnante 1 ha menzionato gli aspetti del profitto nel primo e nel secondo pacco di compiti esaminati

• A1 Valutazioni generali
• A4 Originalità
• B2 Aderenza al tema
• B4 Numero degli argomenti
• B5 Validità delle connessioni logiche
• B6 Comprensione
• B7 Fedeltà al testo storico
• C Forma

In questo terzo esempio si evidenzia la frequenza con cui un’insegnante ha menzionato diversi criteri di correzione dei compiti, correggendo due volte lo stesso pacco di prodotti. La prima correzione è designata con le colonne chiare, mentre la seconda con le colonne scure.

È possibile notare come nella prima correzione dei compiti il docente che aveva seguito una conferenza sulla creatività, tende a ripetere più volte il criterio di originalità su tutto il pacco dei compiti, che erano 100. Nella seconda correzione, svolta a distanza, il numero di volte che viene citata l’originalità (colonna scura) è sotto il 10. Altri criteri vengono usati più o meno stabilmente in tutte e due le correzioni: ad esempio la validità delle connessioni logiche. Altri criteri, come le valutazioni generali, sono stati utilizzati una sola volta, cioè la prima volta che il docente ha corretto il compito.

In conclusione, il docente ripetendo le correzioni, non usa gli stessi criteri e quindi arriva a conclusioni diverse.

Differenze tra correttori: evidenze con analisi statistica (un esempio)

Come potremmo fare oggi per ripetere qualche esperimento che dimostri che i voti, dati dai diversi correttori, non sono uguali? Potremmo prendere le prestazioni di 5 studenti e poi sottoporle alla valutazione di tre correttori: il correttore A, il correttore B e il correttore C.

Nell’esempio:

• Il correttore A ha dato due 4, un 5 e due 6
• Il correttore B ha dato un 3, tre 5 e un 7
• Il correttore C ha dato cinque 5, non vedeva grandi differenze tra i prodotti dei tre studenti.

Vediamo in un esempio come si può descrivere la distribuzione dei voti del correttore A, che ha dato due 4, un 5 e due 6. Posso mettere in un grafico (un istogramma) rispettivamente il numero di volte in cui ha dato i voti e ottengo il grafico in figura, riportato a sinistra del PowerPoint. Posso sintetizzare due informazioni, riferite a questa distribuzione: dove si concentrano i voti e con che variabilità sono stati dati.

Dove si concentrano i voti me lo dice la media aritmetica: è sufficiente che sommo tutti i voti che sono stati dati e li divido per il numero di voti dati (in questo caso 5) e ottengo 25/5= 5, come si può vedere nell’esempio riportato in alto a destra.

Per quanto riguarda la variabilità potrei riferirmi all’oscillazione massima che ha avuto questo valutatore, vedendo la distanza tra il voto massimo e il voto minimo. In questo caso ha dato al massimo 6 e al minimo 4, quindi questa gamma è 2. Questa misura di variabilità però non è affidabile perché basta un voto estremo per allargare notevolmente la gamma, anche quando il valutatore dà a tutti gli altri bambini lo stesso voto. Quindi è sufficiente che dia un 10 in un insieme di voti uguali, che sono tutti 6, e la gamma si allarga senza tenere conto che tutti gli altri soggetti hanno preso lo stesso voto.

Occorre quindi che abbia una misura di variabilità costruita in relazione a tutti i voti che ho dato. Questa misura di variabilità, che è la misura più stabile della variabilità di un valutatore è lo scarto quadratico medio. Ricordiamo come si fa a calcolarlo e guardiamo la tabella. In tabella sono riportati, nella prima colonna, i voti che ha dato il valutatore a. Nella seconda colonna posso vedere a che distanza è ogni voto dalla media, quindi calcolare la differenza tra il voto dato e la media, che come abbiamo visto è 5 (quindi farò 4-5, 4-5 e così via). La terza colonna riporta il risultato di questa operazione, ad esempio 4 - 5 = -1, ecc... Potrei immaginare di calcolare una media di queste oscillazioni sommandole tutte e dividendo per il numero di osservazioni.