Riassunto esame Metodologia della ricerca empirica, prof Vannini, libro consigliato Origini e sviluppi della ricerca valutativa, Vertecchi

Origini e sviluppi della ricerca valutativa – Vertecchi, Agrusti, Losito

Parte 1

1. I problemi di ieri e di oggi

Nel 1805, Lacroix espresse alcune perplessità in merito alle modalità di affrontare gli esami in materie matematiche, il cui studio mnemonico professava la sua inutilità e perdita di tempo.

• Gli esami rilevano negli allievi caratteristiche significative?
• Che conseguenze hanno certe impostazioni di studi sulla componente affettiva degli allievi?

C’è contiguità tra le prove d’esame e i modelli di cultura scolastica?

La rapidità e l’ampiezza dei cambiamenti che ha investito la scuola danno ragione da un lato all’atteggiamento critico del pubblico nei confronti della scuola, che la vorrebbe più pronta a soddisfare le nuove esigenze, dall’altro al disagio degli insegnanti che si trovano ad affrontare situazioni sempre più complesse senza avere risorse professionali adeguate.

La nascita di una scienza della valutazione si collega all’ampliamento della base sociale dell’istruzione e alla conseguente crescita della popolazione scolastica.

Si può indicare una valutazione di micro-sistema, apprendimenti, meso-sistema, delle singole scuole con il RAV, e macro-sistema, dell’intero sistema scolastico.

Gli oggetti da valutare si distinguono in valutazione:

• In ingresso: dati raccolti in ingresso.
• In uscita: cosa esce dal sistema.
• Di contesto: risorse e vincoli.
• Di processo: come funzionano i processi di insegnamento/apprendimento.

2. Come furono esaminati 530 allievi delle scuole di Boston

Horace Mann (1840) si fece portatore dell’opinione pubblica insoddisfatta nei confronti del sistema scolastico del Massachusetts e propose un’indagine mirata a rilevare con una prova scritta le competenze degli allievi in settori significativi. La rilevazione è ricordata come Boston Survey:

Prova = c’erano:

• 154 domande la cui risposta era definita da criteri non ambigui.
• Allievi = è stata somministrata a 530 allievi di età media 13 anni e 6 mesi.
• Risultati = le idee di Mann erano realtà, emersero differenze di rilievo tra le varie scuole e gravi carenze di preparazione.
• Importanza = ricordiamo questa ricerca soprattutto per i metodi e la procedura che ha utilizzato: un’indagine effettuata su un campione che rappresentava l’intera popolazione degli allievi di Boston, in modo tale che i risultati fossero generalizzabili: 530 allievi su 7526.
• Le domande furono formulate in modo non ambiguo per dare una lettura uniforme delle risposte: i quesiti richiedevano una risposta formulata, la cui correzione richiede maggiore attenzione perché può essere necessario ricondurre le prestazioni ad alcuni modelli.
• I risultati furono tabulati correttamente.

Altri tentativi:

• Fisher creò un repertorio di misurazione chiamato scale book in cui le scale valutavano l’allievo in relazione alla competenza e integrando le posizioni raggiunte su più scale.
• Rice (1895) elaborò una prova di ortografia di 50 parole a cui furono sottoposti moltissimi allievi di età da scuola media. “Sotto la ruota”.

3. La tragica storia di Hans Giebenrath

La tragica storia di Hans Giebenrath è tratta dal romanzo di Herman Hesse, 1906.

Hans era un ragazzino figlio di un modesto commerciante che era dotato di una particolare intelligenza. Dopo l’esame, la situazione si rovescia e l’autocommiserazione e gli sforzi del periodo precedente lasciano spazio alla presa di coscienza in sé e nelle proprie capacità.

La cooptazione sociale consiste nel consentire che si entri a far parte di un determinato gruppo, superiore rispetto al proprio, se si risponde alle caratteristiche richieste e si è disposti ad uniformare il proprio comportamento. Il patto di cooptazione è un do ut des: l’ammissione alla classe superiore comporta l’assunzione del ruolo di guardiano e l’esercizio di potere funziona se l’ammissione è per pochi.

Importante è il ruolo dei momenti valutativi, nei quali il potere della cooptazione viene esercitato.

• Ascesa sociale: la cooptazione sociale costituisce un fenomeno in cui si identifica l’insieme della popolazione, l’ascesa sociale ne indica le conseguenze dal punto di vista soggettivo.

I momenti valutativi assumono il ruolo simbolico di tappe del processo di omologazione sociale, quindi la valutazione si identifica con l’esercizio del potere di cooptazione.

Oggi persistono l’ansia, l’insicurezza, la sottostima nelle proprie capacità e il timore dell’insuccesso e sono considerate risposte affettive ai momenti di valutazione, ma le maglie della cooptazione sono più larghe, la scuola è diventata aperta a tutti e le condizioni di contesto si sono modificate.

4. Troppe ingiustizie agli esami

Diminuisce quindi la desiderabilità dell’istruzione e si attenua la relazione di impegno dello studio = acquisizione di status sociale.

Crisi dei sistemi cooptativi.

All’attenuazione della motivazione esterna, ascesa sociale, non si associa un aumento della motivazione interna, con un coinvolgimento affettivo degli allievi, sarebbero stati necessari conoscenze e competenze di intervento nuove, in grado di rispondere alla rapidità dei cambiamenti; invece si sono conservati stili e tecniche di intervento che trovano la loro legittimità nel sistema cooptativo, come gli esami: ma quando agli esami si presenta un gran numero di allievi si rivelano i limiti tecnici delle modalità di accertamento, i differenti comportamenti degli esaminatori, le discrepanze nei criteri di giudizio.

Le prove diventano oggetto di critica, da un lato, dei rigoristi, dall’altro, dei permissivi. In realtà questa polemica è insensata perché il rigore, di per sé, non costituisce criterio per la valutazione degli esami.

La Carnegie Corporation di New York decise, nel 1931, di proporre un’indagine internazionale i cui risultati, soprattutto in Francia, dove sono stati indagati gli esami del baccalaureat, hanno dato il via alla nascita della docimologia, a partire dalla necessità di modificare le strategie di valutazione.

5. Cosa emerse dalla ricerca sul baccalaureat

• Furono costituiti 6 gruppi di esaminatori ciascuno composto da 5 insegnanti.
• A ogni esaminatore 100 prove con la consegna di assegnare un voto su una scala in ventesimi.
• Risultò che lo scarto medio fra correttori era molto elevato: inesistenza di criteri uniformemente condivisi e applicati nella valutazione; ogni correttore interpretava a suo modo la scala di voti; per ottenere un voto capace di indicare il livello della prova il numero di prove corrette per ogni esaminatore sarebbe dovuto essere altissimo.

Ciò portò a due diverse attenzioni nella ricerca valutativa messa in atto dalla docimologia:

• Definizione di criteri di lettura delle prove uniformi.
• Sviluppo di prove per le diverse esigenze valutative.

6. Quando possiamo fidarci della valutazione

Se si sono chiamati esaminatori esperti, perché c’è stata questa diversità nei criteri di giudizio?

Risposta possibile: in realtà si usavano criteri tradizionali, ma le condizioni di intervento e la popolazione di riferimento erano cambiate. Le qualità personali e intuitive dell’insegnante non bastavano più per la valutazione, bisognava riconsiderare la qualità del prodotto scolastico e la modalità con cui questo veniva giudicato.

Come si valuta la qualità di un prodotto?

Si stabilisce sulla base di uno standard, ovvero un’evoluzione del concetto di sufficienza, e non sulla base del presentarsi accidentale di aspetti positivi. La qualità del servizio scolastico sarà considerata positiva se si assicura uno standard positivo, risultati desiderati, anche eccezionalmente positivi, alla maggior parte delle persone coinvolte.

Tuttavia, quando si opera su grandi quantità, assicurare uno standard positivo è difficile:

• Si devono definire le caratteristiche del prodotto da osservare.
• Bisogna mantenere il processo sotto controllo.

Lo sviluppo della scolarizzazione ha richiesto revisioni nell’organizzazione del lavoro scolastico che hanno spostato la responsabilità delle scelte dai singoli alla struttura entro cui operano, quindi l’opinione pubblica ha incominciato a esprimere propri giudizi sulla qualità dell’istruzione non in riferimento al lavoro svolto da un insegnante, ma integrando i dati di cui dispone sull’insieme del sistema scolastico.

Nuovi criteri di valutazione:

• Validità: capacità della prova di rilevare un aspetto predeterminato, senza sovrapporlo ad altri o potendo confrontare i dati con altri ad essi omogenei.
• Attendibilità: informazioni rilevate secondo criteri accuratamente definiti, stessi risultati anche con esaminatori diversi.

Inoltre bisogna riflettere sull’influenza del contesto.

7. Valutare e decidere

La ricerca valutativa rischia di accreditare nuove forme di determinismo, che collegano il raggiungimento di risultati positivi a condizioni particolari, quindi è necessario individuare soluzioni per collegare la valutazione agli altri aspetti costitutivi dell’attività della scuola al fine di migliorare la qualità dell’istruzione.

Gli allievi che accedono ad una proposta di istruzione presentano caratteristiche personali diverse, che si traducono in differenti comportamenti cognitivi e diverse disposizioni affettive in ingresso.

• Se si rivolgerà una proposta uniforme, allora le caratteristiche personali saranno predittive dei risultati che l’alunno potrà conseguire.
• Se si tiene conto delle caratteristiche iniziali per proporre un apprendimento specifico volto a conseguire per tutti gli stessi traguardi, allora è più probabile che si potranno ottenere esiti finali caratterizzati da distribuzioni poco disperse delle variabili indipendenti, livello e tipo di successo, ritmo di apprendimento, etc.

Sono utilizzati modelli didattici derivati dalle tecnologie dell’istruzione: non vuol dire l’uso di tecnologie, ma la precisazione di un impianto concettuale capace di collegare diverse funzioni in cui si scompone la didattica. Le esigenze da soddisfare attraverso l’istruzione programmata, proposte di metà ‘900, erano:

• Istruzione collegata ad un controllo analitico dell’apprendimento.
• Scioglimento dell’implicito educativo nei messaggi con l’elaborazione di modelli di analisi dei contenuti dell’istruzione che consentissero uno sviluppo graduale e sistematico dell’argomentazione.
• Attenzione al rapporto insegnante allievo in situazioni dirette o mediate: definizione di modalità valutative in itinere che fornissero un elemento di retroazione, feedback.
• La definizione di strategie regolative per adeguare la proposta di istruzione al fruitore.

Esempi di modelli didattici per l’istruzione programmata:

• Programmazione lineare Skinner: ogni quadro, frame, contiene un’informazione e a ogni frame corrisponde una verifica. Quando lo si ritiene opportuno, si fornisce aiuto all’allievo.
• Programmazione lineare a scelta multipla Pressey: consiste in una sequenza di quadri. La prestazione richiesta per la verifica consiste nella scelta di un’alternativa tra quelle proposte. Il dispositivo si sblocca solo quando si forniscono risposte corrette.
• Programmazione ramificata Crowder: interpreta empiricamente le richieste di chi apprende e prevede un percorso differenziato.

Se si ricorre all’armamentario consueto di pratiche, non c’è spazio per il sorgere di problemi perché questi suppongono la possibilità reale di scostarsi da un comportamento obbligato. Qui sta la possibilità e la capacità di scegliere tra differenti ipotesi di soluzione di un problema ed è ciò che viene indicato come decisione. Gran parte dei comportamenti scolastici sono privi di alternative, non determinano un problema e quindi non richiedono una decisione.

8. La valutazione: ricerca di base e ricerca istituzionale

Nel 2007 è stato pubblicato il “Quaderno bianco sulla scuola”, che restituisce un’immagine chiara e veritiera della scuola italiana, nel bene e nel male, dando conto delle analisi promosse dal MIUR. Può essere visto come un segnale di consapevolezza dopo anni di interventi sconsiderati.

Tuttavia, sono presenti dei limiti conoscitivi in questo resoconto perché risente della debolezza strutturale della scuola italiana. Si riconosce che lo sviluppo dell’attività valutativa è una condizione basilare per lo sviluppo del sistema scolastico, ma si finisce con l’indicare linee di intervento e soluzioni organizzative la cui logica è estranea alla cultura dell’educazione. Ciò non sorprende considerato che in Italia la ricerca valutativa è consistita quasi esclusivamente nella partecipazione a grand