Riassunto esame pedagogia sperimentale, prof.ssa Gisella Paoletti, libro consigliato Introduzione alla pedagogia sperimentale. Come fare ricerca in campo educativo, Paoletti

La validità esterna è messa in dubbio quando non possiamo generalizzare i risultati dello studio ad altri soggetti,

situazioni, modalità di osservazione e manipolazione. Le minacce della validità esterna derivano dall’interazione del

trattamento con il testing (è difficile generalizzare i risultati a situazioni in cui il testing non è presente), con fattori

legati alla selezione (i soggetti sono poco rappresentativi della popolazione), con il contesto e la storia (che hanno

tratti peculiari).

I risultati di un esperimento sono circoscritti ai soggetti e alle condizioni che sono state usate in quel particolare

esperimento. Tuttavia il ricercatore vuole avere informazioni sulle abilità di comprensione generale, ed essere in grado

di generalizzare i risultati ad altri soggetti e condizioni.

Generalmente si è interessati ad una popolazione target (tutti gli studenti delle medie, tutti i bimbi con difficoltà di

lettura, ecc), tuttavia è difficile se non impossibile avere accesso a tutta la popolazione target, mentre è possibile che

si abbia accesso a 3 scuole medie della regione per un totale di 300 bimbi (popolazione accessibile) dai quali

selezionare il campione.

Per fare delle affermazioni sulla popolazione generale basandoci sui risultati ottenuti con un particolare campione, il

campione deve essere stato costruito in modo da rappresentare la popolazione.

La validità esterna viene aumentata quando si può dimostrare che una determinata relazione causale può evidenziarsi

in popolazioni diverse, con strumenti diversi e in contesti diversi. Si può ottenere ciò sia all’interno di una stessa

ricerca con disegni complessi, sia mediante ricerche indipendenti che introducono variazioni nei soggetti, metodi,

strumenti o nel contesto. Replicare un esperimento è una procedura importante in quanto ogni replica sarà condotta

su una popolazione accessibile diversa, andando ad aumentare la generalizzabilità dei risultati.

Una ricerca esposta nel 1990 da Camaioni, Ercolani, Perrucchini e Greenfield, che aveva lo scopo di verificare

l’equivalenza dei risultati ottenuti con studenti universitari californiani e studenti universitari italiani. Risultava che i

due gruppi italiani (esperti/novizi) non corrispondevano a quelli americani, in quanto solo gli esperti italiani

raggiungevano punteggi iniziali pari ai novi zi americani. La distinzione tra novizi ed esperti era rilevante in quanto era

risultato precedentemente (Greenfield, 1987) che solo i novizi (americani) traevano giovamento dal trattamento, si era

cioè attuato un transfert delle abilità cognitive esercitate nel giocare con un videogioco a quelle richieste nel risolver

un compito di ragionament6o induttivo di tipo tecnico-scientifico. Questo esempio rilevante perché fa

riferimento ad una variabile (esperienza in un dominio) che interessa molti campi e molti compiti.

Selezionando un campione dalla popolazione dovremo far si che le caratteristiche trovate nella popolazione

(distribuzione di sesso, età, classe socioeconomica ecc) siano riprodotte nel campione nella stessa proporzione. Più

grande è il campione più è probabile che i risultati siano veri.

5.5 La validità delle conclusioni statistiche

Dopo un trattamento rileviamo una differenza tra le medie di due gruppi e concludiamo che la variabile indipendente

che abbiamo manipolato ha avuto un effetto sulla variabile dipendente misurata. Dobbiamo però ricordare che la

decisione sulla significatività di una differenza è sempre di tipo probabilistico e corriamo il rischio di giungere alla

conclusione sbagliata.

Errore di I tipo: se affermeremo che il trattamento da noi introdotto è stato efficace (c’è una differenza tra i gruppi

dovuta al trattamento) mente in realtà le differenze sono dovute al caso. Secondo Ercolani avviene nei disegni di

ricerca nei quali si effettuano confronti senza avere specifiche ipotesi (fishing).

Errore di II tipo: se affermeremo che il trattamento non ha avuto effetto perché le differenze tra i campioni sono

risultate essere troppo piccole ed invece la differenza esiste, ma è mascherata dalla variabilità dei soggetti, dalla

ristrettezza o dalla scarsa potenza statica del test usato.

Quando il campione è piccolo e la variabilità t6ra i soggetti è ampia la possibilità di evidenziare l’effetto della variabile

è ridotta. Questa possibilità è legata alla potenza statistica di un test che sarebbe maggiore per i test parametrici e

minore per quelli non parametrici.

Cap. 6 I metodi di controllo

In questo capitolo descriveremo i procedimenti usati per controllare le minacce alla validità di un esperimento. In ogni

indagine occorre attuare delle specifiche procedure di controllo per ridurre i limiti alla generalizzabilità dei risultati, per

eliminare spiegazioni alternative, per stabilire la validità statistica dei risultati.

Quando conduciamo un esperimento ricerchiamo la variabilità: se tutti i soggetti ottenessero dei risultati uguali prima e

dopo l’intervento, non potremmo concludere che l’intervento ha avuto successo.

Occorre stare attenti alle forme di variabilità indesiderata, quelle che possono minacciare la validità di uno studio

permettendo spiegazioni alternative dei risultati.

Una misura di variazione è la varianza. Nel condurre un esperimento ci aspettiamo che l varianza tra i gruppi (ovvero

la differenza tra i punteggi del gruppo sperimentale e quello di controllo) sia alta. Una varianza alta tre i gruppi è

necessaria per supportare l’ipotesi di ricerca che la variabile indipendente abbia avuto un effetto sulla variabile

dipendente, e consentirci di rifiutare l’ipotesi nulla.

Tuttavia la differenza significativa trovata può essere dovuta sia all’effetto sistematico della variabile indipendente

(varianza sperimentale) sia all’effetto di variabili confondenti (varianza esterna), o a entrambe. Test statistici ci dicono

solo se c’è una differenza tra i gruppi e non se la differenza è dovuta al fattore sperimentale o a fattori estranei. Da qui

la necessità di anticipare le variabili confondenti potenziali. Se le prevediamo e le teniamo sotto controllo potremo

concludere che la varianza è dovuta proprio alla variabile indipendente.

Per raggiungere questo obbiettivo dovremo far sì che il gruppo sperimentale e quello di controllo siano simili prima

dell’introduzione del trattamento, e che siano trattati nello stesso modo durante l’esperimento (eccezion fatta per la

manipolazione della variabile indipendente). Servirà poi ridurre la varianza d’errore (variabilità casuale entro i gruppi)

curando l’affidabilità delle misure (lo strum. di misura deve dare risultati costanti, non modificati per il fatto che la prova

viene svolta da due diversi sperimentatori o viene messa in atto in due momenti diversi).

I disegni sono uno strumento fondamentale per la variabilità interna, secondariamente per la validità esterna, e non

controllano in modo diretto la validità delle conclusioni statistiche e delle operazioni di misurazione.

Quali accorgimenti occorre adottare per selezionare ed assegnare i oggetti alle varie condizioni, controllare l’ambiente

in cui si svolge l’esperimento e preparare le misure, tenere sotto controllo le reazioni dei soggetti e dello

sperimentatore?

6.1 Selezione e assegnazione dei soggetti

Dalla popolazione andremo a selezionare, mediante delle procedure di selezione, i soggetti che faranno parte del

nostro campione. Una volta selezionati, andranno assegnati alle varie condizioni sperimentali.

6.1.1 selezione casuale, stratificata, ad hoc

Campionamento casuale o random selection- permette di assumere che le caratteristiche della

popolazione siano distribuite nel campione nella stessa proporzione che nella popolazione. La descrizione

delle procedure di campionamento dovrebbe dare a chi legge gli elementi per capire le caratteristiche della

popolazione da cui è stati tratto il campione.

Campionamento casuale stratificato- utilizzato quando una o più variabili (sesso, età, status

socioeconomico …) risulta critica.

Campioni non probabilistici- usato quando non è possibile avere un campione casuale quindi il campione

viene costruito ad hoc, come intere classi, gruppi, soggetti disponibili. In questo caso sarà necessario ottenere

e riferire dati descrittivi che in una certa misura riducono le minacce alla validità esterna. Come avviene nello

studio di Rojas- Drummond et al, che studiano lo sviluppo di strategie di autoregolazione per la comprensione

di testi, il campione è composto da << 97 bambini di 9 anni. Si tratta di 4 classi complete, e i bambini

provengono da un livello socioeconomico medio-basso>>. È prevedibile che i risultati ottenuti si possano

estendere a soggetti simili a quelli del campione, bambini di classe medio-bassa. La stessa ricerca, condotta

in altri quartieri, con bambini appartenenti ad altre classi socioeconomiche, potrebbe produrre risultati diversi.

6.1.2 Assegnazione casuale, per appaiamento

Assegnazione casuale- Quando i soggetti sono stati selezionati, devono essere assegnati alle diverse

condizioni sperimentali previste. l’assegnazione casuale alle diverse condizioni sperimentali permette di

ridurre molte minacce alla validità interna, tanto che è ritenuta la procedura più vantaggiosa, di assegnazione

dei soggetti nei vari gruppi (casualizzazione). I soggetti selezionati verranno numerati e potranno essere

assegnati alle due diverse condizioni usando delle tabelle di numeri casuali (il primo numero incontrato alla

prima condizione, il secondo alla seconda condizione ecc).

Appaiamento- quando i soggetti sono pochi e c’è il rischio di che alcune variabili critiche siano sovra-

rappresentate in un gruppo e viceversa nell’altro si usa una procedura di assegnazione casuale con soggetti

appaiati. Es: l’età dei soggetti è una variabile confondente; elenchiamo i soggetti per età, raggrupparli in

coppie e assegnare ogni membro della coppia ad una condizione casualmente.

Il disegno entro i soggetti- anche questa procedura assicura l’equivalenza dei gruppi. Un unico gruppo di

soggetti viene prima assegnato ad una condizione e successivamente ad un’altra. I limiti sono evidenti poiché

come rileva Meazzini l’insegnante che ha provocato un cambiamento di tipo positivi difficilmente sarà

propenso a ripristinare le condizioni precedenti. Nell’indagine di D’annunzio il ricercatore ha trovato una

differenza tra< i punteggi del pre-test e del post-test, rifiutando l’ipotesi nulla. Ma questi risultati nono sono

sufficienti per ottenere delle conclusioni certe circa la relazione causale tra le variabili, e cioè sull’ipotesi che il

tutoraggio individuale avesse un e