Appunti esame Metodologia della ricerca sociale - Esperimenti. Validità interna e Validità esterna

2. FATTORI CHE CONDIZIONANO LA VALIDITA’ INTERNA

Sono fattori rivali che possono condizionare o pregiudicare la validità dell’esperimento.

I fattori rivali sono complessivamente 8, come di seguito elencato:

1) Storia

2) Testing

3) Selezione

4) Maturazione

5) Strumentazione

6) Mortalità sperimentale

7) Regressione statistica

8) Interazione fra selezione ed uno o più degli altri fattori.

2.1. Storia

Storia: insieme di eventi che si verificano al tempo stesso in cui si svolge l’esperimento (unità di tempo fra

1° e 2° misurazione/osservazione). Tali eventi possono sovrapporre o sostituire X e sono eventi non

controllabili dal ricercatore.

Se il pre – Test (O1) e il Post – Test (O2) sono effettuati in giorni diversi, la differenza osservabile tra i 2

potrebbe essere dovuta ad avvenimenti accaduti nel frattempo. Gli eventi possono essere:

1. Eventi Macrostorici: evento indipendente dall’ambito spaziale con ampia risonanza ed effetti protratti

nel tempo (attacco torri gemelle)

2. Eventi Microstorici: evento con ambito spaziale ristretto e diffusione limitata (evento locale)

Tale fattore rivale è plausibile se riguarda la maggior parte dei soggetti del gruppo sotto indagine. Esempio

ricerca di Collier sugli studi di una classe. La plausibilità del fattore storia aumenta, all’aumentare del tempo

che intercorre tra O1 e O2.

Controlli attivabili dal ricercatore

a) Si “ferma il tempo”: Prevede la possibilità di accorciare la distanza tra le 2 osservazioni.

b) Si “cambia il tempo”: Possibilità di ripetere l’esperimento facendo variare il tempo in modo che

nuovi eventi oscurino i precedenti.

c) Occasioni temporali: Si fa un test dilatato nel tempo verificando l’andamento del fenomeno con e

senza X quindi le condizioni del test si cambiano e si mandano avanti nel tempo le osservazioni.

d) Isolamento del gruppo Pag. 4 a 10

e) Ricerca di una teoria che autorizzi ad escludere l’eventualità che l’evento storico abbia fatto o

meno “danni”: Situazione disperata, diversa totalmente dalle precedenti, che si verifica quando non

sono in isolamento; non posso ripetere l’esperimento; non ho un gruppo di controllo.

2.2. Testing

Testing: effetti derivanti dal primo test che possono i9nterferire sul secondo test. Sono effetti indipendenti

dalla X ma che producono comunque cambiamenti. (effetto del Pre- Test stesso).

Il Pre – Test può essere considerato come l’addestramento per migliorare il Post- Test e tale fattore è molto

sensibile se si misurano le abilità. Infatti nei test di intelligenza e abilità, gli studenti sottoposti al test per la

seconda volta ottengono risultati migliori di coloro che lo affrontano per la prima volta.

Gli effetti reattivi sono probabili quando il test funziona da stimolo al cambiamento e non come una

semplice registrazione passiva del comportamento.

Esempio: Ricerca su una Dieta, con X che riguarda una cura psicologica.

Se per iniziare faccio rilevare il peso dei partecipanti all’esperimento, ed in questa osservazione un

individuo si accorge di aver un peso superiore a 100 Kg., questo fatto potrebbe avere un effetto sul

paziente derivante non solo dalla cura psicologia, ma anche dal primo test.

Controlli attivabili dal ricercatore

a) Adozione di un disegno di ricerca con Gruppo di controllo

b) Adozione di un disegno di ricerca con Gruppo di controllo, ma senza il Pre-test

Esempio:

Adozione di questo disegno (Disegno 6):

Pre-test Post-test

R // X O 1

R // O 2

e NON di questo disegno (che prevede il Pre-Test):

Pre-test Post-test

R O X O

1 2

R O O

3 4

c) Selezione di gruppi abituati alla sperimentazione

La selezione di gruppi che sono abituati alla sperimentazione (ad esempio la popolazione

scolastica), riduce il rischio dell’effetto testing.

2.3. Selezione

Selezione: diversa attribuzione dei casi al Gruppo Sperimentale ed a quello di Controllo che potrebbe

creare disuguaglianze fra i due. La X quindi non avrebbe effetto sulla diversità perché i due gruppi sono già

diversi in partenza. I gruppi sono perciò naturali/ statici, cioè non formati dal ricercatore attraverso

assegnazioni e quindi non considerabili come perfettamente equilibrati. Pag. 5 a 10

Controlli attivabili dal ricercatore

a) Randomizzazione nella scelta dei casi

b) Pre-Test sulla variabile oggetto della sperimentazione

Ad esempio: corso di inglese supplementare come X

2.4. Maturazione

Maturazione: processo riguardante l’evoluzione naturale nel tempo di uno stato dell’organismo di un

individuo, cioè i processi biologici o fisiologici che variano sistematicamente con il passare del tempo

indipendentemente da eventi esterni. Esempi sono l’invecchiamento, aumento dell’appetito e stanchezza.

Le differenze rilevate fra O1 e O2 potrebbero essere un effetto di tali processi e non della variabile X.

Controlli attivabili dal ricercatore

a) Gruppo di controllo

b) E stensione dell’esperimento nel tempo, fino a comprendere le eventuali ciclicità

Ad esempio: ciclicità stagionali come esami scolastici, periodi di vacanza e di lavoro, ecc.

2.5. Strumentazione

Strumentazione: indica i cambiamenti autonomi dello strumento di misurazione oppure mutamenti

riguardanti gli osservatori o anche rilevanti impiegati. Tali cambiamenti che producono e spiegano le

differenze osservabili tra O1 e O2. Si può avere un deterioramento dello strumento di misura usato

nell’esperimento e per strumento si intende sia uno strumento vero e proprio e sia una persona.

Esempi:

• Bilancia che si “stara” e viene sostituita fra il Pre-test ed il Post-test

• Cambiamento delle modalità di calcolo del Paniere ISTAT su consumi delle famiglie

Controlli attivabili dal ricercatore

a) Controllo sistematico dello strumento (se ci sono stati cambiamenti)

Sintonizzazione fra le due rilevazioni

b) Ad esempio: se è cambiato l’indice ISTAT con inserimento di nuovi beni nel paniere, si cerca di

ricostruire l’indicatore nella sua versione precedente).

2.6. Mortalità sperimentale

Mortalità sperimentale: si intende la perdita di un0unità di analisi nei gruppi di osservazione.

Se tra il Pre – Test e il Post- Test vi sono differenze tra O1 e O2, esse sono quindi imputabili all’assenza di

individui nei gruppi. Un soggetto si sottrae dal Post – Test poiché non ci si ritine all’altezza. Esempio: se

qualcuno ritiene di non aver migliorato il proprio apprendimento, si assenta al Post- Test.

Controlli attivabili dal ricercatore

a) A condizione che il Pre-test non sia anonimo, si ri-sintonizza il Gruppo Sperimentale anche nel Pre-

test con i mancanti al Post-test. Pag. 6 a 10

Un altro metodo per controllare i risultati è quello di ricorrere ad ANOVA.

Scarto Medio Totale = Scarto fra Pre-test e Test di tutti i soggetti

Scarto Medio del Gruppo Sperimentale + Scarto Medio del Gruppo di Controllo.

Se l’esperimento ha funzionato allora dovremmo avere che:

Scarto Medio Gruppo Sperimentale > Scarto Medio Gruppo di Controllo

Poi calcolo F per vedere significatività della relazione. E poi calcolo anche Eta Quadro.

2.7. Regressione statistica

Regressione statistica: riguarda la selezione di soggetti p gruppi in base a punteggi estremi che riguardano

la proprietà in questione, cioè l’oggetto di sperimentazione. Esempio del corso di Inglese: agli estremi

troviamo individui bravissimi e dall’altra parte individui che non conoscono la lingua). E’ un fenomeno

diffuso e naturale.

Esempio: Gruppi estremi in uno scaling

0 M 10 Gruppo dei + Bravi

0 M 10 Popolazione

0 M 10 Gruppo meno Bravi

Le medie dei Gruppi estremi, per effetto del tempo, tendono a “regredire” verso la media della

popolazione.

Spiegazione:

• I punteggi massimi (nei voti scolastici) non possono che peggiorare per sviste, errori, ecc..

• I punteggi minimi hanno solo la possibilità di migliorare..

Se si utilizzano Gruppi Naturali e se si hanno Gruppi estremi: La Regressione Statistica avrà effetto sulla X.

Con due Gruppi estremi è come predeterminare il risultato della ricerca.

Controlli attivabili dal ricercatore

a) Si mescolano i due Gruppi per farne due equivalenti/equilibrati

b) Si randomizza la scelta dei gruppi nella popolazione

Risultato: ambedue i gruppi avranno un effetto Regressione Statistica simile, quindi si può evidenziare

l’effetto reale della X.

2.8. Interazione fra Selezione ed uno o più dei fattori precedenti

Esempio:

Selezione di dirigenti di aziende:

a) Multinazionali, con alta predisposizione alla mobilità (sempre in giro per il mondo)

b) Nazionali: sostanzialmente stanziali.

Il primo Gruppo è soggetto

• a Fattori Storici Macro e Micro

• al Fattore Maturazione molto più significativamente del Gruppo 2.

Alla differenza iniziale si sommano quindi altre differenze. Pag. 7 a 10

3. FATTORI CHE CONDIZIONANO LA VALIDITA’ ESTERNA

I fattori rivali per la validità esterna sono 4, come di seguito elencato:

1) Interazione Testing - X

2) Interazione Selezione - X

3) Reattività alle condizioni sperimentali

4) Interferenza di X multiple.

3.1. Interazione Testing - X

Interazione Testing – X: sottoporre il pre- test ad una popolazione potrebbe ridurre o intensificare la

sensibilità o reattività della variabile sperimentale, ottenendo risultati non rappresentativi degli effetti che

X potrebbe avere su un universo non sottoposto al Pre- Test. L’efficacia del Test è comunque collegata alla

esecuzione del Pre-Test.

Esempio:

La Vita è Bella (film) evidenzia molti valori (famiglia, persecuzione, rapporto padre-figlio, ecc…).

Ma se io faccio compilare prima della proiezione un questionario sul Pregiudizio Razziale, l’attenzione dello

spettatore si concentrerà su Pregiudizio Razziale (il Pre-Test ha focalizzato l’attenzione su tale aspetto).

Quindi Pre-Test preparatorio alla ricezione di X, poi somministrazione di X (il Film) hanno determinato

risultato del Test.

Questo aspetto in fase di sperimentazione non era stato evidenziato perché il Gruppo di Controllo non

aveva visto il film.

Controlli attivabili dal ricercatore

a) Verificare se è stato fatto il Pre-Test

Verifica del Disegno Sperimentale: con un disegno di ricerca adeguato posso anche misurare la

Interazione Testing > X.

Il disegno 5 seguente permette di verificare l’effetto interazione Testing - X (variazioni fra O ed

2

O ) ed effetto Test in validità interna (variazioni fra O ed O ).

5 4 6

Pre-test Post-test

R O X O

1 2

R O O

3 4

R X O 5

R O 6

b) Verificare se si è ut