Riassunto esame principi del testing e della ricerca in psicologia clinica

La varianza e il coefficiente di affidabilità

La varianza corrisponde alla somma della varianza dei punteggi veri e quella degli errori di misura. V = V_X + V_E

Se gli errori sono responsabili della gran parte della varianza dei punteggi osservati (V_E ha un valore alto), allora le misure sono inattendibili.

Per la teoria dei punteggi veri parliamo di coefficiente di affidabilità per indicare un indice che esprima l'influenza relativa dei punteggi veri e d'errore su punteggi totali (osservati) del test. In termini matematici, in una condizione ideale e non reale, dove non è presente l'errore sistematico, il coefficiente di affidabilità (r) è il rapporto tra la varianza del punteggio reale e la varianza totale del test:

r = V_X / (V_X + V_E)

Questo rapporto indica una quota della variabilità dei punteggi dovuta alla variabilità delle reali caratteristiche che il test vuole misurare.

Il range dei valori che può assumere il coefficiente di affidabilità dipende dalla specifica scala di misura utilizzata.

affidabilità è tra 0 e 1.

Situazione peggiore: ES: item “quanti anni hai (da 6 a 99)?”, mi chiedo “Quanta della variabilità della depressione è misurata dal punteggio di questo test?” la risposta è 0. Se sbaglio la domanda oppure somministro un test che misura un costrutto diverso, posso trovarmi nella situazione in cui il punteggio che trovo non mi dice niente della caratteristica che volevo trovare. In questo caso la variabilità dipende 0 dalla depressione, quindi il rapporto tenderà a 0 e l’affidabilità è bassissima.

Situazione migliore: quando il test va a misurare perfettamente il tratto che ci interessa, attraverso gli item giusti. Qui, la parte di Vx spiegata da Vv, tenderà a totale: c’è un punteggio tra Vx e Vv simile, quindi il rapporto tende ad 1.

Gli estremi sono 0 e 1, questi estremi nelle situazioni reali si manifestano molto raramente. È possibile trasformare

questo coefficiente in percentuali: se questo rapporto di Vv/ Vx lo moltiplichiamo per 100 otteniamo una percentuale che possiamo intendere come percentuale di varianza dei punteggi dovuta alla variabilità delle reali caratteristiche che il test intende misurare (ES: r = 0.78 vuol dire che il 78 % della variabilità nei punteggi osservati è dovuta alle reali differenze tra gli individui esaminati, mentre il 22% è dovuto a fonti diverse. 78% non è un risultato scontato, anche se è piuttosto comune).

Attendibilità come correlazione

La r minuscola indica la correlazione: vedremo che molti dei metodi per studiare l'attendibilità si basano sul coefficiente di correlazione.

Il grado di attendibilità può essere inteso come:

• La correlazione esistente tra due distribuzioni di punteggi ottenuti dagli stessi soggetti nello stesso test, somministrato in tempi diversi. La correlazione dei punteggi ai due test diversi è

data dai punteggi veri, poiché l'errore casuale è uguale nelle due somministrazioni: quindi, più è alta la correlazione tra i punteggi, più è alta la variabilità vera osservata nel punteggio del test;

La correlazione tra due distribuzioni di punteggi ottenuti dagli stessi individui in risposta a due forme equivalenti dello stesso test. Le 2 forme equivalenti dello stesso test indicano 2 test creati con lo stesso funzionamento, con le stesse caratteristiche psicometriche, ugualmente difficili, ma con due forme equivalenti (ES: test di competenze aritmetiche 2 item: 3+4 e 2+5, sono ugualmente difficili).

In questo caso i test sono identici nel loro modo di misurare il tratto da misurare e sappiamo che il punteggio ottenuto al test A, come poi quello ottenuto al test B, dipende dai punteggi veri e dall'errore, che però è casuale. Osservando i punteggi ottenuti nei 2 test, la correlazione non può essere dovuta all'errore,

In quanto casuale, l'unico motivo per cui osserviamo una correlazione tra i due punteggi è per il fatto che entrambi sono costituiti, per una parte, dai punteggi veri. Se i punteggi veri rappresentassero il 100% della variabilità dei punteggi nel test A e nel test B, dovremmo trovare una correlazione pari ad 1. Se troviamo correlazioni più basse, significa che i punteggi non contengono solo la variabilità dei punteggi veri, ma anche quelli degli errori: tanto sono più alti gli errori tanto è più bassa l'attendibilità.

L'attendibilità di uno strumento può essere misurata per vie indirette, poiché la via diretta (r = V / V ) ci è preclusa dal fatto che non conosciamo i punteggi veri.

Metodi per misurare l'affidabilità:

• Si distinguono a seconda del numero di somministrazioni previste per il test: 1 o più di 1.
• Sono tutti metodi collegati all'uso del coefficiente

Le prove non cambiano significativamente. Il valore di attendibilità corrisponde al coefficiente di correlazione calcolato tra i punteggi ottenuti alle due prove. È molto importante porre attenzione al tempo che deve intercorrere tra le due somministrazioni. Esse non devono essere troppo vicine perché, se somministrate subito dopo, gli individui si possono ricordare le risposte date agli item del test precedente e, per evitare la dissonanza cognitiva, andrebbero a rispondere nello stesso modo della volta precedente; bisogna quindi che passi un po' di tempo dalla prima somministrazione per essere sicuro che le risposte uguali non siano legate alla risposta che si ricorda (ES: per un test di personalità bisognerebbe somministrarlo dopo 1 o 2 settimane). Viceversa, se passa troppo tempo, a seconda dello strumento utilizzato si potrebbe fuorviare il punteggio (ES: nel caso della personalità le risposte tenderanno ad essere più diverse a distanza di tanto).

La correlazione più alta si ha quando la parte di variabilità del punteggio osservato, legata al punteggio vero, è alta. In una situazione estrema, se due formule parallele misurano solo l'errore e gli errori sono correlati per definizione, la correlazione tra i due punteggi ottenuti dalle due forme parallele sarà 0. Questo significa che i due test stanno misurando cose indipendenti e diverse tra loro. Quando la correlazione tende a 1, indica che gli item delle due forme stanno misurando la caratteristica che si intende misurare e che c'è quindi poco errore. Spesso ci troviamo in una situazione intermedia, possibilmente vicini all'1, in modo che correlino abbastanza fortemente tra loro e quindi siano abbastanza attendibili.

Il metodo delle forme parallele non viene utilizzato molto spesso perché sono pochi gli strumenti per cui vengono costruite forme parallele. Quando sono interessato a un tratto, di solito costruisco un solo strumento.

Non sono interessato a costruire anche il parallelo. Inoltre, ci può essere un possibile effetto legato all'intervallo di tempo tra le due somministrazioni, all'ordine delle somministrazioni e alla diversa familiarità con le due forme.

LEZIONE 9 24/02/21 (slide 2 31-39)

METODO SPLIT-HALF: si utilizza questo metodo perché a volte è necessario misurare l'affidabilità, ma non è possibile fare né due somministrazioni in tempi differenti sugli stessi individui né due somministrazioni in forme differenti (A e B).

Il test viene diviso in due metà uguali (che si pensa siano parallele al test di partenza). Si calcola il coefficiente di correlazione tra i punteggi ottenuti dagli stessi individui nelle due sezioni del test. Si presuppone che gli individui rispondano completamente al test, nella sua interezza; quando il test compilato non è completo, non è possibile applicare il metodo split-half (es: nei test).