Riassunto esame Teorie e tecniche dei test e analisi dei dati, prof. Innamorati, libro consigliato teorie e tecniche dei test, Mucciarelli

Standard di attendibilità

Gli standard di attendibilità di un test dipendono dall'utilizzo che se ne farà:

• Nelle prime fasi di ricerca di validazione del costrutto o predittiva, possono essere utilizzati strumenti con una modesta attendibilità: 0.70.
• Nella ricerca su gruppi si ritengono inutilmente dispendiosi valori superiori a 0.80.
• Quando i punteggi dei test sono utilizzati per prendere decisioni sugli individui sono necessari coefficienti di attendibilità pari o superiori a 0.90.

Item analysis

La item analysis valuta la coerenza/omogeneità di ciascun item con tutti gli altri, al fine di migliorare le caratteristiche del test finale.

Procedura:

1. Si prendono in considerazione 2 variabili, che si trovano in un rapporto di proporzionalità diretta:
• Item: i1, i2, i3...
• Punteggio totale della scala: i1+i2+i3... (somma degli item).
2. Si può calcolare l'indice di correlazione corretto tra ciascun item e il totale della scala.

(ottenuto sommando il punteggio di tutti gli item) ad esclusione dell'item di cui si sta calcolando l'indice di correlazione corretto !i1= TOT-i13) Si escludono gli item con bassi indici di correlazione con il punteggio totale della scala.

Per un test, un coefficiente di correlazione vicino a 1 indica che i soggetti che prendono alti punteggi al test tendono a rispondere bene anche all'item.

- ITEM DIRETTI: hanno una correlazione positiva con il costrutto

- ITEM INVERTITI: hanno una correlazione tendenzialmente negativa con il costrutto (per calcolarne il punteggio, va invertito il senso della risposta).

Con l'Item Analysis è possibile eliminare gli item "problematici" (poco coerenti) migliorando la coerenza del test e diminuendo il tempo di risposta, al fine di ottenere una valutazione più efficace.

L'Item Analysis si utilizza in fase di costruzione e in fase di validazione del test; nel secondo caso, lo scopo della procedura è quello

è troppo difficile per la popolazione in questione;- l’eccessiva presenza di 1 indica che il test è troppo facile per la popolazione in questione. Quando il test diventa troppo facile o troppo difficile ne risente anche la variabilità dei risultati (a una buona variabilità corrisponde graficamente una curva normale) viene limitata, non discrimina più. La presenza di molti item con indice di difficoltà vicino a 0.5 aumenta la variabilità dei punteggi di un test. Un test che valuta le differenze individuali dovrebbe avere item con indici di difficoltà compresi tra 0,5 e 0,7 (tra il 50 e il 70% di risposte corrette ad ogni item).

Es. del QI: il QI medio corrisponde a un valore compreso tra 70 e 130; un basso QI corrisponde a un valore minore a 70; un livello alto di QI corrisponde a un valore superiore a 130. In questo caso, calcolare l’indice di difficoltà è utile a evitare di incorrere nell’errore di valutare i

Paxj=______N- Paxj= indice di adesione per l’item j del test x;

Nxj= numero di soggetti che hanno selezionato una determinata alternativa;

N= numero totale dei soggetti testati.

DEVIAZIONE STANDARD E VARIANZA NELL’ITEM ANALYSIS:

- in un test di massima performance, partendo dalla frequenza delle risposte esatte a un item e dalla frequenza delle risposte sbagliate, si può calcolare la varianza e la deviazione standard.

- In un test di tipica performance, in caso di item su scala Likert o autovalutativi, si possono anche utilizzare le formule classiche usate per calcolare varianza e deviazione standard.

- La varianza di un item dicotomico può variare tra 0 e 0,25, quando la metà dei soggetti risponde correttamente; più la varianza è elevata, maggiore sarà la capacità discriminante dell’item.

VALIDITA’

VALIDITA’ (“validus”=forte)= non ha un unico

Il significato nel caso dello strumento di misura è che esso si definisce valido quando misura solo ciò che si aveva l'obiettivo di misurare. È un'indicazione circa il fatto che un test o un altro strumento di misura faccia il lavoro per cui è stato costruito. Quindi la validità definisce l'intensità/forza della relazione tra il punteggio ottenuto al test e il costrutto che vogliamo misurare.

CALCOLO DELLA VALIDITÀ

Ctot = Cv (! Cv + C errore sistematico) + Ce

La validità ha lo scopo di differenziare la Cv nelle sue due componenti, ossia la componente vera e la componente di errore sistematico:

• Cv: componente stabile e rilevante.
• Ce: componente stabile ma irrilevante.

Se si misura un tratto stabile per 2 volte a distanza di una settimana, ci si aspetta che il punteggio resti invariato. Se però tale punteggio varia, il cambiamento è verosimilmente dovuto a un errore di tipo casuale a meno che, ad esempio, sia stato utilizzato