Teoria e tecniche dei test: misurare in psicologia, Teoria classica dei test, Studio della dimensionalità del test, Teoria della risposta all'item, Validità, regressione

Misurare in Psicologia

processo attraverso il quale si cerca di “quantificare” un attributo tramite

Misurazione:

l’assegnazione di un valore numerico agli oggetti o agli eventi che presentano una determinata

“quantità” dell’attributo in questione. Processo effettuato seguendo regole che definiscono una

corrispondenza tra l’insieme dei numeri e l’insieme degli attributi che vengono appunto “misurati”.

a) Un sistema empirico, cioè un insieme di entità non numeriche, ovvero la caratteristica che

stiamo esaminando, ad esempio l’estroversione (SE)

b) Un sistema numerico (SN)

c) Una regola, o funzione, che consente di passare dall'uno all'altro, cioè di attribuire dei numeri

agli elementi del sistema empirico (f)

Formalmente possiamo rappresentare questo sistema con la seguente espressione:

< SE, f, SN >

Misurare = rappresentare un sistema empirico SE, nel quale è stato definito un sistema di relazione

tra i suoi elementi, tramite un sistema numerico SN.

Misurare = stabilire una regola di corrispondenza tra i numeri che vengono associati agli eventi o

attributi oggetto di misurazione, e le caratteristiche degli eventi stessi.

Stevens: differenti regole di corrispondenza a seconda delle caratteristiche della variabile oggetto di

“scale” ovvero

studio; quattro livelli di misurazione.

Scale o livelli di misurazione dei dati: ordinate gerarchicamente secondo un livello crescente di

complessità. Ogni nuova scala di misurazione incorpora le proprietà della precedente e ne aggiunge

di altre. – – –

Nominale Ordinale Intervalli equivalenti Rapporti equivalenti

Ogni scala di misura è caratterizzata da:

Operazioni fondamentali + Trasformazioni ammissibili + Statistiche significanti e invarianti

Operazioni fondamentali: Relazioni che è possibile stabilire tra gli elementi di un sistema

empirico: Uguaglianza/differenza (Maschio, Femmina) + Ordine (primo, secondo, terzo) + Grado di

presenza + Unità di misura (10, 11, 12,….) + Presenza di uno zero assoluto (30’’, 60’’, ….)

Consentono il passaggio da una scala di valori ad un’altra definite

Trasformazioni ammissibili:

sullo stesso sistema empirico. Una trasformazione dei valori è ammissibile se consente di

rappresentare il sistema empirico in quello numerico senza alterarne le caratteristiche relazionali.

Significanza di una statistica: Ammissibilità della statistica rispetto alla scala di misurazione della

variabile. Per calcolarla non devono essere utilizzate operazioni incompatibili con la scala di

misura. Nel passaggio da una scala ad un’altra la statistica continua a descrivere la

Statistica invariante:

medesima caratteristica empirica. Assoluta (il valore numerico della statistica non varia nel

passaggio da una scala a un’altra) + Di riferimento o equivarianza (la statistica continua a riferirsi

allo stesso elemento empirico) + Di confronto o ortoinvarianza (la statistica calcolata sui dati

originari è ottenibile dalla statistica calcolata sui dati trasformati tramite una funzione che non

costituisce una trasformazione ammissibile per quel livello di scala)

Scala Operazioni Tasformazioni Statistiche Esempi

fondamentali ammissibili significanti

 Sostituzione di Frequenze Genere

Nominale =, etichetta con altra Moda

(uguaglianza (transcodifica) (A=B)

e differenza) Chi quadrato

>,< Trasformazioni Mediana Graduatoria

Ordinale (maggiore, monotone strettamente Quantili

minore) crescenti che Coeff di correlaz

preservano l’ordine

(1=4; 2=5; 3=6)

Rango percentile

+, - Trasformazioni lineari Media aritmetica Punteggio

Intervalli (addizione e o affini (mantenere Varianza totale in un test

equivalenti sottrazione) equival gli intervalli)

(y=a +bx)

Punteggi t e z

Tutte Trasformazioni Media geometrica Tempo di

Rapporti moltiplicative o di reazione

equivalenti similarità (y = bx)

Processo di identificazione delle categorie per una scala nominale: le categorie devono essere

Distintive + Esaustive + Mutualmente esclusive.

In una scala nominale non è possibile il passaggio a un diverso tipo di scala.

è definibile un’unità di misura. L’origine della misurazione e

Nella scala a intervalli equivalenti

l’unità di misura non sono assolute ma convenzionali

Compatibilità tra variabile utilizzata nella misurazione di una caratteristica psicologica, e modello

statistico utilizzato in fase di analisi dei dati.

Le assunzioni statistiche richieste dalla tecnica devono essere sempre soddisfatte

Cosa misuriamo in psicologia ?

Le unità di analisi più importanti (intelligenza, personalità, atteggiamento) non sono proprietà

direttamente osservabili, ma variabili latente. Esse vengono inferite da comportamenti osservabili

(ad esempio le risposte agli item di un questionario) che consentono di rilevare la caratteristica

latente attraverso un processo di scaling.

Scaling: processo di rilevazione di una proprietà latente.

definizione/costruzione di una “scala”

Comporta la per misurare la caratteristica psicologica in

esame (ad esempio, una scala di atteggiamento, una scala di personalità, ecc.).

l’attribuzione ad ogni soggetto che ha risposto alla

Comporta scala di un numero che indica il

grado in cui ciascun soggetto possiede la proprietà “non osservabile” che si sta rilevando.

Scopo “finale” della misurazione/scaling: quantificare un attributo, ottenere un numero che fornisce

un’informazione relativamente alla presenza di una certa caratteristica in un certo individuo.

Tecniche di scaling

1. Il primo gruppo di tecniche è differenziabile rispetto alla causa della variabilità delle

risposte: approcci centrati sul soggetto + approcci centrati sugli stimoli + approcci centrati

sulle risposte).

E’ possibile differenziare le tecniche di scaling anche rispetto alla presenza o meno di errori

2. di rilevazione: a questo riguardo la differenza è tra modelli deterministici (che non

prevedono esplicitamente l’errore casuale) e modelli stocastici o probabilistici (che

includono l’errore casuale)

Il terzo elemento di differenziazione riguarda la dimensionalità dell’insieme di item

3. utilizzati. In questo caso si distingue tra scaling unidimensionale e multidimensionale.

L’ultimo elemento di differenziazione riguarda il tipo di dati che risultano maggiormente

4. appropriati ad ogni modello

assegnazione di numeri ad una caratteristica tramite un’apposita regola di

Misurazione:

corrispondenza. Esempi: il numero “5” codifica una risposta (massimo grado d’accordo) data da un

soggetto ad un item di personalità, il valore “1” codifica la risposta corretta data ad una domanda di

un compito di esame.

– –

Item Test Scale

Sono i livelli fondamentali negli strumenti che misurano caratteristiche psicologiche.

Non siamo interessati tanto al punteggio del soggetto nel singolo item quanto al punteggio

complessivo ottenuto in tutti gli item utilizzati per misurare uno specifico costrutto.

I test psicologici: Un test rappresenta un procedimento tramite il quale è possibile ottenere una

misurazione di una caratteristica psicologica (solitamente non osservabile direttamente). In un test

psicologico un campione del comportamento di un soggetto viene osservato e descritto attraverso

una procedura standardizzata che dà origine ad una misura oggettiva (Kline).

Gli item sono gli elementi minimali di un test psicologico.

Quando le variabili osservate sono causate dalla variabile latente vengono definite Reflective

indicators, mentre quando esse causano una variabile latente vengono definite Formative

indicators.

Che rapporto c’è tra item, test, scale ?

Gli item vengono combinati tra loro (solitamente in modo additivo) per ottenere un punteggio

complessivo che riflette la presenza di quella determinata caratteristica oggetto di studio nel

soggetto cui è stato somministrato il test. L’idea è che i costrutti o variabili latenti influenzino

(ovvero causino o generino) gli indicatori o variabili osservate. Le risposte agli item sono

determinate dal costrutto che essi misurano: gli item sono indicatori che riflettono gli aspetti

fondamentali dei costrutti.

Costrutto latente => Indicatori (item)

I modelli psicometrici un test o una scala. E’

Non basta definire gli item per poter dire di aver costruito necessario

dimostrare che esista una corrispondenza empirica tra gli item che abbiamo costruito e il costrutto

psicologico che si ipotizza tali item misurino. Questa corrispondenza empirica viene stabilita

tramite l’utilizzo di modelli formali (i modelli psicometrici) per la costruzione dei test psicologici.

Costrutto latente => Regole di corrispondenza: Modelli Psicometrici => Indicatori (item)

Teorie psicologiche => descrizione fenomeno (cos’è la coscienziosità), da qui

- costruiamo item

- Teorie statistiche/psicometriche => cogliere relazione tra costrutto latente (non importa quale) e

indicatore

Modelli di costruzione di test psicologici

I modelli di costruzione dei test psicologici si possono definire come l’insieme delle regole di

corrispondenza tra costrutto teorico ed indicatori empirici.

- Teoria Classica dei Test: TCT (Teoria dell’errore casuale) => Affidabilità/Attendib (Errore

casuale) e Validità (Errore sistematico)

Teoria della risposta all’item:

- IRT

- Teoria della generalizzabilità

- Teoria rappresentazionale delle misurazione

Fasi del processo di costruzione di un test psicologico

Fasi Metodi Risultati

Analisi razionale del costrutto e Definizione del costrutto e

Scelta del costrutto delle sue manifestazioni delle sue manifestazioni

(Letteratura, studio prototipico) Insieme di item

Elaborazione di un insieme ampio di item Versione preliminare del test

Selezione di un gruppo di esperti Insieme scelto di item

Esame critico degli item Scelta di un campione. Parametri che consentono di

Analisi formale degli item:

- Dimensionalità Uso di tecniche di analisi statistica descrivere le proprietà

- Difficoltà metriche degli item

- Discriminatività Versione finale del test

Selezione degli item del test Calcolo degli indici di attendibilità,

Studio delle caratteristiche del test di validità, di informazione

Calcolo di statistiche campionarie e Test come prodotto finale

Standardizzazione e taratura del test inferenziali

o teoria dell’errore)

Teoria Classica dei Test (TCT

La grande maggioranza degli strumenti di misura in psicologia fanno riferimento a tale teoria che si

basa sulla scomposizione del punteggio in due componenti ipotetiche: il punteggio vero e l’errore

casuale. τ ε

X = V + E oppure X = +

p p p

X (X ) è il punteggio osservato

p

V (τ ) è il punteggio vero

p

E (ε ) è l’errore casuale (di misurazione)

p

Ogni misurazione implica un errore

Il punteggio osservato ottenuto da un soggetto non sarà mai il punteggio vero ma sarà uno dei

possibili punteggi che il soggetto potrà ottenere, dato il suo punteggio vero.

Tipi di errore: Casuale (Random) + Sistematico

Errore sistematico: Distorsione di un punteggio che agisce allo stesso modo per ogni soggetto

(magnanimità o severità da parte di un valutatore nei confronti dei valutati). Bias: distorsione

sistematica

Errore casuale: Distorsione legata a variazioni senza una regola (non sistematiche) che agiscono

diversamente per ogni soggetto (ambiguità di un item, umore, stanchezza). La TCT si interessa

dell’errore casuale.

Il modello teorico

Data una serie infinita di misurazioni effettuate su un singolo soggetto il punteggio osservato è una

variabile che assume valori secondo una distribuzione di probabilità che contiene il punteggio vero,

e che assume una forma normale. Il punteggio osservato è un campione della popolazione di

punteggi possibili contenente il punteggio vero. In una serie infinita di misurazioni il punteggio

vero corrisponde al valore atteso (ovvero, la media) di tutti i punteggi osservati: E(X) = V

Il modello è definito per i punteggi di un singolo soggetto, secondo una distribuzione di frequenze

Gli scostamenti dalla media sono dovuti all’errore casuale.

delle sue risposte.

Le assunzioni statistiche della teoria sono:

a) La media del punteggio osservato è il punteggio vero: E(X)=V.

Conseguenza: il punteggio vero è una costante per ogni singolo soggetto.

b) Per le proprietà della media aritmetica è facile dimostrare che la media degli errori casuali è

nulla: E(E)=E(X-V)=E(X)-E(V)=V-V=0

c) La distribuzione degli errori ha forma normale (dipende dalla natura casuale degli errori)

d) La covarianza (correlazione non standardizzata) tra punteggio vero ed errore deve essere nulla:

σ = 0

VE σ

e) La covarianza tra due errori deve essere nulla, = 0

E1E2

Se queste assunzioni non fossero vere, l’errore non sarebbe casuale ma sistematico.

Per le proprietà della TCT la distribuzione a livello individuale dei punteggi osservati coincide con

la distribuzione individuale degli errori, in termini di frequenze osservate, e di variabilità.

Ovviamente, i punteggi assoluti e la media (=0) sono differenti.

Dal modello teorico alle condizioni di applicazione reale:

Punteggi osservati ottenuti da n soggetti in N somministrazioni dello stesso test (o in N test

≠

paralleli). Modello teorico Situazione reale

Ma alcune assunzioni modello teorico applicabili a situazione reale

Gli errori di misura degli n soggetti nelle N somministrazioni dello stesso test (o in N test paralleli).

Gli errori si annullano anche a livello della distribuzione degli n soggetti.

1. La media dei punteggi osservati coincide con la media dei punteggi veri: E(X )=E(V)

ij

2. Le medie dei punteggi osservati in ogni somministrazione sono uguali: E(X )=E(X )=...=E(X )

i1 i2 iN

3. La media degli errori per ogni somministrazione è uguale a 0: E(E )=E(E )=...=E(E )=0

i1 i2 iN

4. La media degli errori calcolati su tutti i soggetti in ogni somministrazione è uguale a 0 (E(E)=0)

5. La distribuzione degli errori in ogni somministrazione è normale

Consideriamo il caso empirico in cui un test viene somministrato una sola volta a n soggetti. Dalle

propriet. della TCT si ha che:

“v” “e”

dove e sono gli scarti di V ed E dalle rispettive medie.

Possiamo scrivere l’espressione precedente nel modo seguente:

σ 2X

Dividiamo per e otteniamo

formula dell’attendibilità come

Questa rappresenta la definita teoricamente nella TCT.

Considerando questa formula possiamo definire l’attendibilità (r ) come rapporto tra varianza vera

tt

e varianza osservata (o totale), ovvero: la proporzione di varianza vera contenuta nella varianza

osservata (o totale) di una misura X.

L’attendibilità è la proprietà di un test o di una scala che riguarda l’accuratezza con cui un test

misura un certo attributo psicologico. Il coefficiente di attendibilità è un numero che esprime la

precisione di uno strumento di misura ed è inveramente proporzionale all’errore presente nella

tra zero (caso in cui l’errore è uguale a 1 ovvero la

misurazione stessa. Tale coefficiente varia

misurazione è completamente distorta) e 1 (caso in cui l’errore è assente e quindi la misurazione è

perfettamente attendibile)

In termini meno formali l’attendibilità rappresenta la precisione e l’affidabilità della misura, ovvero

“vere” differenze individuali nel

quanto la misura riflette costrutto misurato, e non riflette l’errore

commesso nel misurare tale costrutto.

è

L’attendibilità uguale alla complemento a 1 del rapporto tra la varianza d’errore e la varianza del

punteggio osservato come dalla seguente equazione:

Il simbolo r viene utilizzato per indicare sia il concetto teorico di attendibilità del test, sia il

tt

coefficiente di attendibilità empiricamente ottenibile tramite uno dei metodi di stima.

Con il termine di indice di attendibilità di un test si fa riferimento alla correlazione tra punteggio

osservato e punteggio vero (r ):

xv

Utilizzeremo questo indice per stimare i punteggi veri

d’errore

Ipotesi sui punteggi veri e sulle varianze

Supponiamo di misurare lo stesso costrutto con due test. I due test si definiscono "paralleli" se:

 τ τ

= ovvero il loro punteggio vero è uguale

1 2

 σ σ

2e1 2e2

= ovvero la loro varianza d'errore è uguale

Da queste assunzioni derivano queste conseguenze:

1. µ = µ la media dei punteggi osservati dei test è uguale

1 2

σ = σ

2. la deviazione standard dei punteggi osservati dei test è uguale

1 2

σ σ σ

3. = = considerando un terzo test parallelo, le covarianze tra i punteggi osservati

12 13 23

sono uguali per ogni coppia di test

σ σ

4. = considerando un criterio y, le covarianze tra i punteggi osservati dei test con il

1y 2y

criterio sono uguali per ogni test;

ρ ρ ρ

5. = = le correlaz tra i punteggi osservati sono uguali per ogni coppia di test

12 13 23

ρ ρ

6. = le correlaz tra i punteggi osservati dei test con il criterio sono uguali per ogni test

1y 2y

ρ ρ

7. = i test hanno uguali attendibilità

11 22

Non sempre è realistico supporre che i test siano paralleli. E' possibile allora definire delle ipotesi

meno "restrittive" rispetto ai test. Supponiamo di misurare lo stesso costrutto con due test. Due test

si definiscono "tau equivalenti" se:

 τ τ

= ovvero il loro punteggio vero è ug