Teoria e tecniche dei test: misurare in psicologia, Teoria classica dei test, Studio della dimensionalità del test, Teoria della risposta all'item, Validità, regressione

Misurare in psicologia

Processo attraverso il quale si cerca di “quantificare” un attributo tramite misurazione: l’assegnazione di un valore numerico agli oggetti o agli eventi che presentano una determinata “quantità” dell’attributo in questione. Processo effettuato seguendo regole che definiscono una corrispondenza tra l’insieme dei numeri e l’insieme degli attributi che vengono appunto “misurati”.

• Un sistema empirico, cioè un insieme di entità non numeriche, ovvero la caratteristica che stiamo esaminando, ad esempio l’estroversione (SE).
• Un sistema numerico (SN).
• Una regola, o funzione, che consente di passare dall'uno all'altro, cioè di attribuire dei numeri agli elementi del sistema empirico (f).

Formalmente possiamo rappresentare questo sistema con la seguente espressione: < SE, f, SN >

Misurare = rappresentare un sistema empirico SE, nel quale è stato definito un sistema di relazione tra i suoi elementi, tramite un sistema numerico SN.

Misurare = stabilire una regola di corrispondenza tra i numeri che vengono associati agli eventi o attributi oggetto di misurazione, e le caratteristiche degli eventi stessi.

Stevens: differenti regole di corrispondenza a seconda delle caratteristiche della variabile oggetto di “scale”, ovvero studio; quattro livelli di misurazione.

Scale o livelli di misurazione dei dati

Scale o livelli di misurazione dei dati: ordinate gerarchicamente secondo un livello crescente di complessità. Ogni nuova scala di misurazione incorpora le proprietà della precedente e ne aggiunge di altre.

Nominale – Ordinale – Intervalli equivalenti – Rapporti equivalenti.

Ogni scala di misura è caratterizzata da: Operazioni fondamentali + Trasformazioni ammissibili + Statistiche significanti e invarianti.

Operazioni fondamentali

Operazioni fondamentali: relazioni che è possibile stabilire tra gli elementi di un sistema empirico: Uguaglianza/differenza (Maschio, Femmina) + Ordine (primo, secondo, terzo) + Grado di presenza + Unità di misura (10, 11, 12, ….) + Presenza di uno zero assoluto (30’’, 60’’, ….).

Trasformazioni ammissibili

Consentono il passaggio da una scala di valori ad un’altra definite sullo stesso sistema empirico. Una trasformazione dei valori è ammissibile se consente di rappresentare il sistema empirico in quello numerico senza alterarne le caratteristiche relazionali.

Significanza di una statistica

Significanza di una statistica: ammissibilità della statistica rispetto alla scala di misurazione della variabile. Per calcolarla non devono essere utilizzate operazioni incompatibili con la scala di misura.

Nel passaggio da una scala ad un’altra la statistica continua a descrivere la medesima caratteristica empirica.

Statistica invariante

Statistica invariante: Assoluta (il valore numerico della statistica non varia nel passaggio da una scala a un’altra) + Di riferimento o equivarianza (la statistica continua a riferirsi allo stesso elemento empirico) + Di confronto o ortoinvarianza (la statistica calcolata sui dati originari è ottenibile dalla statistica calcolata sui dati trasformati tramite una funzione che non costituisce una trasformazione ammissibile per quel livello di scala).

Processo di identificazione delle categorie per una scala nominale: le categorie devono essere distintive + Esaustive + Mutualmente esclusive.

In una scala nominale non è possibile il passaggio a un diverso tipo di scala.

Nella scala a intervalli equivalenti è definibile un’unità di misura. L’origine della misurazione e l’unità di misura non sono assolute ma convenzionali.

Compatibilità tra variabile utilizzata nella misurazione di una caratteristica psicologica, e modello statistico utilizzato in fase di analisi dei dati.

Le assunzioni statistiche richieste dalla tecnica devono essere sempre soddisfatte.

Cosa misuriamo in psicologia?

Le unità di analisi più importanti (intelligenza, personalità, atteggiamento) non sono proprietà direttamente osservabili, ma variabili latenti. Esse vengono inferite da comportamenti osservabili (ad esempio le risposte agli item di un questionario) che consentono di rilevare la caratteristica latente attraverso un processo di scaling.

Scaling: processo di rilevazione di una proprietà latente.

Comporta la definizione/costruzione di una “scala” per misurare la caratteristica psicologica in esame (ad esempio, una scala di atteggiamento, una scala di personalità, ecc.).

Comporta l’attribuzione ad ogni soggetto che ha risposto alla scala di un numero che indica il grado in cui ciascun soggetto possiede la proprietà “non osservabile” che si sta rilevando.

Scopo “finale” della misurazione/scaling: quantificare un attributo, ottenere un numero che fornisce un’informazione relativamente alla presenza di una certa caratteristica in un certo individuo.

Tecniche di scaling

1. Il primo gruppo di tecniche è differenziabile rispetto alla causa della variabilità delle risposte: approcci centrati sul soggetto + approcci centrati sugli stimoli + approcci centrati sulle risposte).
2. È possibile differenziare le tecniche di scaling anche rispetto alla presenza o meno di errori di rilevazione: a questo riguardo la differenza è tra modelli deterministici (che non prevedono esplicitamente l’errore casuale) e modelli stocastici o probabilistici (che includono l’errore casuale).
3. Il terzo elemento di differenziazione riguarda la dimensionalità dell’insieme di item utilizzati. In questo caso si distingue tra scaling unidimensionale e multidimensionale.
4. L’ultimo elemento di differenziazione riguarda il tipo di dati che risultano maggiormente appropriati ad ogni modello.

Misurazione: assegnazione di numeri ad una caratteristica tramite un’apposita regola di corrispondenza. Esempi: il numero “5” codifica una risposta (massimo grado d’accordo) data da un soggetto ad un item di personalità, il valore “1” codifica la risposta corretta data ad una domanda di un compito di esame.

Item – Test – Scale.

Sono i livelli fondamentali negli strumenti che misurano caratteristiche psicologiche.

Non siamo interessati tanto al punteggio del soggetto nel singolo item quanto al punteggio complessivo ottenuto in tutti gli item utilizzati per misurare uno specifico costrutto.

I test psicologici

I test psicologici: Un test rappresenta un procedimento tramite il quale è possibile ottenere una misurazione di una caratteristica psicologica (solitamente non osservabile direttamente). In un test psicologico un campione del comportamento di un soggetto viene osservato e descritto attraverso una procedura standardizzata che dà origine ad una misura oggettiva (Kline).

Gli item sono gli elementi minimali di un test psicologico.

Quando le variabili osservate sono causate dalla variabile latente vengono definite Reflective indicators, mentre quando esse causano una variabile latente vengono definite Formative indicators.

Che rapporto c’è tra item, test, scale?

Gli item vengono combinati tra loro (solitamente in modo additivo) per ottenere un punteggio complessivo che riflette la presenza di quella determinata caratteristica oggetto di studio nel soggetto cui è stato somministrato il test. L’idea è che i costrutti o variabili latenti influenzino (ovvero causino o generino) gli indicatori o variabili osservate. Le risposte agli item sono determinate dal costrutto che essi misurano: gli item sono indicatori che riflettono gli aspetti fondamentali dei costrutti.

Costrutto latente => Indicatori (item).

Modelli psicometrici

Non basta definire gli item per poter dire di aver costruito un test o una scala. È necessario dimostrare che esista una corrispondenza empirica tra gli item che abbiamo costruito e il costrutto psicologico che si ipotizza tali item misurino. Questa corrispondenza empirica viene stabilita tramite l’utilizzo di modelli formali (i modelli psicometrici) per la costruzione dei test psicologici.

Costrutto latente => Regole di corrispondenza: Modelli psicometrici => Indicatori (item).

Teorie psicologiche => descrizione fenomeno (cos’è la coscienziosità), da qui:

• Costruiamo item.
• Teorie statistiche/psicometriche => cogliere relazione tra costrutto latente (non importa quale) e indicatore.

Modelli di costruzione di test psicologici

I modelli di costruzione dei test psicologici si possono definire come l’insieme delle regole di corrispondenza tra costrutto teorico ed indicatori empirici.

• Teoria Classica dei Test: TCT (Teoria dell’errore casuale) => Affidabilità/Attendibilità (Errore casuale) e Validità (Errore sistematico).
• Teoria della risposta all’item: IRT.
• Teoria della generalizzabilità.
• Teoria rappresentazionale delle misurazione.

Fasi del processo di costruzione di un test psicologico

Teoria Classica dei Test (TCT o teoria dell’errore)

La grande maggioranza degli strumenti di misura in psicologia fanno riferimento a tale teoria che si basa sulla scomposizione del punteggio in due componenti ipotetiche: il punteggio vero e l’errore casuale. X = V + E oppure X_p = τ_p + ε_p.

X (X_p) è il punteggio osservato.

V (τ_p) è il punteggio vero.

E (ε_p) è l’errore casuale (di misurazione).

Ogni misurazione implica un errore.

Il punteggio osservato ottenuto da un soggetto non sarà mai il punteggio vero ma sarà uno dei possibili punteggi che il soggetto potrà ottenere, dato il suo punteggio vero.

Tipi di errore

Tipi di errore: Casuale (Random) + Sistematico.

Errore sistematico: Distorsione di un punteggio che agisce allo stesso modo per ogni soggetto (magnanimità o severità da parte di un valutatore nei confronti dei valutati). Bias: distorsione sistematica.

Errore casuale: Distorsione legata a variazioni senza una regola (non sistematiche) che agiscono diversamente per ogni soggetto (ambiguità di un item, umore, stanchezza). La TCT si interessa dell’errore casuale.

Il modello teorico

Data una serie infinita di misurazioni effettuate su un singolo soggetto il punteggio osservato è una variabile che assume valori secondo una distribuzione di probabilità che contiene il punteggio vero, e che assume una forma normale. Il punteggio osservato è un campione della popolazione di punteggi possibili contenente il punteggio vero. In una serie infinita di misurazioni il punteggio vero corrisponde al valore atteso (ovvero, la media) di tutti i punteggi osservati: E(X) = V.

Il modello è definito per i punteggi di un singolo soggetto, secondo una distribuzione di frequenze delle sue risposte. Gli scostamenti dalla media sono dovuti all’errore casuale.

Le assunzioni statistiche della teoria

• La media del punteggio osservato è il punteggio vero: E(X)=V. Conseguenza: il punteggio vero è una costante per ogni singolo soggetto.
• Per le proprietà della media aritmetica è facile dimostrare che la media degli errori casuali è nulla: E(E)=E(X-V)=E(X)-E(V)=V-V=0.
• La distribuzione degli errori ha forma normale (dipende dalla natura casuale degli errori).
• La covarianza (correlazione non standardizzata) tra punteggio vero ed errore deve essere nulla: σ_VE = 0.
• La covarianza tra due errori deve essere nulla, σ_E1E2 = 0.

Se queste assunzioni non fossero vere, l’errore non sarebbe casuale ma sistematico.

Per le proprietà della TCT la distribuzione a livello individuale dei punteggi osservati coincide con la distribuzione individuale degli errori, in termini di frequenze osservate, e di variabilità. Ovviamente, i punteggi assoluti e la media (=0) sono differenti.

Dal modello teorico alle condizioni di applicazione reale

Punteggi osservati ottenuti da n soggetti in N somministrazioni dello stesso test (o in N test paralleli). Modello teorico, situazione reale.

Ma alcune assunzioni modello teorico applicabili a situazione reale.

Gli errori di misura degli n soggetti nelle N somministrazioni dello stesso test (o in N test paralleli). Gli errori si annullano anche a livello della distribuzione degli n soggetti.

1. La media dei punteggi osservati coincide con la media dei punteggi veri: E(X_ij)=E(V).
2. Le medie dei punteggi osservati in ogni somministrazione sono uguali: E(X_i1)=E(X_i2)=...=E(X_iN).
3. La media degli errori per ogni somministrazione è uguale a 0: E(E_i1)=E(E_i2)=...=E(E_iN)=0.
4. La media degli errori calcolati su tutti i soggetti in ogni somministrazione è uguale a 0 (E(E)=0).
5. La distribuzione degli errori in ogni somministrazione è normale.

Consideriamo il caso empirico in cui un test viene somministrato una sola volta a n soggetti. Dalle proprietà della TCT si ha che:

“v” “e”

Dove e sono gli scarti di V ed E dalle rispettive medie.

Possiamo scrivere l’espressione precedente nel modo seguente: σ²_X

Dividiamo per e otteniamo.

Questa rappresenta la formula dell’attendibilità come definita teoricamente nella TCT.

Considerando questa formula possiamo definire l’attendibilità (r_tt) come rapporto tra varianza vera e varianza osservata (o totale), ovvero: la proporzione di varianza vera contenuta nella varianza osservata (o totale) di una misura X.

L’attendibilità è la proprietà di un test o di una scala che riguarda l’accuratezza con cui un test misura un certo attributo psicologico. Il coefficiente di attendibilità è un numero che esprime la precisione di uno strumento di misura ed è inversamente proporzionale all’errore presente nella misurazione stessa. Tale coefficiente varia tra zero (caso in cui l’errore è uguale a 1 ovvero la misurazione è completamente distorta) e 1 (caso in cui l’errore è assente e quindi la misurazione è perfettamente attendibile).

In termini meno formali l’attendibilità rappresenta la precisione e l’affidabilità della misura, ovvero quanto la misura riflette “vere” differenze individuali nel costrutto misurato, e non riflette l’errore commesso nel misurare tale costrutto.

L’attendibilità è uguale al complemento a 1 del rapporto tra la varianza d’errore e la varianza del punteggio osservato come dalla seguente equazione:

Il simbolo r_tt viene utilizzato per indicare sia il concetto teorico di attendibilità del test, sia il coefficiente di attendibilità empiricamente ottenibile tramite uno dei metodi di stima.

Con il termine di indice di attendibilità di un test si fa riferimento alla correlazione tra punteggio osservato e punteggio vero (r_xv): Utilizzeremo questo indice per stimare i punteggi veri d’errore.

Ipotesi sui punteggi veri e sulle varianze

Supponiamo di misurare lo stesso costrutto con due test. I due test si definiscono "paralleli" se:

• τ₁ = τ₂, ovvero il loro punteggio vero è uguale.
• σ²_e1 = σ²_e2, ovvero la loro varianza d'errore è uguale.

Da queste assunzioni derivano queste conseguenze:

1. μ₁ = μ₂, la media dei punteggi osservati dei test è uguale.
2. σ₁ = σ₂, la deviazione standard dei punteggi osservati dei test è uguale.
3. σ₁₂ = σ₁₃ = σ₂₃, considerando un terzo test parallelo, le covarianze tra i punteggi osservati sono uguali per ogni coppia di test.
4. σ_1y = σ_2y, considerando un criterio y, le covarianze tra i punteggi osservati dei test con il criterio sono uguali per ogni test.
5. ρ₁₂ = ρ₁₃ = ρ₂₃, le correlaz. tra i punteggi osservati sono uguali per ogni coppia di test.
6. ρ_1y = ρ_2y, le correlaz. tra i punteggi osservati dei test con il criterio sono uguali per ogni test.
7. ρ₁₁ = ρ₂₂, i test hanno uguali attendibilità.

Non sempre è realistico supporre che i test siano paralleli. È possibile allora definire delle ipotesi meno "restrittive" rispetto ai test. Supponiamo di misurare lo stesso costrutto con due test. Due test si definiscono "tau equivalenti" se:

• τ₁ = τ₂, ovvero il loro punteggio vero è uguale.