Riassunto esame Psicometria I, Prof. Ebisch Sjoerd, libro consigliato Elementi di Psicometria, Balsamo

ISTRUZIONI PER L'USO

Nella pratica della ricerca tutti i coefficienti di attendibilità oscillanti intorno a 0,70 sono propri di test standardizzati che si sono dimostrati applicativamente utili.

Quale indice di attendibilità dobbiamo scegliere? Alcuni autori considerano quale stima dell'attendibilità migliore quella per forme parallele, mentre altri la coerenza interna attraverso il calcolo dell'alpha. Bisogna saper scegliere in maniera accurata quando utilizzare un indice piuttosto che un altro e la scelta può dipendere da diversi fattori, quali la natura del costrutto che il test intende misurare, il tipo di test da impiegare, l'uso che se ne vuole fare, le condizioni situazionali in cui lo si usa. Ad esempio, la procedura del test-retest, non sempre è la più appropriata per valutare l'attendibilità di un test, soprattutto se esso presuppone ragionamenti o procedure di calcolo per rispondere agli item; la prima.

somministrazione potrebbe attivare processi cognitivi che vengono trasferiti alla seconda, cosicché le medesime prove richieste nelle due somministrazioni possono non risultare più equivalenti sotto il profilo sia della difficoltà sia della natura dell'item. Nei test di velocità (speed-test), che impongono limiti di tempo per il loro completamento, la procedura split-half non può essere applicata perché richiede test completamente compilati e il soggetto spesso non ha il tempo di affrontare tutti gli item; ad essa si preferisce applicare le procedure test-retest o forme parallele. Alcune raccomandazioni per facilitare il processo di scelta dell'indice di attendibilità più adeguato ai propri obiettivi di ricerca. 1. Se un test è stato progettato per essere somministrato più di una volta nel tempo, è opportuno scegliere la procedura test-retest poiché è importante valutare la stabilità.

temporale dei risultati che fornisce. Se, invece,il test è stato creato per essere somministrato una sola volta, dovrebbe essere valutato il livello di coerenza interna. Questa procedura ha il vantaggio della praticità: è necessaria una sola somministrazione, l'attendibilità può essere valutata ogni volta che il test viene somministrato.

392. Per i test monofattoriali, il coefficiente alpha è l'indice più indicato. Per i test multifattoriali, gli indici basati sulla coerenza interna dovrebbero essere impiegati solo per valutare l'attendibilità degli item raggruppati nei singoli fattori.

3. L'attendibilità potrà essere valutata meglio attraverso una misura della coerenza interna degli item. Se si può presumere che la caratteristica sia stabile nel tempo, la procedura delle forme parallele o del test-retest rappresentano la modalità più adeguata di valutazione dell'attendibilità.

Quando la misurazione avviene con test in cui è richiesto un certo margine di soggettività e di discrezionalità nella fase di attribuzione dei punteggi, l'affidabilità può essere valutata adeguatamente mediante l'accordo tra valutatori. CAPITOLO 11 LA VALIDITÀ Si riferisce al grado di accuratezza con cui uno strumento misura effettivamente ciò che si propone di misurare e non altro. Alcune caratteristiche sono: - A differenza dell'affidabilità, la validità di un test si basa su prove indirette, ovvero su deduzioni logiche circa le caratteristiche che dovrebbe avere una misura di un determinato costrutto perché sia considerata valida. - Non esistono test che possano essere considerati validi sempre e comunque ma ci sono test validi in rapporto a obiettivi specifici: alcuni possono essere validi in alcuni tipi di contesti di somministrazione e non in altri o per alcuni tipi di soggetti (es.bambini) e non per altri (es. adulti).

• A differenza dell'attendibilità, la misura della validità di un test non si può ridurre al calcolo di indicistatistici come l'alpha di Cronbach. Esistono, invece, diverse procedure atte a verificare un qualche aspetto della validità di un test che si dividono in due metodologie di indagine: qualitative e quantitative.

I METODI QUALITATIVI

Non richiedono il ricorso ad analisi statistiche.

LA VALIDITÀ DI FACCIATA

Si riferisce all'aspetto del test, ovvero a come appare agli occhi dell'esaminato e, per questo, è determinata dalla significatività apparente ed esteriore che lo strumento presenta. Corrisponde al grado in cui gli item sembrano misurare il costrutto che intendono misurare. Per valutarla, si richiede ai soggetti un giudizio qualitativo-intuitivo sul materiale-stimolo. Se un cospicuo numero di soggetti ritiene che il test sembri misurare ciò per cui è stato

approntato allora si conclude che esso abbia un'adeguata validità di facciata. Presenta alcuni vantaggi e svantaggi. Un vantaggio è costituito dall'aumento della motivazione dei soggetti esaminati a completare il test: quanto più coerenti, pertinenti e interessanti appaiono le probe, tanto più saranno affrontate dai soggetti con cura e tanto più i risultati del test saranno validi; frustrazione, negativismo e oppositività dei soggetti riducono la probabilità di una piena collaborazione. Se, ad esempio, si vuole misurare il ragionamento numerico di un gruppo di liceali dovremmo somministrare un test che contempliesercizi di algebra e problemi di matematica e non prove di vocabolario o di cultura generale. La misurazione deve, quindi, sembrare valida da un punto di vista logico e concettuale a chi vi si sottopone. Uno svantaggio, invece, può essere quello insito nel test di incoraggiare una deliberata distorsione dellerisposte: se un test esteriormente valido lascia intendere ai soggetti ciò che si prefigge di misurare, si presta alla falsificazione delle risposte, conducendo a risultati non validi. Nel caso di test di intelligenza e abilità, che il soggetto indovini cosa l'item stia misurando non influisce sulla sua capacità di rispondere correttamente, mentre se accade nella selezione del personale e nell'assessment della personalità, i soggetti potrebbero porsi sotto una luce favorevole agli occhi di chi li valuta. LA VALIDITÀ DI CONTENUTO Riguarda il campionamento degli item di un test. Corrisponde al grado in cui gli item possono essere considerati un campione rappresentativo dell'universo dei comportamenti che si vuole misurare. Il grado in cui tale campione di item del test è rappresentativo della popolazione (di tutti gli item possibili) costituisce la sua validità di contenuto. Se, ad esempio, un test di profitto di storia fosseil testo fornito può essere formattato utilizzando i seguenti tag HTML:

composto esclusivamente da domande riguardanti le guerre di indipendenza, difficilmente potrà essere considerato valido nel suo contenuto se questo argomento costituiva solo una parte del programma da preparare, perciò porterà a produrre risultati non validi.

Al fine di campionare correttamente gli item di cui sarà composto il test, occorrerà effettuare 3 operazioni:

1. Descrizione del campo di contenuto: produrre un elenco dettagliato di tutti i comportamenti potenziali che possono essere utili per misurare un determinato costrutto.

2. Campionamento degli item: estrarre dall'elenco un gruppo rappresentativo di comportamenti rispetto al costrutto da misurare e agli specifici scopi di uso del test e formulare item che abbiano caratteristiche di esaustività, chiarezza formale e non equivocità concettuale.

3. Verifica della validità degli item attraverso il giudizio degli esperti del settore.

Analogamente alla validità di facciata,

L'indagine sulla validità di contenuto si basa su giudizi. Tuttavia, vi sono due sostanziali differenze: mentre nella validità di contenuto il giudizio proviene da esperti, nella validità di facciata esso viene formulato da non esperti, ossia da non professionisti del settore (es. genitori di bambini che si esprimono positivamente su un test sulla discalculia); mentre nella validità di facciata il giudizio viene espresso a posteriori, nella validità di contenuto i giudici valutano l'item al momento della costruzione dello strumento. Viene da sé che la verifica di questo tipo di validità sia più facile se applicata a strumenti in cui il campo di contenuto è particolarmente ben definito, come nel caso dei test di abilità o di quelli di profitto, che hanno l'obiettivo di misurare l'acquisizione di un insieme limitato di nozioni (es. di grammatica o matematica). Al contrario, il giudizio diviene più

complesso nel caso ci si sposti verso domini di rilevazione più astratti, i cui confini sono difficili da determinare. Un problema analogo insorge quando ci si riferisce a strumenti che valutano sindromi cliniche; il giudizio è più complesso perché gli item che compongono lo strumento possono valutare sintomi che sono abbastanza caratteristici quando sono presenti ma la cui presenza non è particolarmente frequente. È necessario, perciò, che gli item componenti il test esplorino i sintomi che si manifestano con buona frequenza nel quadro clinico esplorato per poter dire che essi esprimono pienamente la sindrome che si intende esplorare e che, pertanto, il test è valido.

LA VALIDITÀ NOMOLOGICA è considerata la forma di validità più generale, astratta e difficile da verificare. È definita come il grado in cui un costrutto si inserisce in una serie di relazioni predittive, positive o negative o nulle tra

costrutto o tra due misure di costrutti diversi. La validità di criterio è spesso valutata attraverso l'analisi della correlazione tra la misura in esame e un criterio esterno, come ad esempio un test o una valutazione indipendente. Questo tipo di validità è importante per verificare se una misura è in grado di predire o spiegare il comportamento o le caratteristiche di interesse. LA VALIDITÀ NOMOLOGICA La validità nomologica si concentra sulle relazioni predittive tra un costrutto e altri costrutti teorici all'interno di una rete di relazioni. Questo tipo di validità è importante per comprendere come un costrutto si inserisce all'interno di un modello teorico più ampio e per valutare la sua coerenza con altre teorie o concetti. La validità nomologica si differenzia dalla validità di costrutto perché si focalizza sulle relazioni tra costrutti diversi, mentre la validità di costrutto si concentra sulla convergenza tra misure diverse di uno stesso costrutto. I METODI QUANTITATIVI I metodi quantitativi utilizzano opportuni coefficienti di correlazione per valutare la validità di criterio e nomologica. Questi coefficienti misurano la forza e la direzione della relazione tra le variabili in esame. La validità di criterio può essere valutata attraverso coefficienti come il coefficiente di correlazione di Pearson o il coefficiente di correlazione di Spearman. La validità nomologica può essere valutata attraverso l'analisi delle relazioni tra le variabili all'interno di un modello teorico, utilizzando ad esempio l'analisi di regressione o l'analisi del percorso.

Riferimento il criterio può essere il punteggio in un altro test ma anche una diagnosi o qualunque altra misura diretta ed esterna dello stesso costrutto che si è deciso di misurare con i