Riassunto esame Metodologia della ricerca psicologica, prof. Primi, libro consigliato Metodologia della ricerca psicologica, Mc Burney

La validità dei test

La validità esteriore o di facciata è l’idea che un test dovrebbe avere l’apparenza, per ogni persona, di essere un test di quello di cui si suppone che sia un test. La validità di contenuto è la nozione che un test dovrebbe esaminare la gamma di comportamenti che è rappresentata dal concetto teorico che viene misurato. La validità di criterio è l’idea che un test valido dovrebbe essere strettamente in relazione con le altre misure dello stesso costrutto teorico.

Tipi di validità di criterio

Se il criterio di un test di intelligenza è se correla con il profitto scolastico di un bambino nel periodo in cui il test viene somministrato, viene chiamato validità concorrente. Se il criterio di un test di intelligenza è quanto bene il test è in grado di predire il futuro rendimento di un bambino, allora è chiamato validità predittiva.

Errori di misura

Fondamentalmente ci sono due tipi di errori di misura: l’errore sistematico (o costante) e l’errore casuale. L’errore casuale non è associato a nessuna variabile indipendente conosciuta (es. il modo in cui si mettono i piedi nella bilancia influenza il peso). L’errore sistematico (es. il fatto che peso di meno al mattino influenza il peso) non è mai desiderato nella ricerca, ma se l’errore rimane lo stesso per tutta la ricerca, cioè se tutti i gruppi o le condizioni della ricerca sono ugualmente influenzate dall’errore sistematico, non è poi un problema così grave.

L’errore sistematico può essere molto grave se è associato alla variabile indipendente. L’errore casuale è sempre un grave problema nella ricerca, perché può ridurre la precisione con la quale vengono valutati gli effetti della variabile indipendente; è una minaccia all’affidabilità delle misurazioni.

Affidabilità

L’affidabilità test-retest consiste nel valutare se lo stesso strumento di misura porta agli stessi risultati in occasioni differenti. Un buon test dà sempre risultati simili in occasioni differenti. La coerenza interna consiste nel valutare se gli item di un test misurano la stessa cosa. Ci sono molti modi per misurare la coerenza interna della variabile dipendente: l’affidabilità split-half si calcola dividendo gli item del test in due gruppi come se fossero due test separati; dopo di che, i punteggi delle due metà vengono correlati per vedere quanto sono vicini i punteggi del soggetto nelle due metà. Un buon test ha sempre una correlazione molto alta fra le due metà.

Ricerca entro i soggetti

• Gli stimoli dovrebbero coprire la massima parte possibile della gamma di variazione.
• Gli stimoli dovrebbero essere sufficientemente ravvicinati da rendere improbabile la mancata osservazione di effetti interessanti dovuti a valori intermedi dello stimolo non esaminati.
• Quando il soggetto viene sottoposto a tutti gli stimoli in una singola seduta, si dovrebbero presentare, se possibile, almeno 7 stimoli, poiché, se si presentano meno di 7 stimoli, i soggetti possono identificare e ricordare ciascun stimolo, pertanto le risposte potrebbero essere basate non sullo stimolo in sé ma sulla memoria degli stimoli precedenti.
• Se si progetta di usare solo 2 stimoli, si devono scegliere quelli che paiono più appropriati, se invece se ne devono scegliere più di 2, si deve scegliere come intervallarli.

Descrizione dei dati con tabelle e grafici

Una tabella è una rappresentazione dei dati in forma numerica nelle righe e nelle colonne di una matrice. Un grafico è una rappresentazione dei dati attraverso relazioni spaziali in un diagramma. I grafici e le tabelle ci aiutano a sintetizzare i dati e a capire le relazioni tra variabili. Di solito l’ascissa (o asse x) rappresenta il valore della variabile indipendente, mentre l’ordinata (o asse y) mostra il valore della variabile dipendente.

La distribuzione di frequenza è un grafico che mostra quanti punteggi cadono in particolari sezioni della variabile. L’ascissa mostra i vari punteggi possibili e l’ordinata mostra la frequenza di ciascun punteggio. Ogni barra quindi rappresenta la frequenza di un dato punteggio. Notiamo che la barra tocca le barre che rappresentano i punteggi ai suoi due lati, e non è separata da uno spazio. Questo uso di barre continue rappresenta l’idea che la variabile sottostante che stiamo misurando è continua piuttosto che discontinua (istogramma).

Nel poligono di frequenza usiamo un puntino per rappresentare la frequenza di ogni punteggio e colleghiamo questi punti con linee rette. Anche se istogrammi e poligoni di frequenza mostrano le stesse informazioni, ed entrambi sono corretti, in genere un istogramma è più informativo quando ci sono relativamente poche categorie. Quando invece ci sono molte categorie, i dati di solito cominciano ad approssimarsi a una curva uniforme e allora il poligono di frequenza è più chiaro.

Molte distribuzioni hanno una forma a campana; cioè sono simmetriche, con la maggior parte dei casi che cade nel mezzo e pochi casi nelle due estremità (le code). Una particolare curva a forma di campana è chiamata curva normale. Se una distribuzione di frequenza non è simmetrica, ma ha una coda più lunga ad un estremo o all’altro, diciamo che è asimmetrica. Quando la coda è nella parte bassa della distribuzione, si dice che è asimmetrica negativa; quando la coda è nella parte alta, è asimmetrica positiva.

La distribuzione della frequenza cumulativa mostra il numero di punteggi che cadono sotto un certo punteggio. Di solito si usano poligoni per indicare la frequenza cumulativa, ma si possono usare anche istogrammi. Un grafico della frequenza cumulativa aumenta sempre come una curva monotona. In altre parole, il grafico o va verso l’alto o resta orizzontale andando da sinistra a destra, ma non va mai verso il basso.

Questo deriva dalla definizione di frequenza cumulativa: il numero che rappresenta la frequenza dei punteggi che cadono a un certo punto o sotto di esso non può mai essere minore del numero che rappresenta i punteggi che cadono a un punto inferiore o sotto di esso. La forma di una curva di frequenza cumulativa è generalmente sigmoidale, o a forma di S. La curva è orizzontale a ciascuna estremità, ed è più ripida in qualche punto nel mezzo. Se la distribuzione è asimmetrica, la parte più ripida della curva sarà verso l’estremità più alta o più bassa, perché è lì che cade la maggior parte dei casi.

Un grafico di dispersione è un grafico che mostra la relazione tra due variabili per un certo numero di casi individuali; esso mostra il valore di due variabili per ogni individuo. Possiamo determinare il grado della relazione e quale sia la funzione che mette in relazione le due variabili calcolando il coefficiente di correlazione. I grafici di dispersione sono usati di solito per illustrare dati correlazionali.

Nel grafico di una funzione (o grafico a linee) l’ordinata rappresenta una variabile dipendente in funzione di una variabile indipendente. In genere, le funzioni che rappresentiamo in un grafico implicano una risposta che varia in modo continuo secondo i cambiamenti del livello di una variabile indipendente quantitativa. Disegnare una curva uniforme implica una particolare funzione matematica, e generalmente questo significa che c’è una teoria che descrive l’esatta forma della funzione. I punti uniti da linee rette indicano solo una funzione empirica, piuttosto che basata sulla teoria.

I grafici a barre sono usati quando la variabile indipendente è qualitativa anziché quantitativa. Le singole barre in un grafico a barre sono disegnate in modo che non si tocchino l’una con l’altra, per sottolineare che rappresentano categorie diverse di comportamenti. È importante ricordare che una distribuzione di frequenza differisce dagli altri grafici per il fatto che l’ordinata rappresenta una frequenza, non il valore di una variabile dipendente!

Un grafico a serie temporale è un grafico in cui l’ascissa rappresenta il passaggio del tempo. Un altro tipo di piano a serie temporale in psicologia è la registrazione cumulativa, comunemente usata nella ricerca sul condizionamento operante. L’ascissa mostra il tempo, come tutti i grafici di questo tipo. L’ordinata invece mostra il numero cumulativo di risposte dall’inizio della seduta.

Si può rappresentare la variabilità disegnando delle barre d’errore sopra e sotto i valori medi di un grafico per indicare più o meno una deviazione standard, o l’errore standard della media. Nonostante la loro utilità, le barre d’errore possono anche essere ingannevoli. Una deviazione standard a entrambi i lati della media di una distribuzione normale include il 68% dei casi. Com’è possibile allora che la barra d’errore per le femmine tocchi l’asse delle ascisse che coincide con lo zero? Una rappresentazione di questo tipo significa che ad alcune delle femmine il film è piaciuto meno di zero, il che è impossibile.

È possibile risolvere questo problema usando un altro modo per indicare la variabilità dei dati. Questo metodo è conosciuto con il nome di “box and whisker plot”. Esso si basa sul calcolo della mediana e dei percentili invece che della media e della deviazione standard. La linea orizzontale che attraversa il box indica la mediana. La linea verticale, detta whisker (“baffo”), si estende in basso fino al 10° percentile e in alto fino al 90°. È chiaro che queste due distribuzioni sono asimmetriche. Il box and whisker plot mostra molto chiaramente l’asimmetria dei dati, cosa che non mostrano i grafici a barre. Essi sono molto utilizzati ogni volta che i dati sono asimmetrici e in tutte quelle situazioni in cui serve calcolare la mediana. Purtroppo sono poco usati in psicologia. Basandosi sui percentili, può essere utile al posto di una distribuzione di frequenze.

Trascrizione dei dati

Il processo mediante il quale si passa dai dati grezzi all’analisi statistica è chiamato trascrizione dei dati. La registrazione iniziale dei dati di solito è realizzata su fogli che registrano le risposte di un singolo soggetto. I fogli dei dati dovrebbero avere spazio per registrare data, ora, nome del ricercatore, condizione e ogni altra informazione di identificazione. Il piano di ricerca e la procedura che avete usato devono essere conservate in un altro posto, preferibilmente in un notes.

Se i dati sono raccolti con un questionario o in qualche altra forma che è il soggetto a riempire, è meglio mettere una colonna sul lato sinistro del foglio dei dati, in cui i dati possano essere trasferiti come primo passo della trascrizione dei dati. Successivamente i dati vanno trascritti in un foglio riassuntivo dei dati. È utile preparare una guida per la codifica che specifichi per ogni variabile quanti numeri e quale colonna devono occupare i possibili valori. Inoltre, siccome le statistiche si calcolano sui numeri, è necessario indicare per le scale nominali a che numero corrisponde ogni etichetta. È utile avere una guida per la codifica dei dati in modo tale che vi possiate ricordare, anche a distanza di tempo, i codici che avete assegnato.

È importante controllare gli errori guardando alcune statistiche e grafici preliminari. Per prima cosa consideriamo i dati non validi. Molte volte le variabili indipendenti o dipendenti possono assumere solo certi valori (es. se la variabile dipendente fosse una valutazione su una scala a 7 punti, ogni valore diverso da 1-7 sarebbe non valido). I dati mancanti si verificano quando ci può essere una casella nella matrice che non contiene nessun dato; forse un soggetto non ha completato tutte le parti della ricerca.

I dati isolati sono dati che non sono non validi, ma sono molto improbabili; essi possono venire fuori per due ragioni: 1. possono essere semplicemente punteggi estremi di una distribuzione normale; 2. potenziali dati isolati possono venire da una distribuzione diversa da quella di tutti gli altri punteggi. La migliore ragione per escludere risposte isolate è ovvia: si tratta di un errore grossolano nel seguire le istruzioni. Ci sono procedimenti statistici sofisticati per valutare le risposte isolate, ma la maggior parte dei ricercatori si basa su analisi informali per escluderle.

Questi metodi informali comprendono l’analisi visiva e numerica delle distribuzioni per individuare i dati strani. Un criterio può essere quello di eliminare qualsiasi risposta che cada tre o più deviazioni standard lontano dalla media dei dati. Sarebbe saggio condurre l’analisi statistica su tutti i dati, compresi i dati strani, e riportare la differenza che l’esclusione dei dati strani ha portato nei risultati. Non farlo può essere una violazione dell’etica. L’eliminazione di dati dall’analisi ha portato talvolta a inchieste sul comportamento dei ricercatori dal punto di vista etico.

Il modo più semplice e più sistematico per cercare dati non validi, mancanti o isolati è di condurre qualche statistica preliminare sulla matrice.

Trattamento dei dati

• Mettere i dati in una matrice in un foglio riassuntivo dei dati.
• Fare le statistiche e i grafici preliminari.
• Controllare se ci sono dati non validi e correggerli.
• Controllare se ci sono dati mancanti e sostituirli con il codice dei dati mancanti.
• Controllare se ci sono dati strani e toglierli.
• Applicare le statistiche descrittive.
• Descrivere i dati numericamente.
• Descrivere i dati graficamente.
• Calcolare analisi statistiche inferenziali.

Validità

Con validità intendiamo semplicemente la verità o l’esattezza della conclusione del ricercatore, la sua corrispondenza con la realtà. La validità è in dubbio quando la conclusione che esiste una relazione di causa ed effetto fra le variabili è messa in dubbio, o quando si obietta alla spiegazione teorica del tipo di relazione ottenuta. Un esperimento ha validità interna se vi sono ragioni valide per ritenere che una relazione di causa ed effetto esiste realmente fra la variabile indipendente e quella dipendente. In altre parole la variabile indipendente ha causato la modificazione di quella dipendente.

Quando qualche condizione covaria con la variabile indipendente in modo che i loro effetti rispettivi non possono essere vagliati separatamente, le due variabili sono confuse. Il problema della confusione delle variabili è particolarmente acuto in quelle ricerche in cui lo sperimentatore non può controllare la variabile indipendente (es. sesso del soggetto quasi esperimento). La validità di costrutto concerne la questione della conformità fra i risultati e la teoria che sta alla base della ricerca. Condizioni particolari dell’esperimento costituiscono delle ipotesi ausiliarie che devono anch’esse essere vere al fine di vagliare l’ipotesi principale.

La validità di costrutto è simile alla validità interna. Per avere validità interna cercate di eliminare variabili alternative come cause potenziali del comportamento in esame. Per avere la validità di costrutto dovete escludere altre possibili spiegazioni teoriche dei risultati. In entrambi i casi è possibile che dobbiate eseguire un altro esperimento al fine di eliminare una minaccia alla validità. Per la validità interna potete riuscire a riprogettare l’esperimento in modo da controllare la sorgente di confusione. Nel caso della validità di costrutto potete progettare un nuovo esperimento che permetta di scegliere fra le due spiegazioni teoriche alternative dei risultati.

La validità esterna riguarda l’applicabilità dei risultati della ricerca ad un’altra situazione: diversi soggetti, diversi luoghi, diversi tempi. Il quesito nel caso della validità statistica è: la relazione osservata fra la variabile indipendente e quella dipendente era una vera relazione di causa ed effetto o una relazione accidentale? Anche quando la statistica è usata correttamente, un test statistico stabilisce solamente che un risultato ha una probabilità bassa di verificarsi solo per caso, ma non garantisce che il cambiamento nella variabile dipendente sia il risultato di una vera relazione causa-effetto con la variabile indipendente, potrebbe invece essere il risultato di un errore casuale di campionamento o di misura.

Per quanto riguarda questo problema, non c’è modo di garantire in modo assoluto nessuno dei tipi di validità di un risultato di ricerca; tutti i metodi per valutare la validità servono semplicemente ad aumentare la fiducia nella conclusione che è stata tratta dalla ricerca.

Minacce alla validità interna

• Eventi esterni al laboratorio (storia): ogni volta che un esperimento richiede che i soggetti vengano esaminati in condizioni sperimentali differenti in tempi diversi, è possibile che eventi esterni al laboratorio influenzino i risultati.
• Maturazione: i soggetti possono cambiare tra le condizioni di un esperimento a causa di processi che avvengono naturalmente; è un problema più critico quando si fa ricerca sui bambini poiché questi cambiano molto più rapidamente nel tempo degli adulti.
• Effetto delle prove: la semplice partecipazione ad un esperimento o l’essere stati sottoposti a prove influenzano la prestazione delle persone in un successivo esperimento o nell’esecuzione di una prova. I soggetti possono imparare come eseguire le prove, cosicché il loro comportamento è modificato dall’esperienza precedente.
• Effetto della regressione: si verifica quando tra due variabili non c’è una correlazione perfetta. Individui che hanno fornito prestazioni vicine ai valori estremi in una prova tenderanno ad ottenere un punteggio più vicino ai valori medi in un’altra prova. L’effetto della regressione si può verificare quando due variabili diverse sono correlate.