Minacce alla validità statistica in psicologia

Minaccia della bassa potenza statistica

Possiamo individuare cinque aspetti che costituiscono una minaccia alla validità statistica.

Il primo aspetto è la bassa potenza statistica, che è dovuta ad un campione di partecipanti ridotto. Infatti, maggiore è il numero di partecipanti (e di osservazioni), tanto maggiore sarà la potenza del test statistico.

Violazione delle assunzioni statistiche

Il secondo aspetto concerne la violazione delle assunzioni alla base del test statistico. Ciò potrebbe condurre all'errore di primo o di secondo tipo, che fanno riferimento, rispettivamente, alla sovrastima o alla sottostima di effetti. In questo caso, ci sono violazioni specifiche che riguardano il disegno sperimentale. Ad esempio, un esperimento che vuole testare l'efficacia di un nuovo metodo di studio, se è somministrato all'interno dello stesso gruppo di soggetti, viola l'assunzione dell'indipendenza degli errori.

Problema di Bonferroni e fishing

Il terzo aspetto è denominato fishing o problema di Bonferroni ed è caratterizzato dal fatto che ripetuti test statistici su ipotesi nulle indipendenti aumentano proporzionalmente la probabilità che l'evento raro avvenga, ossia che nessuna delle ipotesi sia significativa, e di conseguenza commettere un errore di primo tipo.

Bassa affidabilità e restrizione variabile

Un'altra minaccia alla validità è la bassa affidabilità della misura e, infine, la restrizione dei livelli della variabile indipendente. Quest'ultimo concerne l'utilizzo di pochi livelli, che comporterebbe ad una stima falsata dell'evento reale.