Appunti dell'esame di Analisi delle scienze del comportamento

Crisi di replicabilità della scienza legata alla riproducibilità degli studi

Riproducibilità degli studi

Riproducibilità significa mettere in grado un altro ricercatore di poter rifare lo stesso studio, avendo quindi i dati e i codici per poter riprodurre lo studio (mantenendo lo stesso campione di soggetti) e mettendo a disposizione dati e script per poter riavere lo stesso risultato. Uno studio riproducibile non significa che sia uno studio sensato o efficace. Ci sono degli strumenti per poter collegare lo studio ai dati e all’analisi utilizzata, per poter dare accesso ad altri a queste informazioni. Mettere a disposizione il codice dà anche la possibilità di verificare e di correggere nel caso in cui ci siano degli errori.

Replicabilità degli studi

Replicabilità si riferisce a uno studio considerato replicabile quando si conduce lo stesso studio con un campione differente. Uno studio per essere replicato deve condividere il protocollo in dettaglio delle procedure, oltre che le metodologie e gli strumenti. La replicabilità aiuta anche a vedere se ci sono degli aspetti che possono essere generalizzati a livello crosculturale dello studio originale; in questo caso si vedono alcune evidenze interessanti (in questo caso si cambiano alcuni piccoli cambiamenti al protocollo). Al contrario, abbiamo degli studi che introducono dei cambiamenti più massicci nel procedimento, come altre condizioni. Un altro studio di replicabilità può anche aiutare a valutare la validità dello strumento utilizzato all’interno dello studio. La replicabilità è anche legata alla numerosità campionaria, infatti, studi con una numerosità bassa possono essere replicati con una numerosità più ampia per vedere se i conti tornano (numerosità più alta = maggiore attendibilità).

Questionable research practices

Negli ultimi 20 anni, alcuni ricercatori riescono a trovare degli effetti in base ai propri dati, diversi dalle proprie ipotesi. Successivamente, le ipotesi vengono riformulate in base ai risultati, cosa assolutamente errata. Per poter ovviare al problema è meglio registrare precedentemente le ipotesi e poi condurre lo studio. Ci possono essere anche delle sbagliate interpretazioni dei dati o dell’utilizzo sbagliato di strumenti statistici. È importante anche avere delle basi teoriche solide su cui fondare le proprie ipotesi.

Uno degli aspetti principali di fare uno studio è il preplanning per poter organizzare e registrare delle ipotesi. Si tratta di un momento essenziale per avere una struttura solida prima di procedere. Questo include anche riuscire a prestabilire la giusta numerosità per uno studio, il soggetto della popolazione, registrare le ipotesi, preregistrare gli studi. Altri punti chiave sono l’open science, ossia la scienza aperta anche a chi è fuori dalla comunità scientifica o chi è informazione. Oltre a ciò, abbiamo anche come punto chiave la preregistrazione degli studi. Si può anche parlare di pensiero meta-analitico e andare oltre, anche in altri contesti disciplinari. Gli studi multi-laboratoriali permettono di raccogliere dati con studi ristretti, in diversi paesi, per riuscire a trovare dati significativi, partendo dalla stessa procedura (accettando anche la variabilità dei dati).

Gender-gap nell’ammissione all’università (Bickel, 1973)

Studio osservazionale: lo studio osservazionale, in cui lo studioso non può intervenire sulle variabili che entrano in gioco, si concentra sulla possibilità che ci sia un gap tra l’ammissione di maschi rispetto alle femmine all’università. L’ammissione all’università (variabile dicotomica). Lo studio è condotto su 12,000 soggetti, di cui in proporzione maschi 8,000 circa e femmine 4,000 circa. La distribuzione marginale è la distribuzione di una variabile indipendentemente dall’altra variabile. In questo caso le variabili sono genere e ammissione. Abbiamo quindi in tabella da un lato la distribuzione del genere e la distribuzione dell’ammissione; se non c’è correlazione allora rimangono costanti, al contrario se la distribuzione condizionata cambia allora significa che c’è associazione tra le variabili. La distribuzione condizionata dell’ammissione condizionata al genere mostra una relazione tra ammissione e genere, con una relazione del 9%. Possiamo allora fare un’associazione di due variabili categoriali ki2 – con h:0 con nessuna correlazione vs h:1 con una relazione tra le variabili. I risultati mostrano, dunque, che esiste un’associazione tra genere e numero di ammissione, c’è una differenza significativa che mostra appunto che generalmente i maschi vengano ammessi con una differenza del 9% rispetto alle femmine.

Cosa possiamo trarre dallo studio? Molto probabilmente c’è un’altra variabile che entra in gioco. Se teniamo conto di un’altra variabile, possiamo cambiare le carte in tavola. Se possiamo la misuriamo, se non possiamo, dobbiamo esplicitare che non abbiamo preso in considerazione questa variabile. (in particolare, nello studio osservazionale, in cui non possiamo controllare molto le variabili.) es. consideriamo il ruolo del dipartimento scelto per fare richiesta d’ammissione, considerando i 6 dipartimenti più numerosi. Se aggiungiamo questa variabile, osserviamo come si distribuiscono (senza poter avere il controllo sulle scelte, perché stiamo osservando) all’interno dei diversi dipartimenti. Una delle problematiche dello studio è che non c’è abbastanza bilanciamento nei risultati, perché non possiamo controllare il tasso di iscrizione a dei dipartimenti per avere un numero pari di maschi e femmine, al contrario di uno studio di tipo sperimentale in cui possiamo controllare le variabili. Se idealmente possiamo bilanciare e avere la stessa proporzione di iscrizioni per maschi e femmine per ogni dipartimento, si vede alla fine che il 42% delle femmine viene ammessa contro i 38% dei maschi, se il numero di ammissione fosse dipendente e genere e dipartimento fossero indipendenti, alla fine dei conti è la scelta di dipartimento ad essere la variabile che presenta differenze significative e il genere non influenza poi così tanto l’ammissione. Bisogna, dunque, tenere a mente anche una serie di variabili che possono intervenire oltre a quelle misurate.

Il tasso di ammissione anche inserendo la scelta di dipartimenti non varia molto la distribuzione dei dati visti precedentemente, anche se in alcuni casi ci possono essere dei cambiamenti o dei ribaltamenti se si aggiunge un’altra variabile all’interno della relazione di due variabili (Paradosso di Simpson).

Esempio di numerosità campionaria

09.03.2021

È noto che, nella popolazione adulta, la distribuzione dei punteggi del Quoziente Intellettivo (QI) è Normale con media pari a 100 e deviazione standard pari a 15. Due gruppi di ricerca, A e B, hanno condotto in modo indipendente uno studio psicologico in cui è coinvolta la misura del QI. Il gruppo A ha selezionato casualmente un campione di 10 soggetti dalla popolazione, mentre il gruppo B un campione di 30 soggetti. Sappiamo che in uno dei due campioni selezionati la media del QI è risultata inferiore a 90.

Quale delle seguenti affermazioni è più plausibile?

• Il campione appartiene allo studio del gruppo A
• Il campione appartiene allo studio del gruppo B
• Il campione ha circa la stessa probabilità di appartenere allo studio del gruppo A o allo studio del gruppo B

Quale risposta è corretta? Aiutiamoci con R, ipotizziamo di avere una popolazione di 100,000 con media 100 e deviazione standard di 15. Estraiamo il nostro gruppo A di 10 individui, assegniamo loro un valore e calcoliamo una media, ripetiamo questo processo per 1,000 volte. Questo tipo di processo simula un campionamento da cui possiamo fare la distribuzione delle medie (non sui punteggi dei soggetti – scompare una parte della variabilità della distribuzione) – facciamo così anche con una numerosità da 30 e vediamo cosa esce fuori. (comunque si tratta di assumere che le misurazioni vengano fatte con le stesse condizioni). Si nota una minore varietà nel campione più grande e una maggiore variabilità nel campione più piccolo. La distribuzione delle medie campionarie è minore con n=30 e meno dispersiva. La distribuzione di una statistica campionaria ha maggiore variabilità quando il campione è più piccolo – gli estremi sono più lontani tra loro.

Dal grafico possiamo osservare che la distribuzione di A è più variabile (più dispersione), al contrario di B c’è una variabilità minore. Più grande è il campione e più il campione è rappresentativo della popolazione. Considerando la distribuzione delle medie di A si nota che si possono ottenere con più facilità dei valori estremi, ossia che un campione più piccolo ci dà valori che arrivano agli estremi con più probabilità rispetto a campioni più ampi. A parità di condizioni, un campione piccolo ha più probabilità di portarci valori estremi.

Quindi all’aumentare di n:

• Diminuisce la variabilità della distribuzione campionaria del parametro di interesse.
• Aumenta il grado di rappresentabilità del campione rispetto alla popolazione.

Il miglior tipo di campionamento è quello casuale, in cui è più probabile che entrino in gioco tutti i tipi di valori. Una numerosità ottimale dipende da caso a caso, e non significa neanche avere un campione eccessivo che non dà informazioni maggiori rispetto a una giusta numerosità. Inoltre, è importante considerare che ci sono dei limiti a cui dobbiamo sottostare in termini di tempi e risorse. La power analisis o design analysis ci aiuta partendo dalla teoria, fa una serie di esami per poter stabilire qual è la numerosità adatta per lo studio e verificare quanto è grande l’effetto e quanto è variabile.

La numerosità dipende da quanto si manifesta l’effetto. Se andiamo ad analizzare eventi molto variabili abbiamo bisogno di una grossa numerosità, se l’effetto invece è più piccolo possiamo anche utilizzare campioni più piccoli.

Importanza della statistica per le scienze del comportamento

Per comprendere la letteratura specializzata, capire la logica sottostante alla ricerca in psicologia, condurre ricerche in psicologia e comunicare in modo efficace con gli statistici. Con un campione piccolo, i risultati sono molto variabili, c’è il rischio di analizzare una parte dell’effetto e non il suo totale. Quale sarà il numero di soggetti ottimale? Spesso degli studi con pochi soggetti incentivano una sovrastima dell’effetto. Per ovviare al problema, è meglio registrare prima l’ipotesi (l’articolo verrà comunque pubblicato) e successivamente verrà visto il risultato.

Definizioni

Unità statistica: elementi che costituiscono l’oggetto dell’osservazione e le cui proprietà vengono rilevate (es. studenti, studi, triade quando si parla di sogg. in relazione).

Popolazione: l’insieme di tutte le unità cui fa riferimento l’osservazione.

Campione: sottoinsieme della popolazione – un campione rappresentativo può essere raggiunto con un buon campionamento e la stessa probabilità di ogni soggetto di collocarsi nella rappresentazione.

Variabile: ogni caratteristica rilevata su ciascuna unità statistica (ansia, depressione, attenzione, intelligenza ecc.).

Modalità o livello: ogni diversa presentazione di una variabile (basso medio alto o infinite modalità di presentazione).

Nozioni base del 10.03.21

Statistica descrittiva

La statistica descrittiva ha come obiettivo quello di riassumere, descrivere ed esplorare i dati osservati. Assiste il ricercatore nella formalizzazione delle ipotesi e nell'analisi esplorativa per vedere cosa emerge, senza porre problemi di inferenza o di generabilità dei dati. Fornisce una "foto" dei dati ed è difficile considerare le diverse variabili in relazione.

Statistica inferenziale

La statistica inferenziale ha come obiettivo quello di utilizzare le informazioni rilevate su un campione della popolazione di riferimento per fare delle affermazioni sulle caratteristiche della popolazione stessa. Prende il campione e cerca di estrapolare informazioni sullo stesso.

Classificazione delle variabili

Una importante classificazione delle variabili, in particolare in psicologia, distingue tra variabili latenti e variabili osservate (o manifeste).

Variabili latenti

Una variabile latente rappresenta un concetto unidimensionale, ossia che varia in due direzioni, su una sola dimensione, nella sua forma pura (Bollen, 1989). Una variabile latente non è direttamente osservabile, ma misurabile solo per via indiretta, tramite appropriate variabili chiamate indicatori (test psicologico). Esempi: l'intelligenza, la socievolezza, l'ansia, depressione. Sono tutte variabili che faccio coincidere con costrutti latenti. Anche se ci sono diversi tipi di intelligenza o ansia, è giusto considerarne una per poter avere l’idea di unidimensionale.

Variabili osservate o manifeste

Una variabile osservata è una variabile direttamente misurabile. Esempi: l'altezza, il genere sessuale, tempi di reazione ecc. Spesso le variabili osservate vengono utilizzate come indicatori indiretti delle variabili latenti. Esempio: risposte a un test -> misurazione dell'ansia (Pastore, 2015).

Non usare qualitativa ma categoriale. Tradizionalmente le variabili si distinguono rispetto alla loro natura metrica:

Variabile categoriale nominale [= o ≠]

È composta da categorie (dette anche livelli o modalità) che non possono essere ordinate. L’unica cosa che possiamo fare è vedere se le unità statistiche sono uguali o no, non posso ordinarle. Esempio: colore dei capelli, anche se potrei dargli un ordine in base al gradiente.

Variabile categoriale ordinale [= o ≠ / > o <]

È composta da categorie (dette anche livelli o modalità) che possono essere ordinate. Esempio: reddito, grado di accordo, posso fare il confronto tra due unità statistiche vedere se una è uguale all’altra, ma anche se sono una inferiore o maggiore dell’altra.

Variabile quantitativa su scala intervallo [= o ≠ / > o < / + o -]

La scala intervallo è una scala in cui è possibile misurare la distanza tra due punti. Il rapporto tra due intervalli è indipendente sia dall'unità di misura, sia dalla posizione dello zero, che sono entrambi arbitrari, ossia lo zero non assume il valore di assenza del fenomeno. È possibile misurare la distanza tra due punti, gradi di distanza es. con gradi di temperatura, lo zero qui è un valore, e non si considerata con assenza del fenomeno.

Variabile quantitativa su scala rapporto [= o ≠ / > o < / + o - / × o ÷]

La scala a rapporto ha le stesse proprietà della scala ad intervalli, ma lo zero non è arbitrario, quindi sono variabili in cui lo zero rappresenta l’assenza del fenomeno misurato. Esso coincide con l’assenza di fenomeno misurato. Esempio: punteggio di un test o tempo di reazione.

Classificazione tra variabili categoriali e quantitative

Una terza classificazione, parzialmente sovrapposta a quella precedente, e molto utilizzata nella pratica è quella tra variabili categoriali (misurabili su scala nominale o ordinale) e variabili quantitative (misurabili su scala intervallo o su scala rapporto). Nel linguaggio comune può capitare di sentir definire impropriamente le variabili categoriali come variabili ‘’qualitative’’. Don't do it! Perché l’approccio qualitativo è differente, si concentra es. sui riassunti dei testi o le narrazioni.

Variabili quantitative

Le variabili quantitative possono essere suddivise in:

• Variabili discrete: assumono solo valori interi e numerabili. Esempi: numero di risposte corrette, anni di scolarità.
• Variabili continue: assumono valori reali che non sono direttamente numerabili. Esempi: altezza, pressione del sangue, tempo di reazione, un costrutto psicologico latente.

Fasi di una ricerca scientifica

1. Riflessione teorica, basata sulla letteratura, sul fenomeno di studio.
2. Formulazione delle ipotesi di ricerca.
3. Operazionalizzazione. Dalle ipotesi teoriche all'individuazione di indicatori empirici (le variabili) da utilizzare sul campo. Eventuale studio pilota in cui viene fatto uno studio iniziale con una prima analisi di dati, misurando il fenomeno e facendo una power analisis, con cui posso fissare una numerosità campionaria per poter fare lo studio. Per poter far sì che la stima sia efficace, se basate su dei piccoli campioni, fare più studi, o fare uno studio su un campione ragionevolmente grande per poter avere un effetto adeguato, altrimenti vengono portati a delle distorsioni. Servono per studiare la fattibilità dello studio, per poter capire se ci sono ambiguità, definire il tempo di durata dello studio.
4. Definizione del metodo di ricerca (Il disegno di ricerca). Il campione oggetto di studio. Gli strumenti e i metodi per rilevare le variabili di interesse – lo strumento di ricerca è importantissimo per poter vedere cosa si adatta meglio al costrutto analizzato. La procedura per la raccolta dei dati. Il piano delle analisi statistiche.
5. Raccolta e codifica dei dati.
6. Analisi dei dati: analisi delle relazioni tra le variabili di interesse sulla base delle ipotesi fatte.
7. Interpretazione dei risultati sia da un punto di vista statistico che da un punto di vista psicologico.
8. Discussione ... e il più delle volte ritorno al Passo 1 – non è detto che accada sempre, se ho ben fatto le mie ipotesi, potrei ri...