Analisi dei dati

Analisi dei dati

Cos'è la statistica inferenziale?

È un tipo di statistica che cerca di misurare caratteristiche non osservabili direttamente, attribuendo dei punteggi che consentono di risalire attraverso un’ipotesi probabilistica alla quantità e/o qualità della caratteristica che si desidera osservare. Come tutte le misurazioni anche quella psicometrica è soggetta (forse più di altre) ad errori, che possono essere sia sistematici che casuali. Quelli sistematici, una volta identificati, sono facilmente prevedibili ed eliminabili. Quelli casuali invece sono più difficili da prevedere e da correggere e vanno inquadrati all’interno della Teoria Classica dei Test per giungere alla stima del punteggio del test al netto degli effetti di tale errore.

Che cos'è la statistica descrittiva?

Statistiche che utilizzano indici sintetici con lo scopo di descrivere una distribuzione. Gli indici di posizione sono i seguenti:

• Media (x)

Gli indici di dispersione sono i seguenti:

• Varianza S²
• Deviazione standard S

Queste sono statistiche calcolate su un campione, e sono formate da una funzione che sintetizza le informazioni contenute all’interno dei dati. Il fine è quello di produrre delle inferenze sulla popolazione → in questo caso la statistica è definita stimatore.

Introduzione alla statistica inferenziale

Distribuzione di probabilità della media – errore standard della media

Variabile aleatoria, distribuzione di probabilità e distribuzione normale

Variabile aleatoria

In statistica descrittiva si definisce variabile un vettore di una matrice CxV che nasce dall'operativizzazione di un insieme di eventi che possono assumere stati diversi. Per variabile aleatoria o casuale si intende una funzione che associa ad ogni evento dello spazio campionario un numero reale.

È una variabile:

• Il cui esito (generato in seguito ad un esperimento) è incerto, cioè oggetto del caso.
• I valori che una V.A “X” può assumere sono determinati sulla base di un evento (E) che si è presentato in seguito ad un esperimento.

Esempio: Esperimento «Lancio di due monete» dall’esperimento viene scelto un evento di interesse «uscita Testa» V.C. X è «Numero di volte che si presenta Testa» la variabile casuale X: {0(esito croce/croce); 1(esito croce/testa); 2 (testa/testa)}. Quindi, quando si va a contare quante volte un evento si manifesti (lancio testa) allora si ha a che fare con una variabile aleatoria con diversi possibili esiti (0-1-2).

Distribuzione teorica di probabilità

Se affianchiamo ad ogni valore (X) che assume la V.C. la probabilità p che quel valore ha di verificarsi, costruiamo una distribuzione di probabilità. Questa è:

• Una funzione che sintetizza la relazione che esiste tra i valori di una variabile casuale e la probabilità che questi hanno di verificarsi.
• Usa la teoria della probabilità per descrivere il comportamento di una variabile.
• Conoscere il tipo di distribuzione di probabilità di una V.C. fornisce ai clinici e ai ricercatori uno strumento utile per fare inferenze sui parametri della popolazione da cui è stato estratto il campione.
• Può essere rappresentata sotto forma di tabella, grafico o formula.

Ci sono due differenti tipi di variabile aleatoria:

• Discreta può assumere un numero limitato di valori. La sua rappresentazione grafica sarà un istogramma, un grafico dove per ciascun esito dell’esperimento della variabile casuale è possibile associare un valore di probabilità.
• Continua può assumere tutti i valori, che ipoteticamente, vanno da -∞ a +∞. La funzione che si disegna è una linea continua ed è definita da una curva senza balzi, dove l’area sottesa a quella curva = 1 (proprio perché si tratta di una distribuzione di probabilità).

Distribuzione normale o gaussiana

Una distribuzione può essere:

• Simmetrica rispetto al valore centrale, che in questo caso coincide con media e mediana.
• Oppure può esserci una coda più lunga da un lato piuttosto che dall’altro: se la media è più bassa della mediana avremo un’asimmetria negativa, se invece è più alta della mediana avremo un’asimmetria positiva.

La variabile aleatoria più utilizzata nella ricerca empirica è la variabile con distribuzione Normale (Gaussiana) o variabile degli errori casuali. La distribuzione normale è simmetrica a forma di campana e unimodale (moda media e mediana coincidono). È caratterizzata da due valori: media e varianza N (μ, σ²). L'equazione della funzione di densità è costruita in modo che l'area sottesa alla curva rappresenti la probabilità. Perciò, l'area totale è uguale a 1, quindi l’integrale della funzione da -∞ a +∞ è uguale a 1. Presenta due punti di flesso in corrispondenza di μ+σ e μ-σ; il valore dell’area sottesa alla curva è pari a 1. La distribuzione di probabilità normale è asintotica rispetto all’asse delle ascisse x, cioè la curva tende a infinito senza mai toccare l’asse in questione.

In particolar modo, coincidente la moda con la mediana, si è di fronte ad una distribuzione simmetrica rispetto al valore centrale, vuol dire che al di sopra della media ricadrà il 50% della probabilità e sotto la media il restante 50% di probabilità. La distribuzione viene disegnata da due parametri, ossia dalla media (μ) e dalla deviazione standard (σ). Vuole dire che:

• Se μ varia e σ rimane costante, si hanno infinite curve normali con la stessa forma e la stessa dimensione, ma con l'asse di simmetria in un punto diverso.
• Se invece μ rimane costante e σ varia, tutte le infinite curve hanno lo stesso asse di simmetria, ma hanno forma più o meno appiattita, secondo il valore di σ.

Alcuni esempi: affinché una distribuzione continua a campana diventi una distribuzione normale è necessario che vengano rispettati alcuni valori caratteristici, ovvero le seguenti proporzioni:

• Tra la media (μ) ±1 deviazione standard (σ) che ricada nel circa 68% di probabilità.
• Tra la media ±2 deviazione standard che ricada nel circa 95% di probabilità.
• Tra la media ±3 deviazioni standard che ricada oltre il 99% di probabilità (in questo caso vuol dire che si ha la quasi totalità dei valori di probabilità racchiusi all’interno di questo intervallo).

Poiché i valori di μ e σ dipendono dalla proprietà/variabile studiata, calcolare le probabilità di trovare dei valori in un determinato intervallo diventa complicato. L’area associata ad una distribuzione normale che ha media 0 e deviazione standard 1 è stata calcolata e tabulata. Tale curva viene detta Curva Normale Standardizzata ed è chiamata Z e consente di individuare le probabilità relative ai diversi intervalli di valori mediante le tavole di probabilità. La distribuzione Normale Standardizzata o normale ridotta, si ottiene mediante la procedura di standardizzazione data da: si usa se abbiamo distribuzioni con medie e deviazioni standard diverse e vogliamo confrontarle. Questo processo ci permette di ricondurre le varie distribuzioni a curve caratterizzate da μ=0 e σ=1. In questo modo otteniamo una variabile standardizzata z associata ad una curva Normale Standardizzata Z.

Come si può passare da una distribuzione continua a una normale standardizzata?

Questo è possibile attraverso una trasformazione della variabile originale X in una variabile trasformata (o standardizzata) detta Z. La standardizzazione è una trasformazione che consiste nel:

• Rendere la media nulla (μ = 0), poiché ad ogni valore viene sottratta la media.
• Prendere la deviazione standard σ come unità di misura (σ = 1) della nuova variabile.

La variabile standardizzata assume media 0 e varianza 1 attraverso 2 operazioni:

1. Operazione di centratura: una variabile trasformata, centrata rispetto alla media, e quindi per questo con valore zero (attraverso gli scarti della media la cui somma è sempre pari a 0).
2. Operazione di deflazione: rapporto per la deviazione standard che fa sì che l’unità di misura della nuova variabile non sia più la scala originale della variabile ma il numero di deviazioni standard.

In una Distribuzione Normale Standardizzata:

• La probabilità che un valore estratto a caso sia compreso tra -1 e 1 è pari a 0,683 e che sia compreso tra -2 e 2 è pari a 0,954.
• Il 95% dei valori centrali di una distribuzione Normale standard cadono nell’intervallo (-1.96, +1.96) ed il 99% nell’intervallo (–2.58, +2.58).

Tutti i valori di probabilità per z sono riportati in una tavola, detta tavola di probabilità. Questo grafico mostra la zona ombreggiata che rappresenterebbe l’area per cui viene riportata la probabilità. Quindi, una volta individuato un qualunque valore di Z, attraverso l’uso delle tavole che riportano tutti i valori di probabilità associati ad un singolo valore di una specifica variabile normale, ci restituiscono l’area sottesa alla curva tra il valore centrale, la media e quel valore Z preso in considerazione. La tavola si legge scorrendo prima l’ingresso di riga (primo decimale) e poi quello della colonna (secondo decimale).

A. Dato il punteggio grezzo (x) trovo la frequenza percentuale:

• Converto x in un punteggio z;
• Cerco il punteggio z sulla tavola e trovo la percentuale tra μ e z;
• Risolvo sfruttando la simmetria.

B. Data la frequenza percentuale, trovo il punteggio grezzo (x):

• Calcolo la frequenza e cerco sulla tavola, trovando il punteggio z;
• Converto il punteggio z in punteggio grezzo x = zμ+σ.

Se voglio calcolare quanta area è compresa tra la media e un valore di Z 1,00 cerco sulla tavola la riga 1 come secondo decimale (0.00) incrociando l’area riportata in colonna è la probabilità compresa tra la media e valori di Z. Nella tabella il sistema probabilità è pari a 0,3413. Essendo Z simmetrico rispetto al valore medio= zero può assumere valori positivi e negativi, ma sulla tavola verrà tabulata solo la parte positiva per una questione di comodità. Si era visto prima come la probabilità della distribuzione con media più o meno 1 deviazione standard sono racchiusi il 68% di probabilità ed effettivamente, se facciamo la somma tra i valori della probabilità di z compreso tra 0 e 1 e la probabilità di z compreso tra -1 e 0 abbiamo esattamente 0,68.

Esempio

Supponiamo di voler calcolare la probabilità di estrarre a caso un individuo da questa popolazione e che poi vogliamo associare la probabilità che questo soggetto estratto a caso da questa popolazione, con media pari a μ= 168 e σ= 12, abbia un punteggio inferiore a 143. Come prima operazione standardizzo il punteggio 143, al fine di trasformare quella variabile, che ha una certa media e una certa deviazione standard, in una normale standardizzata con media 0 e varianza o deviazione standard pari ad 1. (X - μ) / σ = Z. Si troverà un valore di Z tramite il calcolo presente sopra ossia di il risultato ottenuto è -2,08. Andando sulle tavole si potrà trovare il valore di Z in questione e vedere qual è la probabilità di questo valore, ovvero 0,4812. Dalle tavole trovo p = 0,0188 quindi la probabilità di trovare un soggetto con punteggio inferiore a 143 è il 2%. Quest’ultima è la probabilità di estrarre un soggetto che abbia un punteggio tra 143 e 168 (ovvero la media), MA l’esercizio chiede di calcolare la probabilità di estrarre a caso un individuo che abbia un punteggio < 143. Sapendo che la distribuzione di probabilità in quanto tale ha area complessiva pari ad 1 e che la distribuzione è simmetrica rispetto al valore medio, vuol dire che 0,5 di probabilità starà sotto la media e 0,5 di probabilità sarà sopra la media; quindi, la risposta al nostro quesito sarà 0,5 - 0,4812 (quel valore di Z che non ci interessa).

Distribuzione log normale

Ci sono dei dati che hanno distribuzioni asimmetriche, ma delle trasformazioni (radice quadrata o cubica, il reciproco, l’elevamento a potenza o i logaritmi) ci permettono di normalizzarle. Quando la distribuzione della variabile trasformata risulta normale, ci troviamo davanti ad una distribuzione log-Normale. Nel caso in cui una distribuzione abbia una lunga coda a destra (asimmetrica a destra), si ottiene una distribuzione più simmetrica se invece della distribuzione originale sui dati (x) si considera la distribuzione dei dati trasformati in logaritmi (y = log(x)). Nel caso in cui la distribuzione della variabile trasformata (y) risulti Normale, la distribuzione dei dati originali (x) è detta log-Normale.

Si fa riferimento a quelle distribuzioni che non hanno un andamento simmetrico, ma una rappresentazione sgobbata (come si può notare dal grafico ha una lunga coda), disegnata sull’asse del continuum positivo, che va da 0 a +∞. È una distribuzione che viene usata per analizzare i fenomeni di durata/decorso temporale. Questa distribuzione è perfetta per analizzare fenomeni di degenza che hanno una quantità notevole di valori bassi (il picco alto all’inizio del grafico) e una distribuzione minore, ma comunque presente, di diversi valori di lunga degenza (che a livello grafico si posizionano sulla parte della lunga coda). In questi casi non sarà plausibile applicare la variabile aleatoria normale, perché sarebbe del tutto distorta. Calcolare la media e la mediana in questo tipo distribuzione significherebbe ottenere una media con un valore maggiore rispetto alla mediana, perché la media viene trainata dai valori estremi (della lunga coda). Quindi, applicare la legge della normale non è possibile perché in una distribuzione normale la media e la mediana coincidono, cosa che non succede in questo caso. Eppure, fenomeni di questo genere sono molto frequenti e quindi si potrebbe ricorrere ad una distribuzione normale a patto che vengano effettuate delle trasformazioni.

Questo è il caso della distribuzione log normale, tramite una trasformazione logaritmica, i dati che non hanno una distribuzione normale poi potranno assumere, grazie al logaritmo, una rappresentazione normale. (Questa casistica si vedrà nel modello di regressione lineare. In generale assumiamo che la regressione sia normale, ma se invece di avere una variabile che si distribuisce in una forma normale simmetrica, si ha a che fare con una che si distribuisce con una lunga coda asimmetrica, posso applicare il modello di regressione ma le stime saranno tutte distorte. Quindi è necessario che ci sia una trasformazione per rendere questi dati normali).

Vantaggi della trasformazione log

• Ci permette di usare delle tecniche statiche che non avremmo potuto usare. In più è facile da applicare.
• Molte tecniche statistiche inferenziali si basano sull’assunzione di “normalità dei dati”. Anche se tali tecniche sono “robuste” verso le deviazioni dalla normalità, forti asimmetrie porterebbero a stime distorte.
• La trasformazione logaritmica linearizza le curve che hanno una forma esponenziale, i dati trasformati saranno più semplici da analizzare ed interpretare.

Svantaggio della trasformazione log

• Il logaritmo di 0 è -∞, il che può causare dei problemi. Un’approssimazione può essere realizzata assegnando ai valori zero la metà del valore della più piccola osservazione.
• Non esiste il logaritmo di un numero negativo.
• L’interpretazione dei risultati su scala logaritmica è difficile e quasi sempre richiede l’uso dell’antilogaritmo.

Variabili aleatorie derivate da una normale: F di Fisher, t di Student e chi quadrato

Alcune delle variabili aleatorie, maggiormente utilizzate nell’inferenza statistica, derivano direttamente dalla variabile aleatoria normale, che servono per analizzare fenomeni differenti. In particolar modo, parliamo della variabile aleatoria χ² (chi-quadrato), F di Fisher, t di Student. Tutte e 3 queste variabili dipendono dai gradi di libertà, ovvero il numero di parametri liberi di variare all’interno di una distribuzione, posti alcuni limiti/vincoli. Le distribuzioni F, t, e χ², non sono distribuzioni per dati osservati, ma sono distribuzioni che si usano per calcolare intervalli di confidenza ed eseguire test di significatività. Queste distribuzioni sono utili quando si considerano distribuzioni di probabilità, calcolate su campioni casuali estratti da popolazioni gaussiane.

La distribuzione χ² si utilizza per fare inferenza su frequenze osservate e su conteggi (si usa anche per studiare la bontà di adattamento di un modello a dati soprattutto quello di analisi fattoriale). La variabile aleatoria Chi-quadrato è data dalla somma di n variabili aleatorie normali standardizzate elevate al quadrato. La v.a. chi quadrato è definita per valori che vanno da 0 a +∞. L'unico parametro da cui dipende sono i gradi di libertà, cioè quante variabile aleatorie normali ho utilizzato per andare a costruire la variabile chi quadro. Se i gradi di libertà sono pochi è una distribuzione come quella log solo sull'asse positivo.