Appunti teorici di Statistica

Statistica descrittiva bivariata

Tabelle a doppia entrata

L’obiettivo della statistica descrittiva bi-variata è la descrizione del comportamento congiunto di X e Y su U e la loro relazione statistica. I fenomeni sono osservati congiuntamente su ciascuna delle N unità che compongono la popolazione di interesse. Il risultato della rilevazione è un insieme di N coppie (x,y) che prende il nome di matrice dei dati grezzi.

Per organizzare i dati grezzi utilizzeremo le tabelle a doppia entrata composta da righe e colonne. Useremo l’indice � con riferimento al fenomeno X, che avrà � modalità e useremo l’indice � con riferimento al fenomeno Y, che avrà ℎ modalità. L’obiettivo è la descrizione del comportamento congiunto di due fenomeni.

Frequenze congiunte

Le frequenze con cui si manifesta ciascuna   coppia di modalità all’interno della tabella si chiamano frequenze congiunte indicate con fij e riguardano entrambi i fenomeni. La somma di tutte le frequenze congiunte riproduce la numerosità di N.

Frequenze marginali

Ai margini troviamo le frequenze che riguardano i   fenomeni presi singolarmente e si chiamano frequenze marginali. Queste frequenze si ottengono sommando le frequenze congiunte che stanno sulla stessa riga (fi.) o sulla stessa colonna (f.j).

Le frequenze marginali dicono come si comportano due fenomeni indipendenti l’uno dall’altro.

Le frequenze marginali relative danno il risultato totale uguale a 1.

Variabili statistiche condizionate

Fissando l’attenzione sulle singole   righe o colonne separatamente si costruiscono le variabili statistiche condizionate Y|xi (Y dato xi) e X|yj (X condizionato yj). Considerare le righe separatamente significa ridurre l’attenzione dell’intera popolazione alla sottopopolazione di fi unità che manifestano la modalità xi di X e in questa sottopopolazione si guarda il comportamento di Y.

La v.s. condizionata Y|xi descrive il comportamento di Y sulle sole fi, unità statistiche che sono omogenee rispetto a X perché manifestano la medesima modalità xi e le chiameremo modalità condizionante (è anche chiamato variabile esplicativa). Stesso discorso va fatto per le colonne.

Frequenze condizionate

Frequenze condizionate (variabile risposta) sono le frequenze relative   ottenute dal rapporto tra le frequenze congiunte e la frequenza marginale con cui si condiziona. Si leggono sulle righe o sulle colonne separatamente. Esse informano sul comportamento di un fenomeno condizionalmente all’altro.

Frequenze condizionate di �|�� = ���/��. (moltiplicate per 100 danno le percentuali di riga)

Frequenze condizionate di �|�� = ���/�.� (moltiplicate per 100 danno le percentuali di colonna).

Le frequenze condizionate danno informazione sul comportamento di un fenomeno condizionatamente dall’altro.

Indipendenza statistica (i.s.)

Si ha indipendenza statistica se tra X e Y non esiste alcuna relazione statistica da cui segue che il chi quadro è =0.

Il metodo per stabilire se X e Y sono indipendenti consiste nel confrontare le frequenze condizionate con le frequenze marginali (il confronto è possibile solo tra frequenze relative). Le frequenze condizionate sono già relative, mentre quelle marginali si ottengono dividendo quelle assolute per N. Se tutte le serie di frequenze condizionate sono uguali tra loro e sono uguali alle marginali (relative): X e Y sono indipendenti e quindi non esiste indipendenza statistica.

fij/fi. = f.j/N

Condizione per i.s. per tutti gli indici i=1..k j=1..h 

Le frequenze congiunte che realizzano la condizione di indipendenza statistica vengono chiamate frequenze teoriche (o attese) di i.s. che renderebbero vera l’indipendenza statistica. Le indicheremo con un * ��� ∗ = ��.�.� /�

Tabella a doppia entrata nella indipendenza statistica

A ogni tabella di dati rilevati nella realtà, la tabella osservata, si può accostare la corrispondente tabella teorica di indipendenza statistica. Si mantengono fisse le marginali e si sostituiscono le frequenze congiunte osservate con le frequenze teoriche di indipendenza statistica.

L’obiettivo è di verificare se esiste relazione tra X e Y. Se le due tabelle non coincidono quindi non tutte le frequenze congiunte sono uguali alle frequenze teoriche di indipendenza e dunque la tabella osservata differisce dalla tabella teorica di indipendenza, la condizione di indipendenza non è verificata e X e Y non sono statisticamente indipendenti.

Quando le tabelle osservata e teorica coincidono si avrà indipendenza statistica. Il concetto di indipendenza statistica è simmetrico: tra X e Y esiste i.s.: X è indipendente, Y è indipendente.

Connessione (indice di connessione chi quadro)

Se tra due fenomeni statistici non è verificata l’indipendenza statistica allora ci sarà connessione tra i fenomeni. La connessione è una generica relazione statisticamente rilevabile in una coppia di fenomeni osservati sulla popolazione d’interesse. Per capire se la connessione tra X e Y è forte o debole è necessario misurare il grado di connessione. L’intensità è tanto più elevata, quanto la tabella osservata è diversa dalla tabella teorica.

Il metodo per misurare la connessione consiste nel considerare la differenza tra le frequenze congiunte e le frequenze teoriche di indipendenza statistica (fij-fij*). Queste differenze possono essere tutte nulle se fra X e Y esiste indipendenza statistica, cioè quando tabella osservata e teorica di i.s. coincidono. Se queste differenze sono vicine a 0 la connessione è bassa, esiste una relazione debole fra X e Y e quindi i due fenomeni sono connessi ma si influenzano poco l’uno con l’altro. All’aumentare del valore di tali differenze si ha connessione sempre più alta, cioè una relazione forte tra X e Y. In una tabella a doppia entrata con k righe e h colonne sono calcolabili k per h differenze.

Il passo successivo è eliminare il segno di queste differenze calcolando l’indice (chi quadro) x²= somma di (fij – fij*) alla seconda tutto di connessione diviso per fij *

Se le differenze sono uguali a zero, X e Y sono statisticamente indipendenti, quindi l’indice di connessione è uguale a 0.

Se i numeri aumentano, elevato sarà il chi quadro e quindi ci sarà maggiore connessione tra i due fenomeni.

Dal momento in cui il valore assoluto dell’indice di connessione non consente una valutazione e non è interpretabile, quindi deve essere normalizzato. Quindi si rapporta l’indice di connessione con il valore massimo. Il valore massimo dell’indice di connessione è il valore pari a N moltiplicato per il più piccolo tra il numero delle righe (k) e il numero delle colonne (h), meno 1 N per min{k-1, h-1}

Si ha massima connessione quando esiste un legame perfetto fra X e Y quando un fenomeno determina statisticamente l’altro: fissata una modalità xi, in U esiste un’unica modalità yj e viceversa. Con legame perfetto si intendono due cose. Se k=h (stesso numero di righe e di colonne), la massima connessione è biunivoca e implica la perfetta dipendenza di un fenomeno dall’altro. Se k>h la massima connessione è univoca e implica che un solo fenomeno dipende perfettamente dall’altro (il fenomeno sulle colonne dipende da quello sulle righe); se k<h, sarà il contrario.

Normalizzazione di un indice I

La normalizzazione è procedimento con cui si trasforma un indicatore statistico assoluto in una percentuale. Chiamiamo � una generica misura statistica. Il suo valore minimo è chiamato ����, che sarà il valore che assumerebbe la misura in assenza di ciò che stiamo misurando di X e il suo valore massimo ����, cioè il valore che assumerebbe nel caso che X presenti al livello massimo ciò che stiamo misurando.

I = I – I min / I max – I min

Formula:

Media marginale (x o y medio/segnato)

 Quando almeno uno dei due fenomeni è quantitativo possiamo sintetizzare la tabella a doppia entrata con le medie e le varianze. Per Y (o X) continuo utilizziamo il valore centrale dell’intervallo. La media marginale di Y è la media della variabile statistica marginale di Y.

È la sommatoria di yj moltiplicato per f.j tutto fratto N.

Varianza marginale (sigma quadro di X o Y)

 La varianza marginale di Y è la varianza della variabile statistica marginale di Y. Sommatoria di yj alla seconda per f.j meno la media marginale alla seconda tutto diviso per N.

Le medie e le varianze marginali sono ponderate con le frequenze marginali.

Media condizionata di Y dato xi

 È la media della variabile statistica condizionata Y|xi (si legge sulla riga)

Sommatoria di yi per fij diviso fi. i con indice fisso.

Varianza condizionata di Y dato xi

 È la varianza della variabile statistica condizionata Y|xi

Sommatoria di (yj- la media marginale di xi) alla seconda per fij tutto diviso per fi. i con indice fisso.

Medie e varianze condizionate sono ponderate con le frequenze condizionate.

Se tutte le medie condizionate sono uguali tra loro e uguali alla marginale si parla di indipendenza in media da X, ovvero X non influisce su Y. Se invece le medie condizionate sono molto diverse tra loro allora abbiamo molta dipendenza, si parla di variabilità delle medie condizionate.

La proprietà più importante che riguarda la media e la varianza è la proprietà associativa. Le medie condizionate sono tante quanto è k, e ciascuna si fi. riferisce a una sottopopolazione di numerosità

Se entrambi i fenomeni sono quantitativi è possibile trattare matematicamente l’intera variabile statistica bivariata utilizzando le coppie modalità di entrambi i fenomeni.

Sulla variabile statistica bivariata si definiscono una media bivariata chiamata momento misto (mu: “μ”) e una misura di variabilità congiunta: la xi per yj per fij diviso N. covarianza. Il momento misto si misura

Covarianza (sigma)

 La covarianza è una variabilità congiunta, è basata sugli scarti presi con il loro segno. Il segno ci dice se l’andamento congiunto tra i due fenomeni è crescente o decrescente. Si devono calcolare gli scarti ponderati congiunti, utilizzando quindi entrambi gli indici i e j, ponderati con le frequenze congiunte. Può risultare sia positiva che negativa o nulla.

Moltiplicando (xi-x medio) per (yj - y medio) moltiplicato a loro volta. Si calcola per fij tutto fratto N

Geometricamente  A seconda che le modalità xi e yi siano sopra o sotto media, questi sono positivi o negativi cioè corrispondono alle zone del diagramma a dispersione. Le quattro zone evidenziate sul diagramma contribuiscono al relativo calcolo di sigma. I vari tipi di covarianza in funzione del tipo di grafico sono:

• Se la covarianza è >0, allora è positiva, quindi i punti sono concentrati in  una particolare zona del diagramma poiché gli scarti positivi prevalgono su quelli negativi. Quando la covarianza è positiva X e Y sono positivamente correlati, al crescere dell’uno cresce anche l’altro. (xi e yj sono entrambi > o < delle rispettive medie)
• Se la covarianza è<0, allora è negativa, quindi i punti sono concentrati in  una particolare zona del diagramma, poiché gli scarti negativi prevalgono su quelli negativi. X e Y sono negativamente correlati, cioè al crescere dell’uno decresce l’altro. (xi>x medio e yj<y medio o viceversa)
• Se la covarianza è =0, allora è nulla, quindi i punti sono disposti in modo  che gli scarti positivi e negativi si compensino. X e Y non sono correlati. Questo accade quando i punti son sparpagliati sul diagramma a dispersione senza alcuna struttura, cioè in caso di indipendenza statistica.

Ricordiamo che covarianza =0 non implica indipendenza statistica, ma indipendenza statistica implica la covarianza =0.

Diagramma a dispersione (scatter plot)

 È lo strumento grafico utile per visualizzare il tipo di relazione esistente tra due fenomeni X e Y quantitativi. È un diagramma cartesiano con gli assi intestati alle modalità dei due fenomeni e mostra se tra X e Y esiste una relazione statistica.

La tabella è rappresentata sul diagramma come una nuvola di k per h punti. Ci fa vedere che tipo di relazione statistica c’è tra X e Y. A seconda di come si dispongono i punti si possono individuare diversi tipi di relazione: lineare, quadratica, logaritmica, esponenziale e cubica.

Se tra X e Y esiste una certa relazione statistica, i punti appaiono più concentrati in particolari zone del diagramma.

Quando X e Y sono statisticamente indipendenti i punti si presentano sparpagliati sul diagramma senza nessuna struttura evidente.

Una serie si dice doppia quando le xi e le fi sono tutte diverse e non abbiamo le medie condizionate.

Nel caso di tabella a doppia entrata dovremmo costruire un grafico a 3 dimensioni ma è troppo complicato, quindi costruiremo un diagramma a dispersione a bolle. Le bolle più grandi sono quelle con maggiore peso. I punti sul grafico avranno coordinate (xi, yj). A seconda dell’andamento della linea che si crea possiamo dire se X e Y sono statisticamente dipendenti. Se la nuvola di bolle non evidenzia nessuna struttura, ovvero se i punti sono tutti sparpagliati, X e Y sono statisticamente indipendenti.

Correlazione

Con il termine correlazione lineare o correlazione si intende quando esiste una relazione tra due o più fenomeni X e Y quantitativi. La misura della correlazione è basata sulla covarianza.

Quando la covarianza è positiva allora X e Y sono positivamente correlati, se è negativa sono negativamente correlati, se è nulla (=0) allora X e Y sono incorrelati, ovvero non esiste una relazione lineare.

Se X e Y sono correlati dobbiamo capire il grado di correlazione tramite il coefficiente di correlazione lineare (indicato con la lettera greca rho “ρ”) che si ottiene dividendo la covarianza per il suo valore massimo (covarianza xy / covarianza x moltiplicata per covarianza y).

C’è perfetta correlazione quando esiste una perfetta relazione lineare tra X e Y. Il coefficiente può assumere valori che vanno da -1 a +1. I valori intermedi sono interpretabili come percentuale di correlazione.

• Quando rho = +1 X e Y sono perfettamente e positivamente correlati. I punti  sul diagramma sono allineati lungo una retta con pendenza positiva, ovvero crescente.
• Quando rho = -1 X e Y sono negativamente correlati. I punti sul diagramma  sono allineati lungo una retta con pendenza negativa, ovvero decrescente.
• Quando è uguale a zero, X e Y sono incorrelati. 

L’incorrelazione è l’assenza di relazione lineare fra X e Y, da cui segue che coefficiente di correlazione lineare è uguale a 0.

Modello statistico

Un modello statistico è una formula che interpreta matematicamente il comportamento congiunto di X e Y. Costruirlo significa utilizzare i dati della tabella osservata per individuare la formula che esprime Y in funzione di X. Il metodo più noto è chiamato regressione.

Regressione

Per modellare una relazione statistica ci serve un modello statistico, ovvero una rappresentazione semplificata della realtà. Il più noto strumento statistico per la costruzione di un modello è la regressione.

Il modello di regressione interpreta Y in funzione di X. È una formula per approssimare Y e può essere utilizzato per fare previsioni o simulare valori di Y non osservati, costruendo nuovi scenari.

Il modello di regressione interpreta la dipendenza di Y da X approssimando la realtà osservata con una curva matematica Y^=f(X) dove f denota una qualunque funzione di X e il simbolo (cappuccio) sopra la Y indica che stiamo approssimando la realtà osservata con una curva matematica semplice. Il modello di regressione è un modello statistico basato su dati osservati presso le N unità che compongono la U di riferimento.

Il fenomeno condizionato Y ha il ruolo di variabile dipendente, anche chiamato variabile risposta, è il fenomeno condizionato da X ed è la variabile risposta, in quanto risponde con un valore al variare di X.

X è la variabile indipendente, fenomeno condizionante che interpreta variabilità di Y ed è una variabile esplicativa ovvero riusciamo a spiegare Y con X.

Retta di regressione

Il modello di regressione adatto per interpretare la correlazione, cioè la relazione lineare tra X e Y, è la retta di regressione o modello di regressione lineare che si presenta come una curva teorica liscia e regolare. La funzione è Y^ = a+bX

a b a e sono detti parametri della retta. La è l’intercetta, cioè il punto in cui la b retta interseca l’asse verticale delle ordinate; la è il coefficiente angolare che b determina l’inclinazione della retta e la sua pendenza. Se è positivo si avrà una retta crescente, se è negativo si avrà una retta decrescente. b

Valori elevati di rendono la retta ripida, cioè con tendenza ad allinearsi b all’asse delle ordinate mentre i valori piccoli di significano che la retta tende ad allinearsi con l’asse delle ascisse.

I punti del diagramma osservati, uniti con dei segmenti, prendono il nome di spezzata di regressione che è una curva empirica basata sui dati osservati ed è quindi irregolare e spigolosa. Con il modello di regressione dovremmo trovare una curva liscia e regolare che approssim