Appunti teorici di Statistica

STATISTICA DESCRITTIVA BIVARIATA

Tabelle a doppia entrata

L’obiettivo della statistica descrittiva bi-variata è la descrizione del

comportamento congiunto di X e Y su U e la loro relazione statistica. I fenomeni

sono osservati congiuntamente su ciascuna delle N unità che compongono la

popolazione di interesse. Il risultato della rilevazione è un insieme di N coppie

(x,y) che prende il nome di matrice dei dati grezzi. Per organizzare i dati grezzi

utilizzeremo le tabelle a doppia entrata composta da righe e colonne. Useremo

l’indice � con riferimento al fenomeno X, che avrà � modalità e useremo l’indice

� con riferimento al fenomeno Y, che avrà ℎ modalità. L’obiettivo è la

descrizione del comportamento congiunto di due fenomeni.

Frequenze congiunte Le frequenze con cui si manifesta ciascuna

 

coppia di modalità all’interno della tabella si chiamano frequenze congiunte

indicate con fij e riguardano entrambi i fenomeni. La somma di tutte le

frequenze congiunte riproduce la numerosità di N.

Frequenze marginali Ai margini troviamo le frequenze che riguardano i

 

fenomeni presi singolarmente e si chiamano frequenze marginali. Queste

frequenze si ottengono sommando le frequenze congiunte che stanno sulla

stessa riga (fi.) o sulla stessa colonna (f.j).

Le frequenze marginali dicono come si comportano due fenomeni

indipendenti l’uno dall’altro.

Le frequenze marginali relative danno il risultato totale uguale a 1.

Variabili statistiche condizionate Fissando l’attenzione sulle singole

 

righe o colonne separatamente si costruiscono le variabili statistiche

condizionate Y|xi (Y dato xi) e X|yj (X condizionato yj). Considerare le righe

separatamente significa ridurre l’attenzione dell’intera popolazione alla

sottopopolazione di fi unità che manifestano la modalità xi di X e in questa

sottopopolazione si guarda il comportamento di Y.

La v.s. condizionata Y|xi descrive il comportamento di Y sulle sole fi, unità

statistiche che sono omogenee rispetto a X perché manifestano la

medesima modalità xi e le chiameremo modalità condizionante (è anche

chiamato variabile esplicativa). Stesso discorso va fatto per le colonne.

Frequenze condizionate (variabile risposta) sono le frequenze relative

 

ottenute dal rapporto tra le frequenze congiunte e la frequenza marginale

con cui si condiziona. Si leggono sulle righe o sulle colonne separatamente.

Esse informano sul comportamento di un fenomeno condizionalmente

all’altro.

Frequenze condizionate di �|�� = ���/��. (moltiplicate per 100 danno le

percentuali di riga)

Frequenze condizionate di �|�� = ���/�.� (moltiplicate per 100 danno le

percentuali di colonna).

Le frequenze condizionate danno informazione sul comportamento di un

fenomeno condizionatamente dall’altro.

Indipendenza statistica (i.s.)

Si ha indipendenza statistica se tra X e Y non esiste alcuna relazione

statistica da cui segue che il chi quadro è =0.

Il metodo per stabilire se X e Y sono indipendenti consiste nel confrontare le

frequenze condizionate con le frequenze marginali (il confronto è possibile solo

tra frequenze relative). Le frequenze condizionate sono già relative, mentre

quelle marginali si ottengono dividendo quelle assolute per N. Se tutte le serie

di frequenze condizionate sono uguali tra loro e sono uguali alle marginali

(relative): X e Y sono indipendenti e quindi non esiste indipendenza statistica.

fij/fi. = f.j/N

Condizione per i.s. per tutti gli indici i=1..k j=1..h



Le frequenze congiunte che realizzano la condizione di indipendenza statistica

vengono chiamate frequenze teoriche (o attese) di i.s. che renderebbero

vera l’indipendenza statistica. Le indicheremo con un *

��� ∗ = ��.�.� /�

Tabella a doppia entrata nella indipendenza statistica

A ogni tabella di dati rilevati nella realtà, la tabella osservata, si può accostare

la corrispondente tabella teorica di indipendenza statistica. Si mantengono

fisse le marginali e si sostituiscono le frequenze congiunte osservate con le

frequenze teoriche di indipendenza statistica.

L’obiettivo è di verificare se esiste relazione tra X e Y. Se le due tabelle non

coincidono quindi non tutte le frequenze congiunte sono uguali alle frequenze

teoriche di indipendenza e dunque la tabella osservata differisce dalla tabella

teorica di indipendenza, la condizione di indipendenza non è verificata e X e Y

non sono statisticamente indipendenti.

Quando le tabelle osservata e teorica coincidono si avrà indipendenza

statistica. Il concetto di indipendenza statistica è simmetrico: tra X e Y esiste

i.s.: X è indipendente, Y è indipendente.

Connessione (indice di connessione chi quadro)

Se tra due fenomeni statistici non è verificata l’indipendenza statistica allora ci

sarà connessione tra i fenomeni. La connessione è una generica relazione

statisticamente rilevabile in una coppia di fenomeni osservati sulla popolazione

d’interesse. Per capire se la connessione tra X e Y è forte o debole è necessario

misurare il grado di connessione. L’intensità è tanto più elevata, quanto la

tabella osservata è diversa dalla tabella teorica.

Il metodo per misurare la connessione consiste nel considerare la differenza tra

le frequenze congiunte e le frequenze teoriche di indipendenza statistica (fij-

fij*). Queste differenze possono essere tutte nulle se fra X e Y esiste

indipendenza statistica, cioè quando tabella osservata e teorica di i.s.

coincidono. Se queste differenze sono vicine a 0 la connessione è bassa, esiste

una relazione debole fra X e Y e quindi i due fenomeni sono connessi ma si

influenzano poco l’uno con l’altro. All’aumentare del valore di tali differenze si

ha connessione sempre più alta, cioè una relazione forte tra X e Y. In una

tabella a doppia entrata con k righe e h colonne sono calcolabili k per h

differenze.

Il passo successivo è eliminare il segno di queste differenze calcolando l’indice

(chi quadro) x^2= somma di (fij – fij*) alla seconda tutto

di connessione

diviso per fij *

Se le differenze sono uguali a zero, X e Y sono statisticamente indipendenti,

quindi l’indice di connessione è uguale a 0.

Se i numeri aumentano, elevato sarà il chi quadro e quindi ci sarà maggiore

connessione tra i due fenomeni.

Dal momento in cui il valore assoluto dell’indice di connessione non consente

una valutazione e non è interpretabile, quindi deve essere normalizzato.

Quindi si rapporta l’indice di connessione con il valore massimo. Il valore

massimo dell’indice di connessione è il valore pari a N moltiplicato per il più

piccolo tra il numero delle righe (k) e il numero delle colonne (h), meno 1 N per

min{k-1, h-1}

Si ha massima connessione quando esiste un legame perfetto fra X e Y

quando un fenomeno determina statisticamente l’altro: fissata una modalità xi,

in U esiste un’unica modalità yj e viceversa. Con legame perfetto si intendono

due cose. Se k=h (stesso numero di righe e di colonne), la massima

connessione è biunivoca e implica la perfetta dipendenza di un fenomeno

dall’altro. Se k>h la massima connessione è univoca e implica che un solo

fenomeno dipende perfettamente dall’altro (il fenomeno sulle colonne dipende

da quello sulle righe); se k<h, sarà il contrario.

Normalizzazione di un indice I

La normalizzazione è procedimento con cui si trasforma un indicatore statistico

assoluto in una percentuale. Chiamiamo � una generica misura statistica. Il suo

valore minimo è chiamato ����, che sarà il valore che assumerebbe la misura

in assenza di ciò che stiamo misurando di X e il suo valore massimo ����, cioè

il valore che assumerebbe nel caso che X presenti al livello massimo ciò che

stiamo misurando.

I = I – I min / I max – I min

Formula:

Media marginale (x o y medio/segnato)



Quando almeno uno dei due fenomeni è quantitativo possiamo sintetizzare la

tabella a doppia entrata con le medie e le varianze. Per Y (o X) continuo

utilizziamo il valore centrale dell’intervallo. La media marginale di Y è la media

della variabile statistica marginale di Y.

È la sommatoria di yj moltiplicato per f.j tutto fratto N.

Varianza marginale (sigma quadro di X o Y)



La varianza marginale di Y è la varianza della variabile statistica marginale di Y.

Sommatoria di yj alla seconda per f.j meno la media marginale alla seconda

tutto diviso per N.

Le medie e le varianze marginali sono ponderate con le frequenze marginali.

Media condizionata di Y dato xi



È la media della variabile statistica condizionata Y|xi (si legge sulla riga)

Sommatoria di yi per fij diviso fi. i

con indice fisso.

Varianza condizionata di Y dato xi



È la varianza della variabile statistica condizionata Y|xi

Sommatoria di (yj- la media marginale di xi) alla seconda per fij tutto diviso per

fi. i

con indice fisso.

Medie e varianze condizionate sono ponderate con le frequenze condizionate.

Se tutte le medie condizionate sono uguali tra loro e uguali alla marginale si

parla di indipendenza in media da X, ovvero X non influisce su Y. Se invece le

medie condizionate sono molto diverse tra loro allora abbiamo molta

dipendenza, si parla di variabilità delle medie condizionate.

La proprietà più importante che riguarda la media e la varianza è la proprietà

associativa. Le medie condizionate sono tante quanto è k, e ciascuna si

fi.

riferisce a una sottopopolazione di numerosità

Se entrambi i fenomeni sono quantitativi è possibile trattare matematicamente

l’intera variabile statistica bivariata utilizzando le coppie modalità di entrambi i

fenomeni.

Sulla variabile statistica bivariata si definiscono una media bivariata chiamata

momento misto (mu: “μ”) e una misura di variabilità congiunta: la

xi per yj per fij diviso N.

covarianza. Il momento misto si misura

Covarianza (sigma)



La covarianza è una variabilità congiunta, è basata sugli scarti presi con il loro

segno. Il segno ci dice se l’andamento congiunto tra i due fenomeni è

crescente o decrescente. Si devono calcolare gli scarti ponderati congiunti,

utilizzando quindi entrambi gli indici i e j, ponderati con le frequenze congiunte.

Può risultare sia positiva che negativa o nulla.

moltiplicando (xi-x medio) per (yj - y medio) moltiplicato a loro volta

Si calcola

per fij tutto fratto N

Geometricamente A seconda che le modalità xi e yi siano sopra o sotto



media, questi sono positivi o negativi cioè corrispondono alle zone del

diagramma a dispersione. Le quattro zone evidenziate sul diagramma

contribuiscono al relativo calcolo di sigma. I vari tipi di covarianza in funzione

del tipo di grafico sono:

Se la covarianza è >0, allora è positiva, quindi i punti sono concentrati in

 una particolare zona del diagramma poiché gli scarti positivi prevalgono

su quelli negativi. Quando la covarianza è positiva X e Y sono

positivamente correlati, al crescere dell’uno cresce anche l’altro. (xi e yj

sono entrambi > o < delle rispettive medie)

Se la covarianza è<0, allora è negativa, quindi i punti sono concentrati in

 una particolare zona del diagramma, poiché gli scarti negativi prevalgono

su quelli negativi. X e Y sono negativamente correlati, cioè al crescere

dell’uno decresce l’altro. (xi>x medio e yj<y medio o viceversa)

Se la covarianza è =0, allora è nulla, quindi i punti sono disposti in modo

 che gli scarti positivi e negativi si compensino. X e Y non sono correlati.

Questo accade quando i punti son sparpagliati sul diagramma a

dispersione senza alcuna struttura, cioè in caso di indipendenza

statistica.

Ricordiamo che covarianza =0 non implica indipendenza statistica, ma

indipendenza statistica implica la covarianza =0.

Diagramma a dispersione (scatter plot) è lo strumento grafico utile per

visualizzare il tipo di relazione esistente tra due fenomeni X e Y quantitativi. È

un diagramma cartesiano con gli assi intestati alle modalità dei due fenomeni e

mostra se tra X e Y esiste una relazione statistica.

La tabella è rappresentata sul diagramma come una nuvola di k per h punti. Ci

fa vedere che tipo di relazione statistica c’è tra X e Y. A seconda di come si

dispongono i punti si possono individuare diversi tipi di relazione: lineare,

quadratica, logaritmica, esponenziale e cubica.

Se tra X e Y esiste una certa relazione statistica, i punti appaiono più

concentrati in particolari zone del diagramma.

Quando X e Y sono statisticamente indipendenti i punti si presentano

sparpagliati sul diagramma senza nessuna struttura evidente.

Una serie si dice doppia quando le xi e le fi sono tutte diverse e non abbiamo

le medie condizionate.

Nel caso di tabella a doppia entrata dovremmo costruire un grafico a 3

dimensioni ma è troppo complicato, quindi costruiremo un diagramma a

dispersione a bolle. Le bolle più grandi sono quelle con maggiore peso. I punti

sul grafico avranno coordinate (xi, yj). A seconda dell’andamento della linea

che si crea possiamo dire se X e Y sono statisticamente dipendenti. Se la

nuvola di bolle non evidenzia nessuna struttura, ovvero se i punti sono tutti

sparpagliati, X e Y sono statisticamente indipendenti.

Correlazione

Con il termine correlazione lineare o correlazione si intende quando esiste

una relazione tra due o più fenomeni X e Y quantitativi. La misura della

correlazione è basata sulla covarianza.

Quando la covarianza è positiva allora X e Y sono positivamente correlati, se è

negativa sono negativamente correlati, se è nulla (=0) allora X e Y sono

incorrelati, ovvero non esiste una relazione lineare.

Se X e Y sono correlati dobbiamo capire il grado di correlazione tramite il

coefficiente di correlazione lineare (indicato con la lettera greca rho “ρ”)

che si ottiene dividendo la covarianza per il suo valore massimo (covarianza xy/

covarianza x moltiplicata per covarianza y).

C’è perfetta correlazione quando esiste una perfetta relazione lineare tra X e Y.

Il coefficiente può assumere valori che vanno da -1 a +1. I valori intermedi

sono interpretabili come percentuale di correlazione.

quando rho = +1 X e Y sono perfettamente e positivamente correlati. I punti

 sul diagramma sono allineati lungo una retta con pendenza positiva, ovvero

crescente.

quando rho = -1 X e Y sono negativamente correlati. I punti sul diagramma

 sono allineati lungo una retta con pendenza negativa, ovvero decrescente.

quando è uguale a zero, X e Y sono incorrelati.



L’incorrelazione è l’assenza di relazione lineare fra X e Y, da cui segue che

coefficiente di correlazione lineare è uguale a 0.

Modello statistico

Un modello statistico è una formula che interpreta matematicamente il

comportamento congiunto di X e Y. Costruirlo significa utilizzare i dati della

tabella osservata per individuare la formula che esprime Y in funzione di X. Il

metodo più noto è chiamato regressione.

Regressione

Per modellare una relazione statistica ci serve un modello statistico, ovvero una

rappresentazione semplificata della realtà. Il più noto strumento statistico per

la costruzione di un modello è la regressione.

Il modello di regressione interpreta Y in funzione di X. È una formula per

approssimare Y e può essere utilizzato per fare previsioni o simulare valori di Y

non osservati, costruendo nuovi scenari.

Il modello di regressione interpreta la dipendenza di Y da X approssimando la

realtà osservata con una curva matematica Y^=f(X) dove f denota una

qualunque funzione di X e il simbolo (cappuccio) sopra la Y indica che stiamo

approssimando la realtà osservata con una curva matematica semplice. Il

modello di regressione è un modello statistico basato su dati osservati presso

le N unità che compongono la U di riferimento.

Il fenomeno condizionato Y ha il ruolo di variabile dipendente, anche chiamato

variabile risposta, è il fenomeno condizionato da X ed è la variabile risposta, in

quanto risponde con un valore al variare di X.

X è la variabile indipendente, fenomeno condizionante che interpreta variabilità

di Y ed è una variabile esplicativa ovvero riusciamo a spiegare Y con X.

Retta di regressione

Il modello di regressione adatto per interpretare la correlazione, cioè la

relazione lineare tra X e Y, è la retta di regressione o modello di regressione

lineare che si presenta come una curva teorica liscia e regolare. La funzione è

Y^ = a+bX

a b a

e sono detti parametri della retta. La è l’intercetta, cioè il punto in cui la

b

retta interseca l’asse verticale delle ordinate; la è il coefficiente angolare che

b

determina l’inclinazione della retta e la sua pendenza. Se è positivo si avrà

una retta crescente, se è negativo si avrà una retta decrescente.

b

Valori elevati di rendono la retta ripida, cioè con tendenza ad allinearsi

b

all’asse delle ordinate mentre i valori piccoli di significano che la retta tende

ad allinearsi con l’asse delle ascisse.

I punti del diagramma osservati, uniti con dei segmenti, prendono il nome di

spezzata di regressione che è una curva empirica basata sui dati osservati

ed è quindi irregolare e spigolosa. Con il modello di regressione dovremmo

trovare una curva liscia e regolare che approssim