Appunti statistica di tutto il corso

Statistica descrittiva

Gianluca Fava

Settembre 2022

Indice

1 Cos’è la statistica? 1

2 Passi principali di una analisi statistica 2

3 Dati 2

3.1 Unità statistiche e popolazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

4 Statistica descrittiva 2

4.1 Variabili . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

4.2 Frequenze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

4.2.1 Frequenza assoluta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

4.2.2 Frequenza relativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

4.2.3 Frequenza cumulata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

4.3 Grafici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

4.4 Indici sintetici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

4.4.1 Indici di posizione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

4.4.2 Indici di variabilità . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

4.4.3 Simmetria e curtosi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

5 Analisi multivariate 10

5.1 Distribuzioni di frequenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.2 Grafici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.3 Dipendenze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.3.1 Studio della dipendenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.3.2 Analisi dipendenze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5.3.3 Indice di connessione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.3.4 Dipendenza in media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.4 Analisi di correlazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.4.1 Covarianza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5.4.2 Coefficiente di correlazione lineare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

5.5 Analisi di regressione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

5.5.1 Regressione lineare semplice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

5.6 Minimi quadrati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

5.6.1 Coefficiente di determinazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1 Cos’è la statistica?

”Statistics is the science of learning from data, and of measuring, controlling, and communicating uncertainty”

• Per studiare un fenomeno spesso serve un’analisi di informazioni espresse in forma quantitativa: dati;
• La statistica è di supporto per molte discipline: economia, finanza, medicina, biologia...
• La statistica fornisce strumenti per evidenziare aspetti rilevanti nascosti nei dati e per quantificare la forza delle conclusioni che si possono dedurre dalle analisi.

2 Passi principali di una analisi statistica

• Formulazione del problema: studiare il contesto, specificare gli obiettivi dell’analisi, tradurre il problema in termini matematico-statistici.
• Raccogliere e organizzare i dati: dati osservazionali o sperimentali, unità statistiche, dati mancanti, codifica e organizzazione dei dati.
• Analisi iniziale dei dati: sintesi numeriche e grafiche per iniziare a esplorare i dati.
• Analisi completa dei dati.
• Presentazione dei risultati.

3 Dati

I dati si possono ottenere tramite osservazione o sperimentazione:

• Dati osservazionali: dati già esistenti in natura e se ne osservano le caratteristiche (visite a un sito web in un determinato periodo, età-statura-genere dei residenti di un comune).
• Dati sperimentali: dati inesistenti, vengono creati con esperimenti (scientifici, medici, indagini di mercato).

3.1 Unità statistiche e popolazione

Una popolazione è una collezione di unità statistiche (es. classe = popolazione, studente = unità statistica).

• Popolazione reale: unità statistiche con esistenza fisica, possono essere rilevate con un censimento (completa) o con un campione (parziale).
• Popolazione virtuale: unità che hanno un’esistenza concettuale, di solito riferito all’ambito sperimentale, sono potenzialmente infinite ed estimabili solo in modo parziale (campionamento).

Con il censimento si esaminano tutte le unità di una popolazione reale, con determinate caratteristiche.

Con il campionamento si esamina un sottoinsieme finito di unità statistiche di popolazione reale o virtuale con determinate caratteristiche.

La scelta dei campioni è casuale: ci sono più esiti possibili e prima dell’esperimento non si può individuare con certezza quale campione verrà selezionato (variabilità campionaria).

Statistica

Statistica descrittiva Statistica inferenziale

• La statistica descrittiva: (analisi esplorativa dei fatti) fornisce metodi per descrivere e presentare i dati disponibili per individuare la struttura essenziale.
• La statistica inferenziale: fornisce metodi per ricavare dai dati campionari delle informazioni sulla popolazione di riferimento e per quantificare la fiducia da dare a quelle informazioni: si possono trarre delle conclusioni non vere, quindi tramite il calcolo delle probabilità si valuta il grado di incertezza.

4 Statistica descrittiva

La statistica descrittiva ha l’obiettivo di descrivere e sintetizzare i dati.

• Può essere un’analisi univariata (singola variabile) o multivariata (più variabili).
• Molte volte viene usata per un’analisi preliminare: come sono i dati raccolti, ripulire il data-set, sistemare i dati in una forma migliore per l’analisi, ricavare informazioni preliminari con grafici.

4.1 Variabili

Una variabile è una caratteristica d’interesse.

Le modalità sono valori che una variabile può assumere (Numeri, caratteri,...).

• Y = generica variabile
• y = generica modalità
• Y = insieme delle possibili modalità

Ci sono 2 tipi di variabili:

• Variabili qualitative (categoriali): espresse in forma verbale - sconnesse: non ordinabili (colore degli occhi, genere); - ordinali: ordinabili (età, livello di istruzione).
• Variabili quantitative (numeriche): espresse in forma numerica - discrete: Y è un insieme finito o numerabile (età, numero di figli); - continue: Y è un insieme continuo (distanza, altezza).

Possono essere su:

• Scale di intervalli: non esiste uno zero naturale (temperature)
• Scale di rapporti: esiste uno zero naturale con tali caratteristiche (Reddito)

La variabile statistica è la rilevazione (y , ..., y , ..., y ) di una certa caratteristica (variabile) Y su una 1 i n determinata popolazione (campione), n rappresenta il numero di unità.

Il supporto di una variabile statistica Y (S ), è l’insieme delle modalità di Y osservate nella Y {y } ≤ popolazione (campione): S = , ..., y , ..., y (con J n). Y 1 j J

4.2 Frequenze

Le frequenze servono per sintetizzare i dati raccolti per avere risultati più semplici da confrontare e capire.

4.2.1 Frequenza assoluta

∈ Se una delle modalità osservate di Y è: y S , con j = 1, ..., J; la frequenza assoluta di y è il numero j Y j di volte che y risulta osservata e si indica con f . j i

J P Quindi si avrà che: f > 0, j = 1, .., J, f = n . i i j=1

La distribuzione di frequenza assoluta è la lista delle modalità osservate accompagnate dalle rispettive frequenze assolute, viene rappresentata in una tabella di frequenza come:

Quando una tabella di frequenza è riferita ad una variabile statistica qualitativa è detta serie statistica, per non dover avere troppe modalità distinte si usano le classi di modalità: degli intervalli di una modalità di un carattere quantitativo.

Le classi possono avere ampiezza diversa (anche infinita), devono coprire tutti i dati osservati e non devono sovrapporsi. In questo modo si può ottenere una tabella di frequenza assoluta con modalità raggruppate in classi (seriazione statistica): 3

4.2.2 Frequenza relativa

⊢ La frequenza relativa di una modalità y , o di una classe di modalità y y , è la proporzione p di unità j j1 j j statistiche portatrici di quella modalità o classe di modalità:

ff ii = , j = 1, .., J p = j J n P fi j=1

J P Quindi si avrà: p > 0, j = 1, .., J, p = 1 . j j j=1

∗p 100 = frequenze relative percentuali. j

Le frequenze relative sono utili per capire il peso delle varie modalità e fare confronti tra diverse popolazioni: si ha una rappresentazione immediata sul totale.

{y1}, Se S = allora J = 1, f = n, p = 1 e la variabile statistica Y è detta degenere (la distribuzione Y 1 1 di probabilità è concentrata in un unico valore).

4.2.3 Frequenza cumulata

Le frequenze cumulate sono utilizzabili solo con modalità ordinabili, vengono usate per elaborazioni su frequenze con una certa utilità o per impostare una quota di osservazione (numero di persone/percentuale inferiore alla quota X).

• Frequenza assoluta cumulata (F ): frequenza assoluta di modalità o classi di modalità non superiori j alla j-esima:

j X F = f con j = 1, .., J j i i=1

• Frequenza relativa cumulata (P ): frequenza relativa di modalità o classi di modalità non superiori j alla j-esima:

j X P = p con j = 1, .., J j i i=1

Quindi si avrà: F = f , F = n, P = p , P = 1. 1 1 J 1 1 J

quando si misura un fenomeno nel tempo, si ottiene una distribuzione di frequenza: serie

Serie storica: storica (temporale).

Serie spaziale: quando si misura un fenomeno nello spazio, si ottiene una distribuzione di frequenza: serie spaziale (territoriale).

4.3 Grafici

1. Variabili non numeriche:

A- Diagramma a torta: Per serie statistiche sconnesse (su dati quantitativi o ordinali)

L’area del cerchio è proporzionale alle frequenze delle modalità

B- Bar plot: Utile per serie statistiche sconnesse

Le altezze dei rettangoli sono proporzionali alle frequenze delle modalità; le basi hanno la stessa dimensione e sono separate. 4

2. Variabili numeriche:

A- Diagrammi a bastoncini:

Per rappresentare distribuzioni di frequenza assoluta o relativa.

L’altezza dei bastoncini è proporzionale o pari alla frequenza, assoluta o relativa, della modalità.

B- Istogrammi: Per rappresentare distribuzioni di frequenza assoluta o relativa con modalità raggruppate in classi.

La base coincide con la classe e l’area è proporzionale alla frequen- F requenza Area= (se le classi sono tutte uguali, posso za: h = Classe Base usare l’altezza effettiva dal grafico).

• Poligoni di frequenza: Tentativo di lisciare / smussare i dati dell’istogramma per tornare alla forma continua dei dati originali.

Il poligono si ottiene unendo i punti di mezzo dei lati superiori dei rettangoli dell’istogramma con una linea spezzata.

• Stima della densità: Stima della distribuzione delle frequenze tramite una curva più smussata.

La funzione che rappresenta la stima della densità con il metodo del nucleo è:

n −1 y y 1X ∈ K(f (y) = ) , y R n nb b i=1

Dove:

• K = nucleo (Kernel): ce ne sono molteplici, ma devono soddisfare 2R≤K(u) 0 u K(u) du = 1;
• B > 0 = banda: b troppo grande = grafico appiattito, b troppo piccolo = grafico che si avvicina ad uno a bastoncini.
• Funzione di ripartizione empirica:

5 Si usa per rappresentazioni grafiche di dati quantitativi, utile per rappresentare frequenze relative cumulate, il valore della funzione ∈ nel punto y R è:

◦ ≤ n osservazioni y ∈, y R F (y) = n ◦ n totale osservazioni

Al variare di y fornisce la proporzione cumulata di unità statistiche che presentano valori minori o uguali a y (è una funzione a gradini).

C- Diagrammi di dispersione (scatterplot):

Per rappresentare due variabili quantitative; il diagramma si ottiene rappresentando i punti di x e y in un piano cartesiano.

Per più di due variabili, si possono ottenere i diagrammi di dispersione per ogni coppia di variabili.

4.4 Indici sintetici

Gli indici statistici servono per descrivere particolari aspetti del dataset.

Per farlo si indaga sulla posizione, sulla variabilità e la distribuzione di frequenza (la simmetria e la curtosi).

4.4.1 Indici di posizione

1. Media aritmetica - E(Y ): si può calcolare per una variabile quantitativa Y e non si calcola per dati categoriali. Si indica anche con µ o µ. Y

La media aritmetica è un indice non robusto perché se ci sono dati errati viene sballata di molto.

A- Calcolo: in base ai dati che si hanno:

• Dati grezzi:

n y + y + ... + y 1 1 2 n X y = E(Y ) = in n i=1

• Tabella di frequenza assoluta o relativa:

J J 1 X X E(Y ) = y f = y p = y p + y p + ... + y p i i i i 1 1 2 2 n n n i=1 i=1

• Tabella di frequenza assoluta o relativa con modalità raggruppate in classi: si calcola ci il punto centrale y = (y + y )/2 , j = 1, .., J delle singole classi (per ogni modalità) e: j−1 j i J J 1 X X c c c c c E(Y ) = y f = y p = (y p ) + (y p ) + ... + (y p ) i i 1 2 n i i 1 2 n n i=1 i=1

B- Proprietà:

• Cauchy: la media è un valore che sta sempre tra il più piccolo e il più grande dei valori osservati. ⇒ Se : S = y , ..., y con y < ... < y y < E(Y ) < y Y 1 J 1 J 1 j−
• Baricentro: i dati shiftati hanno media zero. Sia Y E(Y ) la variabile di scarto di Y dalla sua media E(Y ), allora: − E(Y E(Y )) = 0 6
• ∈ Linearità: la media è un operatore lineare. Sia aY + b : a, b R, una trasformata lineare della variabile Y , allora: E(aY + b) = aE(Y ) + b

2. Mediana - y : si può calcolare per una variabile qualitativa ordinale o quantitativa Y . Si indica 0.5 anche con Y . α

La mediana è un indice robusto perché i valori sballati vanno a finire alla fine della ”rampa” e quindi la mediana cambia al più di 1 posizione.

A- Calcolo: è il valore centrale preso ordinando i valori dal minimo al massimo (due parti uguali a destra e sinistra). In base ai dati che si hanno:

• Dati grezzi: con y , ..., y ordinati in modo crescente, 1 n (n+1)∗ posizione ; se n è dispari: 2∗ n n posizioni e + 1; (se i valori sono diversi, si possono avere 2 mediane) se n è pari: 2 2
• Frequenze assolute f : con j = 1, .., J i (n+1)∗ ≥ se n è dispari: alla modalità y con la frequenza assoluta cumulata F ; j j 2∗ alle modalità y con la frequenza assoluta cumulata più piccola tale che se n è pari: j n n ≥ ≥ F ( ) e F ( ) + 1; (se i valori sono diversi, si possono avere 2 mediane) j j 2 2
• Frequenze relative p : con j = 1, .., J corrisponde alla modalità y con frequenza relativa j j ≥ cumulata P 0.5. Se c’è una modalità tale che P = 0.5 allora si prende y e y . j j j j+1
• α: si può calcolare per una variabile qualitativa ordinale o quantitativa Y .

3. Quantili ∈

A- Tipologie: il valore y (0, 1), rispetto all’ordinamento crescente delle osservazioni sarà prece- α − duta da α100% osservazioni e sarà seguita da (1 − α)100% osservazioni:

• Mediana: α = 0.5 divide le osservazioni in 2 parti uguali.
• Quartile: α = 0.25, 0.5, 0.75 dividono le osservazioni in 4 parti uguali.
• Decile: α = 0.10, 0.20, ..., 0.90 dividono le osservazioni in 10 parti uguali.
• Percentile: α = 0.01, 0.02, ..., 0.99 dividono le osservazioni in 10 parti uguali.

B- Calcolo: in base ai dati che si hanno:

• Dati grezzi: y , ..., y ordinati in modo crescente, y = α(n + 1) 1 n α ∗ se si ottiene un valore intero, y è la modalità in posizione α(n + 1). α ∗ se si ottiene un valore non intero, y sono le modalità corrispondenti a valori interi che α seguono e precedono α(n + 1).
• Frequenze assolute f : con j = 1, .., J i (n+1)∗ ≥ se n è dispari: alla modalità y con la frequenza assoluta cumulata F j j 2 ∗ n n ≥ se n è pari: alle modalità y con la frequenza assoluta cumulata F ( ) & ( + 1) j j 2 2
• Frequenze relative p : con j = 1, .., J corrisponde alla modalità y con frequenza relativa j j ≥ cumulata P α. Se c’è una modalità tale che P = α allora si prende y e y . j j j j+1
• Y : si può calcolare per una variabile qualitativa o quantitativa Y .

4. Moda mo

Corrisponde alla modalità che si ripete più volte, è un indice molto grezzo. 7

Boxplot: Serve per rappresentare graficamente l’insieme di dati basato sui quantili. È formato da:

• Scatola: contiene il 50% dei dati, sta tra il primo quartile y e il terzo quartile y . 0.25 0.75
• Linea dentro la scatola: mediana (y ) 0.5
• Baffi: inferiore y e superiore y , indicano il 0.01 0.99 dei dati osservati (outliers); ser- valore minimo e massimo ve per evidenziare i valori anomali.

4.4.2 Indici di variabilità

La variabilità riferita a una variabile statistica indica la diversificazione delle modalità osservate e la distanza tra loro. Per misurarla ci sono gli indici di variabilità:

- R : è la differenza tra l’osservazione più grande e la più

1. Campo di variazione (range) Y piccola, è un metodo grezzo. Se Y è degenere, R = 0; altrimenti R > 0