Appunti Statistica 2020/2021

Statistica

La statistica si occupa di apprendere e trarre informazioni dai dati tramite:

• Raccolta dei dati (campionamento, disegno degli esperimenti);
• Statistica descrittiva (sintesi e descrizione di quanto osservato in un campione);
• Statistica inferenziale (estrazione di informazioni generali/su una intera popolazione a partire dal campione).

Le informazioni raccolte costituiscono un importante elemento a supporto delle decisioni in condizioni di incertezza.

Concetti di base

• Unità statistica: unità di osservazione o di misurazione (es. un individuo, un computer, una università...);
• Popolazione: insieme completo di unità statistiche oggetto del nostro interesse (es. intera popolazione mondiale);
• Campione: sottoinsieme della popolazione (opportunamente selezionato) oggetto della rilevazione;
• Variabili: caratteristiche di interesse sulle unità statistiche;
• Dati: valori assunti dalle variabili osservate sul campione.

L’estrazione di un campione dalla popolazione (popolazione → campione) è in qualche modo determinata dal caso. Nel passaggio dal particolare al generale (campione → popolazione) bisogna tener conto del caso e quindi della probabilità di ciò che osserviamo.

Il campionamento è un processo di tipo deduttivo che viene trattato dalla statistica descrittiva mentre l’inferenza è un processo di tipo induttivo che viene trattato dalla statistica inferenziale.

Statistica descrittiva

Si occupa dell’osservazione dei dati e ciò dipende dal tipo di dati (variabili). I tipi di dati sono:

• Categorici ovvero con variabili qualitative o:
  • Ordinali: esempio livello di soddisfazione: modalità della variabile;
  • Nominali: esempio colore dei cappelli (non hanno un ordine).
• Numerici ovvero con variabili quantitative:
  • ℝ Continui: siamo su tutto e possiamo assumere un numero infinito di numeri;
  • Discreti: abbiamo un numero finito o un’infinità numerabile di valori.

Rappresentazione dei dati: matrice dei dati, tabelle e grafici

I dati sono generalmente organizzati in una matrice dei dati.

Possono essere sintetizzati in tabelle e grafici che riportino le:

• Distribuzioni di frequenze assolute;
• Distribuzioni di frequenze relative.

Distribuzioni di frequenze assolute e relative

Una distribuzione di frequenza è una tabella in cui riporteremo le modalità di variabili diverse. Le frequenze assolute è il numero di quantità statistiche che assume una modalità. Le frequenze relative esprimono lo stesso concetto ma in relazione al campione.

Nel passaggio matrice dei dati → distribuzioni di frequenza si perde la corrispondenza tra unità statistica e modalità della variabile.

Distribuzioni di frequenze cumulate

Nel caso in cui le variabili osservate siano numeriche o categoriche ordinali (ovvero quelle a cui possiamo dare un ordine) può avere senso costruire distribuzioni di frequenze cumulate.

Nella tabella affianco la frequenza cumulata della prima riga rappresenta la percentuale delle persone che sono poco soddisfatte, la seconda rappresenta la percentuale delle persone che sono abbastanza soddisfatte o meno.

Distribuzioni di frequenze per variabili quantitative

Le variabili numeriche (quantitative) possono avere molte modalità diverse (sia le variabili continue che quelle discrete). In questi casi è utile raggruppare le modalità in classi e calcolare la frequenza delle classi:

• Le classi possono avere tutte la stessa ampiezza;
• In questo caso, l’ampiezza delle classi è determinata come;
• Maggiore è l’ampiezza delle classi, maggiore è la perdita di informazioni nel passaggio matrice dei dati → distribuzione di frequenza.

Esempio

Un produttore di isolante seleziona a caso 20 giorni invernali e registra la temperatura massima giornaliera.

24, 35, 17, 21, 24, 37, 26, 46, 59, 30, 32, 13, 10, 38, 41, 43, 44, 27, 53, 27

Ordina i dati grezzi in ordine crescente:

10, 13, 17, 21, 24, 24, 26, 27, 27, 30, 32, 35, 37, 38, 41, 43, 44, 46, 53, 59

Scegli il numero di classi: ad esempio 5

59−10 = 10

Calcola l’ampiezza delle classi: 5

Tipologie di grafici

Diagramma a barre

In un diagramma a barre:

• L’ascissa indica le modalità della variabile;
• Se la variabile è qualitativa non ci sono vincoli sul posizionamento delle barre sull’asse delle ascisse;
• L’altezza delle barre indica le frequenze assolute (o relative).

Questa tipologia di diagrammi è indicata per variabili di tipo qualitativo o quantitativo discreto.

Diagramma a torta

In un diagramma a torta:

• Ogni settore circolare (o fetta) corrisponde ad una modalità della variabile;
• L’angolo interno del settore è proporzionale alla frequenza (360× frequenza relativa).

Questa tipologia di diagrammi è indicata per variabili di tipo qualitativo.

Istogramma

In un istogramma:

• L’ascissa riporta gli estremi delle classi;
• La base di ogni rettangolo è proporzionale all’ampiezza della classe;
• L’altezza di ogni rettangolo è proporzionale alla densità di frequenza della classe: .

Questa tipologia di diagrammi è indicata per variabili di tipo quantitativo (continue).

Ogiva

In un’ogiva:

• L’ascissa riporta gli estremi delle classi;
• L’ordinata riporta il valore della frequenza cumulata;

Questa tipologia di diagrammi è indicata per variabili di tipo quantitativo (continue).

Diagramma ramo-foglia

In un diagramma ramo-foglia:

• I rami rappresentano la parte più rilevante del dato (es. le decine);
• Le foglie rappresentano la parte meno rilevante (es. unità).

Ramo Foglia
2 1 4 4 6 7 7
3 0 2 8
4 1

Questa tipologia di diagrammi è indicata per variabili di tipo quantitativo.

Le grandezze che sintetizzano i dati: gli indici statistici

Indici di tendenza centrale (o di posizione)

• Media;
• Mediana;
• Quartili;
• Moda.

Indici di variabilità

• Campo di variazione;
• Differenza interquartile;
• Varianza;
• Deviazione standard;
• Coefficiente di variazione.

Media

La media aritmetica (media) è la misura di tendenza centrale più comune. Essa può essere calcolata per variabili quantitative: , , … ,

• Supponiamo di osservare un insieme di n dati: 1 2;
• La media campionaria è la media aritmetica di questi dati e si calcola come , , …, 1 =11 2 ∑= =

La media di popolazione, , è (idealmente) calcolata usando tutte le N unità statistiche che costituiscono la popolazione di riferimento.

La media campionaria può essere calcolata a partire dalla distribuzione di frequenza assoluta o relativa. , , … , Supponiamo che le modalità che la variabile assume nel campione siano allora:

1 2 1 =1∑ =

• Usando le frequenze assolute: =1 ∑ =
• Usando le frequenze relative:

Esempio

Si consideri un campione di 8 complessi petrolchimici. In ciascuno di essi è stata rilevata la concentrazione di particelle in sospensione (in microgrammi per metro cubo).

.ID . ( ) Frequenza assoluta 1 3 Frequenza relativa 2 1 1 2 1/4 3 2 2 2 1/4 4 3 3/8 3 3 5 4 4 1 1/8 6 2 7 1 8 3

3+1+2+3+4+2+1+3 19= = = 2.375
8 8

(1²)+(2²)+(3³)+(4¹) 19= = = 2.375
8 8

1 1 3 1= 1 + 2 + 3 + 1 = 2.375
4 4 8 8

Proprietà della media

• La media è compresa tra il valore minimo e il valore massimo: =1 =1∑ ∑ =
• La media è il baricentro della distribuzione: =1 =1 =1∑ ∑ ∑ ( − ) = − = 0
• La somma degli scarti dalla media è 0: =1 2∑ (() = − ) = somma
• La media minimizza degli scarti al quadrato () =1∑= −2 ( − ) ()  =1 =1∑ ∑= 0 − = 2 () =1∑= 2 > 0
• Proprietà associativa: 1 2 , … , … , …, … , ⌳
• Proprietà ricorsiva: ⌳ 1 2 21 Ω 21 Ω + +1 , , … , , ; =
• Proprietà ricorsiva: ;⌳ 1 2 +1 +1
• La media è un indice non robusto: risente di valori eccezionalmente grandi o eccezionalmente piccoli.

Mediana

In una lista ordinata di dati, la mediana è il valore centrale. Il modo di individuare questo valore dipende dal numero di unità campionarie n:

• Dispari: la mediana occupa la posizione +1 2;
• Pari: la mediana è la media tra i due valori nelle posizioni + 1 2 2.

La mediana è un indice robusto MA dati molto diversi possono avere la stessa mediana.

Le medie sono 39.6 e 43.6, le mediane sono 39.5.

Quartili

La mediana è anche detta secondo quartile, . I quartili sono i valori che dividono in 4 parti la distribuzione 2 dei dati:

• : la prima modalità la cui frequenza relativa cumulata è almeno 0.25 1;
• : la prima modalità la cui frequenza relativa cumulata è almeno 0.5 2;
• : la prima modalità la cui frequenza relativa cumulata è almeno 0.75 3.

Il box-plot

Il box-plot è un diagramma che rappresenta la distribuzione dei dati e presuppone la conoscenza dei quartili. La sua principale utilità è quella di evidenziare la presenza di valori eccezionali (outliers).

= max{ ; − 1.5( − )} 1 3 1

= min { ; + 1.5( − )} 3 3 1

Moda

La moda è il valore che occorre più frequentemente nel campione:

• Non è influenzata da valori estremi;
• Può essere usata sia per dati numerici che categorici;
• Può non esserci una moda o essercene più di una.

Campo di variazione

− Il campo di variazione è la più semplice misura di variabilità. Si calcola come . Dipende dall’unità di misura, la stessa della variabile considerata. Ignora il modo in cui i dati sono distribuiti. È molto sensibile ai valori estremi.

Varianza

La varianza è la media dei quadrati degli scarti fra ciascuna osservazione e la loro media:

1 ² 2∑ ( )= −

• Varianza della popolazione: =1 1 =1 2∑ ( = − )
• Varianza campionaria: −1

Proprietà della varianza

La varianza è sempre positiva è uguale a 0 quando tutti i dati sono uguali. L’unità di misura della varianza è pari al quadrato dell’unità di misura della variabile considerata. La varianza può essere calcolata usando il momento primo (media) e il momento secondo.

Che cos’è un momento?

In generale, il momento h-esimo è la media dei valori elevati alla h-esima potenza:

• Momento primo: 1 ∑(Ω = 1): = 1 1
• Momento secondo:  2(Ω ∑= 2): = 1 2

1 1 2 1          2 2 2 2 2 2 2 2∑ ( ) ∑ ∑ ∑= − = − + = − 2 + = −

Quindi: =1 =1 =1 =1 2

Deviazione standard, coefficiente di variazione e differenza interquartile

La deviazione standard è un modo per esprimere la variabilità nella stessa unità di misura dei dati:

1  ² 2∑ ( )√= √ = −

Il coefficiente di variazione è un modo per esprimere la variabilità in modo indipendente dall’unità di misura:

 = | |

= − La differenza interquartile è una misura di variabilità robusta: 3 1

Insiemi di dati bivariati

Su ciascuna unità statistica può essere rilevata più di una variabile. Se le variabili sono due, si parla di dati bivariati. Strumenti utili a sintetizzare questa tipologia di dati sono:

• Distribuzioni di frequenza doppia;
• Diagrammi a dispersione.

Dati bivariati: covarianza

Il grafico a dispersione ci permette di dare una risposta a domande come:

• A valori grandi della prima variabile corrispondono valori grandi della seconda?
• O corrispondono valori piccoli? , ),

Una risposta quantitativa a queste domande è data dalla covarianza: dato un campione bivariato ( per = 1, . . . , , la covarianza campionaria è definita come segue:

∑ ( −)( −) =1(, )= −1

Covarianza > 0

(, )>0: dipendenza lineare positiva

Covarianza < 0

(, )<0: dipendenza lineare negativa

Covarianza = 0

(, ) = 0: assenza di dipendenza lineare

Indice di correlazione

( , ), = 1, … , Dato un campione bivariato per la covarianza campionaria è definita come segue:

∑ ( −)( −) =1= : (−1)

• −1 ≤ r ≤ 1;
• r = 1 in caso di perfetta relazione lineare positiva;
• r = −1 in caso di perfetta relazione lineare negativa.

Calcolo delle probabilità

Consideriamo situazioni di incertezza sulla veridicità di una proposizione o sugli esiti di un esperimento aleatorio. Possiamo non sapere se la proposizione sia vera o falsa (non conosciamo se la situazione descritta si è realizzata o si realizzerà), o come l’esperienza aleatoria si materializzerà.

Eventi elementari e spazio campionario

Un evento è un possibile esito di un’esperienza aleatoria. L’evento elementare è un possibile esito della esperienza aleatoria non esprimibile attraverso altri esiti che lo comprendano. Lo spazio degli eventi ()  anche detto spazio campionario, cioè l’insieme di tutti i possibili risultati di un esperimento aleatorio. Se è  = ∅ inteso come unione logica degli eventi elementari che lo compongono è detto evento certo. È la negazione dell’evento certo ed è detto evento impossibile.

Spazio campionario

Gli eventi elementari che compongono lo spazio campionario sono esaustivi e mutuamente esclusivi. La  cardinalità di può essere:

• Finita: = {, };
• Infinita numerabile: = {0,1,2, … };
• Infinita non numerabile: =[0,  }.

Se l’esperimento aleatorio viene ripetuto k volte, lo spazio campionario complessivo è dato dal prodotto   ⌳ … cartesiano: .

Eventi complessi

Un evento complesso è un sottoinsieme dello spazio degli eventi Ω. Un evento complesso è un evento esprimibile usando eventi elementari. A partire dallo spazio dei risultati, una σ algebra è l’insieme di tutte le ∅. possibili unioni e intersezioni degli elementi dello spazio degli eventi elementari, aggiungendo Ω e

Unione, intersezione e negazione di eventi

Siano e due eventi relativi a due esperienze aleatorie:

•  = Unione: si verifica se almeno uno dei due eventi E o F si realizza;
•  = Intersezione: si verifica se ambedue gli eventi si realizzano;
•  = Negazione: si verifica non si verifica E.

o Un evento e la sua negazione sono detti mutuamente esclusivi. Ovviamente la loro è     = ∅. = l’evento impossibile ovvero. La loro è l’evento certo (o si verifica o). si verifica     

• Tre eventi si dicono mutamente esclusivi se    {, , } = ∅, = ∅, = ∅, = ∅;
• L’unione di eventi si indica con  =1 , , … , … oppure ⊕ 1 2 1 2;
• L’intersezione di eventi si indica con    =1 , , … , … oppure ⊗ 1 2 1 2.

Diagramma di Venn