Appunti elaborati relativi al corso "Analisi dei dati e statistica", tutte le lezioni

Sommario

Introduzione

Definizione e raccolta dati

Presentazione dei dati: grafici e tabelle

La statistica descrittiva: indici di posizione e di variabilità

Fondamenti di calcolo delle probabilità

Distribuzioni di probabilità di variabili casuali discrete

Distribuzione normale

Le distribuzioni campionarie

Inferenza e intervalli di confidenza

I fondamenti della verifica d’ipotesi: test basati su un solo campione

La regressione lineare semplice

Introduzione

Statistica:

Insieme di metodi che ci consente di lavorare con i dati in modo efficace e può aiutarci a capire

meglio la realtà e a prendere decisioni ragionate.

• Descrittiva

Raccolta dei dati, sintesi, presentazione e analisi di dati attraverso grafici e tabelle, indici

statistici: media, mediana e derivazione standard.

• Inferenziale

Trarre informazioni applicabili all’intera popolazione partendo da un campione di dati, su

cui è condotta l’analisi.

Vanno rispettate determinate ipotesi.

C’è un margine di incertezza

Terminologia

Variabile (mutabile): caratteristica di un oggetto/soggetto

Dati: insieme dei valori associabili ad una variabile

Approccio, processo (DCOVA)

minimizzare gli errori

1. Definire i dati che si vogliono studiare (capire il problema o obiettivo che si vuole

raggiungere)

2. “Collect” i dati o utilizzare dati provenienti da fonti

3. Organizzare i dati attraverso tabelle (matrice tabelle)

4. Visualizzare i dati attraverso grafici

5. Analizzare e trarre conclusioni e presentare i risultati

Utile per…

• Riassumere e visualizzare i dati aziendali

• Ottenere informazioni da tali dati

• Fare previsioni affidabili sulle attività aziendali

• Migliorare i processi aziendali

Approccio di analisi integrato (Business Analytics)

Utilizzo di:

• metodi informatici

• organizzazione di dati

• analisi statistiche quantitative

• modelli esplicativi e predittivi

• metodi della scienza del management basati su modelli di ottimizzazione

Big Data

- volume enorme

- velocità elevata, tempo reale

- varietà: immagini, video, numeri…

Gli studi mostrano un aumento nella produttività, nell'innovazione e nella competitività delle

aziende che utilizzano la Business Analytics.

Definizione e raccolta dati

1. Definire i dati (DCOVA)

Tipologie di variabili

• Qualitative (categoriche): assumono delle categorie/modalità come valori (es. sì/no o

blu/marrone/verde)

o Nominali

o Ordinali

• Quantitative (numeriche): quantità contata o misurata

o Discrete, derivano da un processo di conteggio

o Continue, derivano da un processo di misurazione (peso, reddito …)

2. Raccolta dei dati (DCOVA)

Importante verificare l’affidabilità dei dati

Categorie fonti

• Primarie: chi raccoglie è anche chi li analizza

o dati raccolti con un esperimento

o dati provenienti da osservazioni

• Secondarie: chi raccoglie i dati non coincide con chi li analizza, sono persone diverse

o dati censurari

o dati da indagini campionarie

o dati da giornali o da rete

Dati relativi a una popolazione o un campione

Popolazione: tutti gli elementi o individui su cui si desidera trarre una conclusione. (≪grande

≫)

gruppo

Campione: porzione di una popolazione selezionata per l’analisi (≪piccolo gruppo≫)

quando è meno costoso che selezionare la popolazione, richiede meno tempo, è meno

difficile e più pratico.

Inizia con una lista di campionamento: elenco di tutti gli elementi che compongono la

popolazione da cui estraiamo il campione

Metodi di campionamento

• Non-probabilistico: elementi scelti indipendentemente dalla loro probabilità di

occorrenza

o Di convenienza: elementi scelti perché facili, economici o convenienti da

campionare oppure i partecipanti si auto-selezionano

o A scelta ragionata: si fa riferimento a esperti o testimoni privilegiati

• Probabilistico: elementi scelti in base alle probabilità

o Casuale semplice: ogni elemento ha la stessa probabilità di essere selezionato, ci

si avvale di una tavola di numeri casuali o di generatori numerici

Con re-immissione: l’individuo selezionato viene reimmesso nella

popolazione e può essere selezionato nuovamente)

Senza re-immissione

o Sistematico: l’estrazione seguendo il seguente sistema

a) Decido la dimensione del campione (n)

b) Divido la popolazione di N individui in gruppi di k = N/n

c) Seleziono casualmente un individuo dal 1° gruppo

d) Seleziono un individuo per ogni k°

o Stratificato: popolazione suddivisa in strati in base ad alcuni caratteristiche

comuni(es. classi di età, titolo di studio…).

Da ciascun strato si estrae un campione dimensionalmente proporzionale alla

dimensione dallo strato, i campioni estratti vengono poi combinati in uno unico.

o A grappolo: popolazione divisa in cluster (grappoli), da ognuno si seleziona un

campione casuale (es. exit poll)

Tipologie di errori:

• Di copertura o distorsione da sezione, si

verifica se gruppi specifici di soggetti vengono

esclusi dalla lista della popolazione

• Di campionamento

• Di mancata risposta

• Di misurazione

Presentazione dei dati: grafici e tabelle

Esempio: Passamani/Fondi investimento 4-3-21.xlsx

Un giovane ha deciso di investire in uno o più fondi e per questo si rivolge ad una società di

servizi finanziari. Questa seleziona un campione di 316 fondi comuni di investimento e vuole

presentare i relativi dati nel modo più comprensibile possibile, in modo da facilitare le scelte

d’investimento. Si definiscono le variabili interessanti, come il rendimento passato di ciascun

fondo (variabile quantitativa), la relativa composizione, se titoli di tipo growth o di tipo value, il

relativo livello di rischio (variabili qualitative). Si raccolgono i dati da fonti appropriate.

Organizzazione di variabili qualitative (DCOVA)

Frequenze: numeri assoluti o valori percentuali

Tabella sintetica

Distribuzione di frequenza che riporta le frequenze assolute e/o percentuali in ciascuna delle

categorie di una variabile

Es. “motivi per cui i giovani acquistano online” Frequenze percentuali (somma 100%)

Es. “insieme dei 316 fondi di investimento è classificato in base al livello di rischio, distinto in tre

categorie.” creata da file Excel

Tabella di contingenza

Per studiare relazione tra due o più variabili qualitative

Le categorie di una si trovano lungo le righe e quelle dell’altra lungo le colonne

Es. Tabella di contingenza che mostra la frequenza

delle fatture classificate in base alle dimensioni

degli importi e alla presenza di errori

calcolo il rapporto in base al totale complessivo

42.50% = 170/400

calcolo rapporto in base al totale riga

89.47% = 170 / 190 calcolo rapporto in base al totale di colonna

50.75% = 170 / 335

Esempio dei fondi Excel

Rappresentazione di variabili qualitative (DCOVA)

Es. Shopping online e fondi

Passamani/Shopping online 4-3-21.xlsx

Diagramma a barre Frequenze assolute

Mette in evidenza il raffronto tra le 250

frequenze delle modalità. 200

La lunghezza di ciascuna barra 150

rappresenta la frequenza o la percentuale 100

dei valori per ciascuna categoria

≠ istogramma che non ha spazi tra una barra e 50

l’altra 0 Basso Medio Alto

Diagramma a torta

Mostra il peso che una certa modalità ha Frequenze percentuali

sulle altre. Alto

4%

Poco chiaro se le modalità sono

numerose.

Le singole fette rappresentano le Medio

29%

categorie. La dimensione di ogni fetta è

proporzionale alla percentuale di ciascuna

categoria Basso

67%

Diagramma di Pareto Diagrama di Pareto

Barre verticali in cui le categorie

sono rappresentate in ordine 150%

decrescente di frequenza, è 100%

associato nello stesso grafico un 50%

poligono cumulativo 0%

≪modalità

Separa le poche Evitare Prezzi migliori Scelta più ampia Comodità Spedizione

≪molte

rilevanti≫ dalle tante problemi e code diretta

nei giorni festivi

banali≫

Principio di Pareto Percentuale Percentuali cumulate

Passamani/dataset_Levine_7ed/ATM Transactions.xlsx Diagramma a barre affiancate

Diagramma a barre affiancate Value

Rappresenta i dati contenuti in una

tabella di contingenza Growth 0 20 40 60 80 100 120 140 160

Alto Medio Basso

Organizzazione di variabili quantitative/numeriche (DCOVA)

Esercizi:

Passamani/Ristoranti centro periferia - costo pasto 5-3-21.xls

Passamani/Fondi investimento - rendimento annuale 5-3-

21.xlsx

Ordinare i dati

sequenza di dati in ordine di classificazione crescente (dal più piccolo al più grande)

intervallo dal valore minimo al massimo

possibilità di individuare eventuali valori anomali

Distribuzione di frequenza di classi

Tabella in cui i dati sono divisi in classi ordinate

Selezionare un numero appropriato di classi (5-6; non più di 15), determinare ampiezza delle

classi e definire estremi per evitare sovrapposizioni

per determinare ampiezza si divide l’intervallo dei valori (valore max -valore min) per il

numero delle classi Range/Numero delle classi

(valore max - valore min) / conta.valori

per ogni classe si può calcolare il valore centrale (media estremi), utile per la

rappresentazione grafica

Frequenza relativa Frequenza percentuale

Frequenza assoluta / Numero delle classi frequenza assoluta*100

utile per confrontare due campioni di numerosità diversa

Frequenza percentuale cumulata

informazioni circa la percentuale di dati che risultino ≤ ad un certo valore

Estremo Valore Frequenza Frequenza Frequenza Frequenza

superiore centrale assoluta relativa percentuale cumulata

-10 -12.5 1 0.0044 0.44% 0.44% frequenza percentuale cumulata

-5 -7.5 0 0.0000 0.00% 0.44% cella precedente + frequenza

0 -2.5 0 0.0000 0.00% 0.44% percentuale riga corrente

5 2.5 6 0.0264 2.64% 3.08%

10 7.5 23 0.1013 10.13% 13.22% Es. 0,44% + 2,64%

15 12.5 104 0.4581 45.81% 59.03%

20 17.5 75 0.3304 33.04% 92.07%

25 22.5 12 0.0529 5.29% 97.36%

30 27.5 3 0.0132 1.32% 98.68%

35 32.5 3 0.0132 1.32% 100.00%

227 1 100.00%

Rappresentazione delle variabili quantitative (DCOVA) Ramo Foglia

4 9

5 589

Diagramma ramo-foglia 6 3558

Partendo dai dati numerici ordinati, si separano le cifre iniziali (rami) e le cifre finali 7 149

(foglie) 8 33

organizza i dati in gruppi (rami) in modo che i valori all’interno (foglie) si diramino 9 56

verso destra su ogni riga

Costo pranzo 4.9 5.5 5.8 5.9 6.3 6.5 6.5 6.8 7.1 7.4 7.9 8.3 8.3 9.5 9.6

Noto che la maggioranza di osservazioni sono assegnate al ramo 6

Istogramma Fondi growth

• Gli estremi della classe o i valori medi

vengono mostrati sull’asse delle ordinate 120

• L’asse verticale rappresenta la frequenza, assoluta 100

frequenza relativa o percentuale 80

• Non vi sono spazi tra una barra e l’altra, 60

Frequenza

sono adiacenti 40

20

0 -12.5 -7.5 -2.5 2.5 7.5 12.5 17.5 22.5 27.5 32.5

Valori medi

Poligono di frequenza

• OGIVA

Linea spezzata che unisce i punti (x, y)

• Le x corrispondono ai valori medi di 120.00%

ciascuna classe 100.00%

• Le y corrispondono alle frequenze di 80.00%

60.00%

ciascuna classe 40.00%

20.00%

Poligono delle frequenze cumulate (OGIVA) 0.00%

L’ascissa è data dalla frequenza -10 -5 0 5 10 15 20 25 30 35

percentuale cumulata di ciascuna classe % cumulate growth % cumulate value

Diagramma a dispersione (scatterplot) Diagramma a dispersione

• Per ogni unità statistica abbiamo un’ 1600

osservazione bivariata a cui si assegna 1400

un punto sul piano del grafico 1200

nuvola di osservazioni 1000

Esempio NBA Passamani/NBA Esempio.xlsx 800

600

Dal grafico si nota una relazione positiva, o 400

crescente, tra profitti e valore di ogni squadra 200

0 0 100 200 300 400

Profitti

Diagramma per le serie storiche Prezzo Gas

• Una delle due variabili è il tempo, sta

sull’asse delle ascisse 400

350

• Si osserva un avariabile e il suo 300

andamento nel tempo 250

Esempio prezzi Gas 200

Passamani/Prezzi gas 11-3- 150

21.xlsx 100

50

0 2003-1 2003-4 2003-7 2004-1 2004-4 2005-1 2005-4 2005-7 2006-1 2006-7 2007-1 2007-4 2007-7 2008-1 2008-4

2004-7 2006-4

2003-10 2004-10 2005-10 2006-10 2007-10

Tabelle di contingenza multiple (a doppia Conteggio di Numero Etichette di

fondo colonna

entrata) DCOVA Totale

• Riporta le frequenze congiunte, assolute Etichette di riga Alto Basso Medio complessivo

Growth 3.16% 45.25% 23.42% 71.84%

o percentuali, di tre o più variabili Grande 0.95% 28.48% 3.16% 32.59%

qualitative Media 0.00% 11.71% 11.08% 22.78%

Tabelle Pivot Piccola 2.22% 5.06% 9.18% 16.46%

Es. Fondi investimento Passamani/Fondi Value 0.95% 21.84% 5.38% 28.16%

investimento 11-3-21.xlsx Grande 0.32% 14.24% 1.27% 15.82%

Media 0.00% 4.75% 1.27% 6.01%

Piccola 0.63% 2.85% 2.85% 6.33%

Totale complessivo 4.11% 67.09% 28.80% 100.00%

Mostrare valori variabile numerica distinta Media di Rendimento 10

anni Etichette di colonna

per sottogruppi di più variabili qualitative Totale

Etichette di riga Alto Basso Medio complessivo

Growth 6.65 7.13 8.17 7.45

Grande 8.42 6.37 7.16 6.51

Media 8.36 8.65 8.50

Piccola 5.89 8.59 7.94 7.86

Value 6.22 6.69 8.11 6.95

Grande 4.03 5.81 7.01 5.87

Media 7.87 8.23 7.94

Piccola 7.32 9.15 8.55 8.70

Totale complessivo 6.55 6.99 8.16 7.31

Data Discovery (Drill-down o elenco a discesa)

Consentono di indagare i dati tramite tabelle riassuntive dei dati

Per:

• visualizzare meglio i dati;

• controllare meglio i dati per valori insoliti;

• evidenziare nei dati andamenti e relazioni nascoste.

Excel doppio click sul dato

Mappa ad albero

• Gerarchia a più livelli che

evidenzia dettagli

attraverso rettangoli

nidificati

Es. Variabili numeriche

(dimensione rettangoli) e per

la percentuale dei rendimenti

(colore)

Problematiche nell’organizzazione e rappresentazione delle variabili

Attenzione a:

• Riportare informazioni chiare e comprensibili

• Presentazioni che non nascondano info rilevanti

Rischi che si creino sintesi che offuscano informazioni e generano false impressioni

Es. offuscamento dovuto a sovraccarico di info

False impressioni

• Riassunto selettivo, presenta solo una parte dell’informazione scelta

• Grafici realizzati in modo improprio:

o Problemi diagramma a torta

o Assi non correttamente dimensionati

o L’asse Y che non inizia nell’origine o manca di valori medi

• Chartjunk (grafico spazzatura)

Come realizzare rappresentazioni corrette

• Usare la rappresentazione più semplice possibile.

• Includere un titolo.

• Etichettare tutti gli assi.

• Includere una scala per ciascun asse se il grafico contiene assi.

• La scala sull’asse delle ordinate deve iniziare nell’origine (altrimenti deve includere

serpentina)

• Usare una scala costante.

• Evitare, possibilmente, gli effetti 3D.

• Evitare la spazzatura grafica.

La statistica descrittiva: indici di posizione e di variabilità

Definizioni sintetiche (DCOVA)

• Tendenza centrale è il valore centrale (tipico) intorno a cui i valori di una variabile si

raggruppano

• Variabilità rappresenta la tendenza di una varabile ad assumere variabili differenti e

disperdersi attorno al valore centrale

• Forma rappresenta l’andamento delle frequenze di una distribuzione dal valore più

basso al più alto della variabile quantitativa (istogramma)

Misure di tendenza centrale Passamani/Tempi 12-3-21.xlsx Passamani/Produzione pneumatici 12-3-21.xlsx

Media campionaria X (media)

Baricentro di un insieme di dati somma valori / numero valori

=0

∑

=

Media della popolazione μ

somma valori popolazione / dimensione popolazione

=0

∑

=

La media campionaria è una stima della media della popolazione

• Tutti i valori hanno lo stesso peso

• Influenzata da valori estremi (outliers)

• Non robusto in presenza di outliners

Media campionaria ponderata X P

I valori assumono pesi diversi somma dei valori ponderati / valore della ponderazione

=0

∑ ∙

= =0

∑

Mediana

In una serie ordinata è il valore che si colloca al centro

Meno sensibile agli outliers

+1

Posizione della mediana = 2

se il numero n di valori &eg