Appunti elaborati relativi al corso "Analisi dei dati e statistica", tutte le lezioni

Sommario

• Introduzione
• Definizione e raccolta dati
• Presentazione dei dati: grafici e tabelle
• La statistica descrittiva: indici di posizione e di variabilità
• Fondamenti di calcolo delle probabilità
• Distribuzioni di probabilità di variabili casuali discrete
• Distribuzione normale
• Le distribuzioni campionarie
• Inferenza e intervalli di confidenza
• I fondamenti della verifica d’ipotesi: test basati su un solo campione
• La regressione lineare semplice

Introduzione

Statistica: insieme di metodi che ci consente di lavorare con i dati in modo efficace e può aiutarci a capire meglio la realtà e a prendere decisioni ragionate.

• Descrittiva: raccolta dei dati, sintesi, presentazione e analisi di dati attraverso grafici e tabelle, indici statistici: media, mediana e derivazione standard.
• Inferenziale: trarre informazioni applicabili all’intera popolazione partendo da un campione di dati, su cui è condotta l’analisi. Vanno rispettate determinate ipotesi. C’è un margine di incertezza.

Terminologia

Variabile (mutabile): caratteristica di un oggetto/soggetto.

Dati: insieme dei valori associabili ad una variabile.

Approccio, processo (DCOVA)

Minimizzare gli errori.

1. Definire i dati che si vogliono studiare (capire il problema o obiettivo che si vuole raggiungere).
2. “Collect” i dati o utilizzare dati provenienti da fonti.
3. Organizzare i dati attraverso tabelle (matrice tabelle).
4. Visualizzare i dati attraverso grafici.
5. Analizzare e trarre conclusioni e presentare i risultati.

Utile per…

• Riassumere e visualizzare i dati aziendali.
• Ottenere informazioni da tali dati.
• Fare previsioni affidabili sulle attività aziendali.
• Migliorare i processi aziendali.

Approccio di analisi integrato (Business Analytics)

Utilizzo di:

• Metodi informatici.
• Organizzazione di dati.
• Analisi statistiche quantitative.
• Modelli esplicativi e predittivi.
• Metodi della scienza del management basati su modelli di ottimizzazione.

Big Data

• Volume enorme.
• Velocità elevata, tempo reale.
• Varietà: immagini, video, numeri…

Gli studi mostrano un aumento nella produttività, nell'innovazione e nella competitività delle aziende che utilizzano la Business Analytics.

Definizione e raccolta dati

1. Definire i dati (DCOVA)

Tipologie di variabili.

• Qualitative (categoriche): assumono delle categorie/modalità come valori (es. sì/no o blu/marrone/verde).
  • Nominali.
  • Ordinali.
• Quantitative (numeriche): quantità contata o misurata.
  • Discrete, derivano da un processo di conteggio.
  • Continue, derivano da un processo di misurazione (peso, reddito …).

2. Raccolta dei dati (DCOVA)

Importante verificare l’affidabilità dei dati.

Categorie fonti.

• Primarie: chi raccoglie è anche chi li analizza.
  • Dati raccolti con un esperimento.
  • Dati provenienti da osservazioni.
• Secondarie: chi raccoglie i dati non coincide con chi li analizza, sono persone diverse.
  • Dati censuari.
  • Dati da indagini campionarie.
  • Dati da giornali o da rete.

Dati relativi a una popolazione o un campione

Popolazione: tutti gli elementi o individui su cui si desidera trarre una conclusione. (≪grande≫) gruppo.

Campione: porzione di una popolazione selezionata per l’analisi (≪piccolo gruppo≫) quando è meno costoso che selezionare la popolazione, richiede meno tempo, è meno difficile e più pratico.

Inizia con una lista di campionamento: elenco di tutti gli elementi che compongono la popolazione da cui estraiamo il campione.

Metodi di campionamento

• Non-probabilistico: elementi scelti indipendentemente dalla loro probabilità di occorrenza.
  • Di convenienza: elementi scelti perché facili, economici o convenienti da campionare oppure i partecipanti si auto-selezionano.
  • A scelta ragionata: si fa riferimento a esperti o testimoni privilegiati.
• Probabilistico: elementi scelti in base alle probabilità.
  • Casuale semplice: ogni elemento ha la stessa probabilità di essere selezionato, ci si avvale di una tavola di numeri casuali o di generatori numerici. Con re-immissione: l’individuo selezionato viene reimmesso nella popolazione e può essere selezionato nuovamente). Senza re-immissione.
  • Sistematico: l’estrazione seguendo il seguente sistema:
    • A) Decido la dimensione del campione (n).
    • B) Divido la popolazione di N individui in gruppi di k = N/n.
    • C) Seleziono casualmente un individuo dal 1° gruppo.
    • D) Seleziono un individuo per ogni k°.
  • Stratificato: popolazione suddivisa in strati in base ad alcuni caratteristiche comuni (es. classi di età, titolo di studio…). Da ciascun strato si estrae un campione dimensionalmente proporzionale alla dimensione dallo strato, i campioni estratti vengono poi combinati in uno unico.
  • A grappolo: popolazione divisa in cluster (grappoli), da ognuno si seleziona un campione casuale (es. exit poll).

Tipologie di errori

• Di copertura o distorsione da sezione, si verifica se gruppi specifici di soggetti vengono esclusi dalla lista della popolazione.
• Di campionamento.
• Di mancata risposta.
• Di misurazione.

Presentazione dei dati: grafici e tabelle

Esempio: Passamani/Fondi investimento 4-3-21.xlsx.

Un giovane ha deciso di investire in uno o più fondi e per questo si rivolge ad una società di servizi finanziari. Questa seleziona un campione di 316 fondi comuni di investimento e vuole presentare i relativi dati nel modo più comprensibile possibile, in modo da facilitare le scelte d’investimento. Si definiscono le variabili interessanti, come il rendimento passato di ciascun fondo (variabile quantitativa), la relativa composizione, se titoli di tipo growth o di tipo value, il relativo livello di rischio (variabili qualitative). Si raccolgono i dati da fonti appropriate.

Organizzazione di variabili qualitative (DCOVA)

Frequenze: numeri assoluti o valori percentuali.

Tabella sintetica

Distribuzione di frequenza che riporta le frequenze assolute e/o percentuali in ciascuna delle categorie di una variabile.

Es. “motivi per cui i giovani acquistano online” Frequenze percentuali (somma 100%).

Es. “insieme dei 316 fondi di investimento è classificato in base al livello di rischio, distinto in tre categorie.” creata da file Excel.

Tabella di contingenza

Per studiare relazione tra due o più variabili qualitative.

Le categorie di una si trovano lungo le righe e quelle dell’altra lungo le colonne.

Es. Tabella di contingenza che mostra la frequenza delle fatture classificate in base alle dimensioni degli importi e alla presenza di errori.

Calcolo il rapporto in base al totale complessivo 42.50% = 170/400.

Calcolo rapporto in base al totale riga 89.47% = 170 / 190 calcolo rapporto in base al totale di colonna 50.75% = 170 / 335.

Esempio dei fondi Excel.

Rappresentazione di variabili qualitative (DCOVA)

Es. Shopping online e fondi Passamani/Shopping online 4-3-21.xlsx.

Diagramma a barre

Frequenze assolute. Mette in evidenza il raffronto tra le frequenze delle modalità.

250 200 150 100 50 0 Basso Medio Alto.

La lunghezza di ciascuna barra rappresenta la frequenza o la percentuale dei valori per ciascuna categoria.

≠ istogramma che non ha spazi tra una barra e l’altra.

Diagramma a torta

Mostra il peso che una certa modalità ha sulle altre. Frequenze percentuali. Alto 4%.

Poco chiaro se le modalità sono numerose.

Le singole fette rappresentano le categorie. La dimensione di ogni fetta è proporzionale alla percentuale di ciascuna categoria. Medio 29% Basso 67%.

Diagramma di Pareto

Diagramma di Pareto.

Barre verticali in cui le categorie sono rappresentate in ordine decrescente di frequenza, è associato nello stesso grafico un poligono cumulativo.

150% 100% 50% 0% ≪modalità Evitare problemi e code Prezzi migliori Scelta più ampia Comodità Spedizione diretta nei giorni festivi.

Separa le poche ≪rilevanti≫ dalle tante ≪banali≫.

Principio di Pareto Percentuale Percentuali cumulate.

Passamani/dataset_Levine_7ed/ATM Transactions.xlsx.

Diagramma a barre affiancate

Diagramma a barre affiancate. Value. Rappresenta i dati contenuti in una tabella di contingenza. Growth 0 20 40 60 80 100 120 140 160 Alto Medio Basso.

Organizzazione di variabili quantitative/numeriche (DCOVA)

Esercizi: Passamani/Ristoranti centro periferia - costo pasto 5-3-21.xls. Passamani/Fondi investimento - rendimento annuale 5-3-21.xlsx.

Ordinare i dati

Sequenza di dati in ordine di classificazione crescente (dal più piccolo al più grande).

Intervallo dal valore minimo al massimo.

Possibilità di individuare eventuali valori anomali.

Distribuzione di frequenza di classi

Tabella in cui i dati sono divisi in classi ordinate.

Selezionare un numero appropriato di classi (5-6; non più di 15), determinare ampiezza delle classi e definire estremi per evitare sovrapposizione.

Per determinare ampiezza si divide l’intervallo dei valori (valore max - valore min) per il numero delle classi Range/Numero delle classi (valore max - valore min) / conta.valori.

Per ogni classe si può calcolare il valore centrale (media estremi), utile per la rappresentazione grafica.

Frequenza relativa e frequenza percentuale

Frequenza relativa: Frequenza assoluta / Numero delle classi, utile per confrontare due campioni di numerosità diversa.

Frequenza percentuale: frequenza assoluta*100.

Frequenza percentuale cumulata: informazioni circa la percentuale di dati che risultino ≤ ad un certo valore.

Frequenza percentuale cumulata: cella precedente + frequenza percentuale riga corrente. Es. 0,44% + 2,64%.

Rappresentazione delle variabili quantitative (DCOVA)

Ramo Foglia.

4 95 589.

6 3558.

7 149.

8 33.

9 56.

Diagramma ramo-foglia

Partendo dai dati numerici ordinati, si separano le cifre iniziali (rami) e le cifre finali (foglie).

Organizza i dati in gruppi (rami) in modo che i valori all’interno (foglie) si diramino verso destra su ogni riga.

Costo pranzo 4.9 5.5 5.8 5.9 6.3 6.5 6.5 6.8 7.1 7.4 7.9 8.3 8.3 9.5 9.6.

Noto che la maggioranza di osservazioni sono assegnate al ramo 6.

Istogramma

Fondi growth.

• Gli estremi della classe o i valori medi vengono mostrati sull’asse delle ordinate 120.
• L’asse verticale rappresenta la frequenza, frequenza relativa o percentuale 100 80 60 Frequenza 40 20 0 -12.5 -7.5 -2.5 2.5 7.5 12.5 17.5 22.5 27.5 32.5 Valori medi.
• Non vi sono spazi tra una barra e l’altra, sono adiacenti.

Poligono di frequenza

• OGIVA.

Linea spezzata che unisce i punti (x, y).

• Le x corrispondono ai valori medi di ciascuna classe 120.00% 100.00%.
• Le y corrispondono alle frequenze di ciascuna classe 80.00% 60.00% 40.00% 20.00%.

Poligono delle frequenze cumulate (OGIVA) 0.00%.

L’ascissa è data dalla frequenza percentuale cumulata di ciascuna classe -10 -5 0 5 10 15 20 25 30 35 % cumulate growth % cumulate value.

Diagramma a dispersione (scatterplot)

Diagramma a dispersione.

• Per ogni unità statistica abbiamo un’ osservazione bivariata a cui si assegna un punto sul piano del grafico 1600 1400 1200 1000.

Nuvola di osservazioni 800 600.

Esempio NBA Passamani/NBA Esempio.xlsx 400.

Dal grafico si nota una relazione positiva, o crescente, tra profitti e valore di ogni squadra 200 0 0 100 200 300 400 Profitti.

Diagramma per le serie storiche

Prezzo Gas.

• Una delle due variabili è il tempo, sta sull’asse delle ascisse 400 350.
• Si osserva una variabile e il suo andamento nel tempo 300 250.

Esempio prezzi Gas 200 Passamani/Prezzi gas 11-3-21.xlsx 150 100 50 0 2003-1 2003-4 2003-7 2004-1 2004-4 2005-1 2005-4 2005-7 2006-1 2006-7 2007-1 2007-4 2007-7 2008-1 2008-4 2004-7 2006-4 2003-10 2004-10 2005-10 2006-10 2007-10.

Tabelle di contingenza multiple (a doppia entrata) DCOVA

Conteggio di Numero Etichette di colonna fondo.

• Riporta le frequenze congiunte, assolute o percentuali, di tre o più variabili qualitative.

Tabelle Pivot.

Es. Fondi investimento Passamani/Fondi investimento 11-3-21.xlsx.

Mostrare valori variabile numerica distinta per sottogruppi di più variabili qualitative

Media di Rendimento 10anni Etichette di colonna.

Data Discovery (Drill-down o elenco a discesa)

Consentono di indagare i dati tramite tabelle riassuntive dei dati.

Per:

• Visualizzare meglio i dati;
• Controllare meglio i dati per valori insoliti;
• Evidenziare nei dati andamenti e relazioni nascoste.

Excel doppio click sul dato.

Mappa ad albero

• Gerarchia a più livelli che evidenzia dettagli attraverso rettangolini difformati.

Es. Variabili numeriche (dimensione rettangoli) e per la percentuale dei rendimenti (colore).

Problematiche nell’organizzazione e rappresentazione delle variabili

Attenzione a:

• Riportare informazioni chiare e comprensibili.
• Presentazioni che non nascondano info rilevanti.

Rischi che si creino sintesi che offuscano informazioni e generano false impressioni.

Es. offuscamento dovuto a sovraccarico di info.

False impressioni

• Riassunto selettivo, presenta solo una parte dell’informazione scelta.
• Grafici realizzati in modo improprio:
  • Problemi diagramma a torta.
  • Assi non correttamente dimensionati.
  • L’asse Y che non inizia nell’origine o manca di valori medi.
• Chartjunk (grafico spazzatura).

Come realizzare rappresentazioni corrette

• Usare la rappresentazione più semplice possibile.
• Includere un titolo.
• Etichettare tutti gli assi.
• Includere una scala per ciascun asse se il grafico contiene assi.
• La scala sull’asse delle ordinate deve iniziare nell’origine (altrimenti deve includere serpentina).
• Usare una scala costante.
• Evitare, possibilmente, gli effetti 3D.
• Evitare la spazzatura grafica.

La statistica descrittiva: indici di posizione e di variabilità

Definizioni sintetiche (DCOVA)

• Tendenza centrale è il valore centrale (tipico) intorno a cui i valori di una variabile si raggruppano.
• Variabilità rappresenta la tendenza di una variabile ad assumere variabili differenti e disperdersi attorno al valore centrale.
• Forma rappresenta l’andamento delle frequenze di una distribuzione dal valore più basso al più alto della variabile quantitativa (istogramma).

Misure di tendenza centrale

Passamani/Tempi 12-3-21.xlsx Passamani/Produzione pneumatici 12-3-21.xlsx.

Media campionaria X (media)

Baricentro di un insieme di dati somma valori / numero valori.

=0∑ = Media della popolazione μ somma valori popolazione / dimensione popolazione.

=0∑ = La media campionaria è una stima della media della popolazione.

• Tutti i valori hanno lo stesso peso.
• Influenzata da valori estremi (outliers).
• Non robusto in presenza di outliers.

Media campionaria ponderata X P

I valori assumono pesi diversi somma dei valori ponderati / valore della ponderazione.

=0∑ ∙ = =0∑.

Mediana

In una serie ordinata è il valore che si colloca al centro.

Meno sensibile agli outliers.

+1 Posizione della mediana = 2 se il numero n di valori &eg