Appunti di Statistica

Statistica

Introduzione

Analisi esplorativa dei dati: l’analisi esplorativa dei dati è il primo passaggio da compiere non appena ci si trova nella situazione di dover elaborare i dati. I dati naturalmente nascono da un processo di produzione e quindi si studieranno quelle che sono le terminologie corrette da utilizzare. Diamo un po’ di definizioni:

Tipi di statistiche

Statistica descrittiva: attraverso la statistica descrittiva noi acquisiamo la metodologia per poter organizzare e sintetizzare le osservazioni che abbiamo fatto rispetto a delle unità statistiche e quindi passare dall’osservazione sulla singola unità alla visione generale di quelle che sono le caratteristiche delle unità statistiche valutate e le relazioni che possono sussistere tra esse.

Statistica inferenziale: con la statistica inferenziale, partendo dall’osservazione di un campione, ad esempio un sottoinsieme della popolazione, è possibile riferire i risultati osservati all’intera popolazione. Non sarebbe necessario fare ciò se si riuscisse sempre ad osservare tutta la popolazione, ma ciò è molto difficile.

Fasi di un’indagine statistica

• Parte descrittiva: 1. Rilevazione e raccolta dati.
• Parte descrittiva: 2. Rappresentazione e interpretazione.
• Teoria probabilità: 3. Generalizzazione dei risultati -> inferenza.

• Unità statistica: unità elementare di indagine. Essa fa parte di una popolazione di unità statistiche ed è su di essa che si svolgono osservazioni rispetto a quelli che vengono chiamati “caratteri statistici”.
• Caratteri statistici: a patto che abbiano certe proprietà, sono delle variabili operative della ricerca.
• Dato statistico: numero in un contesto.
• Collettivo statistico: insieme dei casi individuali in cui si manifesta il fenomeno di interesse (popolazione, universo, aggregato).

I caratteri possono assumere varie modalità a seconda del carattere stesso.

La prima grande suddivisione è in variabili di tipo qualitativo e di tipo quantitativo.

Variabili qualitative

Variabili qualitative: qualitativo significa che esprimono delle qualità e per descriverle si utilizzano delle forme verbali, si suddividono a loro volta in:

• Variabili “sconnesse”: variabili la cui espressione non permette un ordinamento fra le unità statistiche. Quindi si può solo dire che due unità statistiche hanno la stessa espressione o un’espressione diversa (esempio: se si prendono due individui si può dire se sono dello stesso o modalità, no). I valori delle sconnesse si chiamano ovvero i modi in cui si esplica la variabile.
• Variabili “ordinabili”: queste variabili, come dice la parola stessa, possono essere ordinate, si può dire non solo se sono uguali o no, ma anche se sono maggiori o minori (esempio: livello di istruzione elementare, scuola media, scuola superiore, università).

Variabili quantitative

Variabili quantitative: quantitativo significa che esprimono delle quantità e quindi c’è stato il confronto con uno strumento di misura, che può essere implicito o esplicito. Queste variabili sono espresse attraverso numeri a differenza di quelle qualitative che solitamente non sono espresse con numeri.

• Variabili “discrete”: variabili che variano per quantità discrete (1,2,3, 4, …). Un esempio è il numero di componenti di una famiglia. Prese due unità statistiche che hanno un valore contiguo, quindi per esempio il numero di componenti di una famiglia, tra una famiglia che ha tre componenti e una famiglia che ne ha due, non si può trovare una famiglia che si collochi in un valore intermedio.
• Variabili “continue”: variabili che variano nel continuo. Se si prende come esempio la statura in cm, tra un’unità statistica con una statura di 165cm e una di 166cm si può trovare qualcuno con un valore intermedio a questi due. È stata scelta infatti una scala in cm e non è dunque necessario andare ad un livello più raffinato di misurazione.

Esempi sulla tipologia di variabili

• Quantitativo “continuo”: prezzo di una pizza, reddito di una famiglia, tasso di interesse annuale, altezza, tempo giornaliero dedicato alla scrittura, PIL dell’Italia.
• Quantitativo “discreto”: voto all’esame di statistica, numero della scarpa.
• Qualitativo “sconnesso”: partito politico di appartenenza, marca di caffè preferita, regione di provenienza.
• Qualitativo “ordinabile”: grado di soddisfazione di un cliente.

Produzione di macro-dati e rappresentazioni grafiche

Attraverso lo studio su un campione di persone in base al sesso, quello è il primo dato che possiamo raccogliere, questi primi dati che abbiamo ottenuto sono le distribuzioni di frequenza.

Definizione: la frequenza è il numero di unità statistiche portatrici di una certa modalità (per quanto riguarda le variabili qualitative) o intensità (per quanto riguarda le variabili quantitative), relativamente ad un carattere statistico, che può essere costituito da una variabile o dalla combinazione di due o più variabili.

Associando le modalità o intensità individuate alle relative frequenze, è possibile ricavare queste distribuzioni. Noi osserveremo distribuzioni di frequenze semplici, relative a ciascuna variabile presa singolarmente, e distribuzioni di frequenza doppie, che vanno a valutare l’associazione che esiste tra due variabili.

L’immagine a destra rappresenta una tabella relativa ad una distribuzione di frequenza semplice di una variabile qualitativa con k modalità (la variabile in questo caso potrebbe essere il sesso, il fumo, l’attività fisica, …). Se la variabile è di tipo qualitativo sconnesso non è importante come vengono elencate le sue modalità nella colonna di sinistra perché non c’è un ordinamento condiviso. Una scelta potrebbe essere quella di ordinare le modalità in base alle frequenze, scrivendo prima le modalità a cui corrispondono le frequenze più alte. Nella colonna di destra invece si trovano le frequenze di unità statistiche n1, n2, …, nk indicate con che in questo caso, rappresentano le frequenze assolute, ossia quante unità statistiche avevano la prima modalità, quante la seconda, e così via. La lettera k rappresenta il numero di modalità, quindi per sesso, fumo, attività fisica k prende il valore 2.

Facciamo ora un esempio veloce inserendo dei dati nella tabella a doppia entrata per rappresentare una distribuzione di frequenza. Come carattere X scegliamo il “sesso” (genere maschio o genere femmina) e come carattere Y scegliamo “la provincia di provenienza” (per facilitare Verona=VR, Vicenza=VI e Bologna=BL).

Raggruppamento in classi

Per le variabili quantitative continue la rappresentazione attraverso i macro-dati prevede di raggruppare i valori in classi. Dobbiamo quindi creare dei gruppi e considerarne la frequenza. Con la notazione […] nella tabella sono compresi tutti i valori tra l’estremo inferiore e l’estremo superiore escluso, così facendo non creiamo classi sovrapposte tra loro. Definiamo come creare un raggruppamento in classi e analizziamo le voci che la compongono.

È indispensabile per creare la rappresentazione grafica dei dati studiati, calcolare l’ampiezza di ciascuna classe, data dalla differenza tra l’estremo superiore e l’estremo inferiore della classe stessa. Si dovrà quindi calcolare una quantità detta densità che è data dal rapporto, tra la frequenza assoluta e l’ampiezza della classe.

Facciamo ora un esempio sempre parlando di distribuzione per classi prendendo come carattere l’età delle persone.

Frequenze cumulate relative

Prima di parlare delle frequenze cumulate relative riprendiamo il concetto di “frequenza cumulata assoluta”, ossia il numero di volte che un particolare valore appare in una serie di dati. La frequenza cumulata esprime un concetto diverso: è la somma della frequenza assoluta dell’elemento della serie preso in esame e di tutte le frequenze assolute dei valori che lo precedono (espresso quindi dalla quantità: con Ni = n1 + n2 + … + ni, i = 1, …, k). Le frequenze relative cumulate invece associano ad una modalità o ad una classe di modalità, come il rapporto tra la sua frequenza cumulata (assoluta) e la somma di tutte le frequenze assolute presenti nel campione (espresso matematicamente come Fk = Nk / N = ∑ki=1 fi).

Facciamo un ulteriore esempio numerico prendendo come dato N=216 famiglie classificate per n di componenti.

Funzione di ripartizione

Funzione di ripartizione (caratteri quantitativi): la funzione di ripartizione in statistica è una funzione di variabile reale che racchiude le informazioni su un fenomeno (un insieme di dati, un evento casuale) riguardanti la sua presenza o la sua distribuzione prima o dopo un certo punto. La funzione di ripartizione F(x) associa ad ogni x ∈ R la proporzione (frequenza relativa) di unità statistiche con valore del carattere X ≤ x.

Facciamo un esempio con N=5 – distribuzione disaggregata e x1=3, x2=2, x3=7, x4=9, x5=4. Mettiamo in ordine crescente le xi.

Funzione di ripartizione per una distribuzione per classi: so che la funzione F(x) passa per:

Sempre per quanto riguarda le frequenze cumulate relative nel grafico sottostante, costituito da una linea spezzata, abbia posto sull’asse orizzontale le classi di età, mentre sull’asse verticale le frequenze cumulate relative percentuali. Partendo dall’ipotetica classe iniziale di altezza pari a zero, si innalza un segmento pari alla frequenza cumulata, fino ad arrivare al valore di 100%. Questo grafico mostra il cumulo graduale delle frequenze rispetto ai valori delle classi (sarà anche molto utile in futuro per individuare degli indicatori fondamentali di posizione).

Formula retta passante per due punti

(F(x) − F(ci−1)) / (F(ci) − F(ci−1)) = (x − ci−1) / (ci − ci−1).

• Chiamiamo F(ci−1) = Fi−1 e F(ci) = Fi.
• Ricaviamo l’equazione per F(x).

(F(x) − Fi−1) = (Fi − Fi−1) · (x − ci−1) / (ci − ci−1).

F(x) = Fi−1 + (x − ci−1) · (Fi − Fi−1) / (ci − ci−1).

Ricordiamo che ci − ci−1 = di e che Fi − Fi−1 = fi.

F(x) = Fi−1 + (x − ci−1) fi / di.

Istogramma di frequenza

Per costruire l’istogramma di frequenza sono necessari i seguenti passi: come prima cosa è necessario applicare una divisione del range di variazione dei dati in sotto intervalli (quindi le classi) di uguale ampiezza. Il secondo passo consiste nell’ “inserire” nell’asse orizzontale i sotto intervalli selezionati. Si procede con il determinare la frequenza relativa di ogni classe, inserendo poi nell’asse verticale i valori di frequenza trovati. L’ultimo passo consiste nel disegnare le frequenze nel piano definito.

Facciamo un esempio prendendo in considerazione 23 famiglie (N) che percepiscono reddito in migliaia di euro (X). Le classi le suddividiamo ogni 5.000 euro di reddito fino alle famiglie più “ricche” che percepiscono 70.000 euro di reddito annuo.

Media aritmetica

Media aritmetica (indice di posizione espresso con M o x̄): la media aritmetica è la misura di centralità più nota e più usata. La media aritmetica è data semplicemente dalla somma dei valori diviso la numerosità n ovvero il numero di osservazioni valide. Si tratta di una misura di tipo algebrico, a differenza degli indicatori visti fin ora, quindi la variabile deve essere di tipo quantitativo.

x̄ = M = (∑ xi) / n = (x1 + x2 + … + xn) / n.

I micro-dati possono anche essere espressi in una distribuzione di frequenza, per esempio attraverso delle classi di valori. In questo caso si calcola la media aritmetica ponderata:

x̄ = M = (∑ xi ni) / (∑ ni).

In questo caso, ogni valore centrale della classe viene moltiplicato per la frequenza con la quale è stato osservato, successivamente la sommatoria di questi prodotti viene divisa per il totale delle osservazioni valide. Esempio: la media aritmetica ponderata si utilizza nella ponderazione delle varie parti di un esame che hanno un numero diverso di crediti e quindi un peso diverso.

Proprietà della media aritmetica

• È una media di tipo algebrico.
• Risente dei valori esterni. A differenza della mediana, infatti, valori molto piccoli o grandi spostano il valore della media aritmetica. Esempio: dispongono un numero di persone in ordine crescente di altezza, individuo la mediana e calcolo la media aritmetica (spiegheremo più avanti la mediana). Se la persona più alta viene sostituita con una persona con una statura ancora maggiore, la mediana rimane esattamente la stessa perché questa viene individuata con la posizione, la media aritmetica invece varia (possiamo concludere dicendo che non è un indicatore efficace quando ci sono osservazioni esterne).
• Gode della proprietà di equilibrio perché se calcolo tutti gli scarti tra ciascun valore e li sommo, ottengo sempre una somma pari a 0: ∑(xi − x̄) = 0. La media aritmetica è il baricentro della distribuzione.
• Gode della proprietà di minimo in quanto la media aritmetica è quel valore che rende minima la devianza (ovvero la somma degli scarti al quadrato): ∑(xi − x̄)² ni = m.

Come possiamo calcolare la media aritmetica in una distribuzione definita per classi? Per renderlo più comprensibile facciamo un esempio relativo alla statura media di un gruppo di persone.

Definisco Xi = punto medio di ogni classe. Se i valori sono uniformemente distribuiti dentro le classi posso utilizzare Xi.

La media statistica può essere indicata non solamente con le lettere M o x̄ ma anche con μ (lettera greca “mu”) calcolata così:

μ = x̄ = (1 / N) ∑ni=1 x̄i · ni = ∑ni=1 x̄i · fi.

Media geometrica

Per definizione la media geometrica di due o più valori è la radice n-esima del prodotto dei valori considerati, con n numero di valori, ed è un indicatore che fornisce una particolare informazione statistica relativa ai dati assegnati. Proviamo a ricavarla logicamente. Dati “n” numeri positivi x1, x2, …, xn con distribuzione di frequenza possiamo ricavarci immediatamente la formula:

μg = √N(x1 · x2 · … · xN).

Sottolineo l’importanza sul fatto che i numeri tra cui si calcola la media geometrica debbano essere tutti positivi, semplicemente perché essa si calcola a partire da un prodotto, quindi anche uno di essi fosse nullo, la legge di annullamento del prodotto risulterebbe: x1, x2, …, xn = 0 e quindi non avrebbe nemmeno senso calcolare la media geometrica.

Facciamo un esempio su un investimento: il primo anno si ha un rendimento medio di un euro investito di 10%, il secondo anno, reinvestendo la somma, del 50%; ed infine reinvestendo la somma si ha un rendimento medio del 25%.

• Primo anno: 1 → 1 + 0.10 · 1 = 1 + 0.10.
• Secondo anno: (1 + 0.10) → (1 + 0.10) + 0.50(1 + 0.10) = (1 + 0.10)(1 + 0.50).
• Terzo anno: (1 + 0.50)(1 + 0.10) → (1 + 0.50)(1 + 0.10) + 0.25(1 + 0.50)(1 + 0.10) = (1 + 0.50)(1 + 0.10)(1 + 0.25) = 2.06.

Calcoliamo μg: (1 + μg)³ = 2.06 → μg = ∛2.06 − 1 = 0.27.

Esempio: un giocatore gioca 2 euro, tre giocate, vincita complessiva pari a 432 euro.

• 1° -> 3 volte la somma iniziale.
• 2° -> 8 volte la somma precedente.
• 3° -> 9 volte la somma precedente.

Quanto vince in media per giocata?

• 1° 2 → 2 · 3.
• 2° 2 · 3 → 2 · 3 · 8.
• 3° 2 · 3 · 8 → 2 · 3 · 8 · 9 = 432 euro.

μg = ∛(432 / 2) = 6.

Media armonica

La media armonica di un insieme di numeri è un indicatore statistico che fornisce un particolare tipo di media, ed è per definizione il rapporto tra il numero di valori considerati e la somma tra i reciproci dei valori numerici. Può sembrare piuttosto astratta come definizione, perciò dimostriamolo matematicamente:

Dati i numeri x1, x2, …, xn la media armonica è definita per caratteri tutti positivi o tutti negativi (diversi da zero):

μa = N / ∑Ni=1 (1 / xi) = [1 / N ∑Ni=1 (1 / xi)]⁻¹.

La media armonica non viene comunemente usata negli studi statistici ma è di fondamentale importanza capirla, ad esempio si usa la media armonica in geometria, fisica e in ambienti scientifici e finanziari. Facciamo un esempio: abbiamo una strada di lunghezza 400km e vogliamo calcolare la velocità media su tutto il percorso con una velocità non costante in tutti i tratti ma 155 km = x.