Appunti completi di Statistica

Statistica 9 CFU - Prof. Silvia Montagna

L’analisi statistica è l’insieme delle tecniche che hanno come scopo la conoscenza quantitativa dei fenomeni collettivi, ovvero la popolazione all’interno di un determinato contesto (esperimento). Tali fenomeni sono studiati attraverso l’osservazione di un insieme di manifestazioni individuali.

1) Come si possono sintetizzare grandi masse di dati o estrarre da un insieme apparentemente caotico di dati le informazioni davvero interessanti e utili a prendere decisioni?

2) Con quali motivazioni si possono generalizzare risultati che provengono dall’analisi di un gruppo relativamente piccolo al collettivo molto più grande da cui gli elementi che ho osservato sono stati estratti? O a collettivi in qualche modo analoghi lontani nel tempo e nello spazio?

Statistica descrittiva e inferenza statistica

Statistica descrittiva (sintesi)

Permette di effettuare una sintesi dei dati, tramite tabelle e grafici, per dare un'idea generale dei dati ottenuti di un fenomeno che si è manifestato nel collettivo osservato.

Inferenza statistica (induzione)

Si estrapolano i risultati ottenuti sul campione, controllandone l’attendibilità e generalizzando sull'intera popolazione. L’obiettivo è di tipo conoscitivo, riguardo all’intera popolazione.

Esistono diverse tipologie di collettivo, tra cui quello:

• Empirico → tutte le unità sono effettivamente osservabili. Ex. insieme delle autovetture che una fabbrica è in grado di produrre.
• Teorico → le unità non sono tutte osservabili, spesso un collettivo teorico è composto da infinite unità → fenomeni osservabili nel dominio del tempo o dello spazio (si possono osservare in un qualsiasi istante di tempo, e questi istanti sono infiniti).

Rilevazione dei fenomeni statistici

Studio sperimentale

Utilizzato per indagare le determinanti di un fenomeno di interesse, basato su ipotesi di lavoro (congetture su un fenomeno, enunciati espressi talvolta in termini matematici). Il controllo su tali sperimentazioni può essere:

• Diretto → per i fattori sperimentali, ovvero le condizioni sotto le quali si svolge l’esperimento e per i fattori di stratificazione, che riguardano caratteristiche delle unità statistiche che sono rilevanti allo studio del fenomeno.
• Indiretto → per i fattori inosservati, tramite randomizzazione.

Metodo molto utilizzato in medicina (ex. testare farmaco), fisica, neuroscienze. Lo studio del fenomeno è pianificato nella maniera più specifica e dettagliata.

Studio osservazionale

È utilizzato per le indagini di mercato, sondaggi, etc. e non si ha la possibilità di controllare i fattori sperimentali e spesso nemmeno quelli di stratificazione.

Fra gli studi osservazionali più comuni abbiamo le indagini statistiche:

• Insieme di tecniche per l’acquisizione di informazioni riguardanti la manifestazione di un fenomeno su una data popolazione.
• È un insieme di unità elementari su cui si manifesta il fenomeno oggetto di studio.

Si può suddividere in indagine totale (o censuaria), rilevando i caratteri di interesse su tutte le unità della popolazione, o campionaria, limitandosi ad un sottoinsieme della popolazione, ovvero un campione.

Strumenti di raccolta dati

• Intervista → consiste nel rivolgere alcune domande alle unità che compongono la popolazione di interesse e nel registrare le risposte a tali domande.
• Questionario → modello che contiene le domande da porre all’intervistato, quindi è lo strumento per realizzare l’intervista.

Unità statistica, collettivo, carattere, modalità

Ogni riga della tabella corrisponde ad un individuo del quale sono state rilevate alcune caratteristiche:

• Nome (è una caratteristica che identifica univocamente l’individuo).
• Età, sesso, titolo di studio, peso, punteggio esercizi, sono tutte caratteristiche chiamate caratteri.
• In corrispondenza di ogni unità statistica si leggono i valori dei caratteri misurati, chiamati modalità.

Attraverso una rilevazione statistica, si ottiene una matrice di dati, ossia una tabella di n righe e p colonne.

• Ogni riga rappresenta un’unità statistica, ossia l’elemento base del collettivo su cui si effettua la rilevazione.
• Ogni colonna rappresenta un carattere, ossia uno dei fenomeni oggetto di studio che abbiamo misurato sulle unità della popolazione.

Si definisce unità statistica l’unità elementare su cui vengono osservati i caratteri oggetto di studio.

Si definisce collettivo un insieme di unità statistiche.

Il processo di rilevazione consiste nel misurare, per ogni unità statistica, uno o più caratteri (o fenomeni) di interesse. Un carattere può assumere modalità differenti in corrispondenza delle diverse unità statistiche del collettivo.

Proprietà delle modalità:

• Esaustive → rappresentazione di tutti i modi di manifestarsi del carattere.
• Non sovrapposte → ogni unità può manifestare una sola modalità.

Caratteri statistici

Distribuzioni statistiche

Distribuzione unitaria semplice → sequenza non ordinata delle modalità { ; ; ...; ; ... } osservate nel carattere X per ognuna delle unità statistiche (definita anche come protocollo elementare), e si indica sinteticamente con { . ; } = 1, ...,

Ex (n = 7): Y = “Colore degli occhi” {nero, marrone, marrone, nero, azzurro, verde, marrone}

X = “Reddito mensile” (espresso in migliaia di euro) {0.7, 0.2, 1.6, 2.5, 3.2, 0.1, 3.8}

Operatore sommatoria → indica la somma di più termini, dove ognuno è composto da un pedice Σ che indica il proprio posto nella successione degli addendi ( è termine -esimo nella -esima posizione) ∑ = + +... + +... 1 2 = 1

Classificazione

L’operazione più semplice per organizzare l’informazione contenuta nei dati è la classificazione:

• Classificare = riunire le unità statistiche (es. persone, cose) in gruppi o classi.
• Si basa sul riconoscimento che alcune unità statistiche si rassomigliano secondo una o più caratteristiche, pur rimanendo per altri aspetti diverse.
• Considera un collettivo di individui raggruppati per sesso: gli individui dentro ogni gruppo saranno omogenei rispetto al carattere sesso ma indubbiamente saranno eterogenei rispetto a tanti altri caratteri non osservati.

Distribuzioni di frequenza

A partire dalla matrice dei dati si possono costruire:

• Classificazioni unidimensionali → un solo carattere (distribuzione di frequenza semplice).
• Classificazioni bidimensionali → due caratteri: tabelle a doppia entrata (distribuzione di frequenza doppia).
• Classificazioni multidimensionali → più di due caratteri (distribuzione di frequenza multipla).

La procedura di classificazione dà luogo ad una distribuzione di frequenza. Perciò, dato un carattere X, la distribuzione di frequenza si costruisce classificando le unità nelle diverse modalità di X.

Supponiamo che le n unità abbiamo manifestato k modalità diverse di X.

Frequenza assoluta: indica il numero di unità statistiche che presentano la modalità del carattere X.

La distribuzione unitaria descrive fedelmente le osservazioni ottenute nel collettivo, unità per unità, ma non consente di cogliere in maniera sintetica le caratteristiche dei caratteri presi in esame:

• Il calcolo della distribuzione di frequenza è un processo di sintesi che comporta perdita di informazione: ad esempio, non sappiamo più quali unità presentano una data modalità.
• La distribuzione unitaria consiste di valori (uno per ogni unità statistica), mentre nella distribuzione di frequenze abbiamo valori (uno per ogni diversa modalità del carattere).

Frequenza relativa: dove = 0 ≤ ≤ 1, ∑ = 1 = 1.

Frequenza percentuale: dove = · 100, 0 ≤ ≤ 100, ∑ = 100 = 1.

Le frequenze relative (e percentuali) sono utili per confrontare la distribuzione di un dato carattere X in due collettivi di numerosità distinta.

Collettivo 1

Collettivo 2

Suddivisione in classi

Per i caratteri quantitativi accade spesso (sempre per i continui) di osservare molti valori distinti, a volte di osservare n valori distinti (unità statistiche presentano valori diversi del carattere, come:

• Il settore economico di una data azienda può presentare centinaia di modalità diverse.
• Numero di accessi al sito www.unimore.it in un dato giorno può assumere modalità nell’insieme di numeri interi {0,1,2,3,...}
• L’altezza di un adulto può assumere modalità nell’insieme di numeri reali, ex. da 40 a 250 cm.

In questi casi, l’utilizzo di tabelle di frequenza contando le unità che hanno la stessa modalità non è pratico, ed è dunque efficace procedere ad una suddivisione in classi → operazione di suddivisione dell’insieme dei possibili valori in intervalli tra loro disgiunti.

( = escluso] = compreso

Con tale operazione il carattere quantitativo può essere visto come un carattere qualitativo (su scala ordinale). La suddivisione in classi comporta perdita di informazione ma garantisce una rappresentazione sintetica della distribuzione empirica osservata → bilanciare le esigenze.

Le classi devono essere esaustive, ovvero devono poter comprendere le modalità presentate dal carattere e disgiunte (o non sovrapposte), affinché ogni modalità del carattere possa essere assegnata ad una e una sola classe.

Dato un intervallo con estremi le modalità (estremo inferiore) e (estremo superiore): − 1 ha ampiezza uguale alla differenza tra i suoi estremi = − − 1

Classi di uguale/diversa ampiezza:

• Si preferisce ampiezza costante quando si studia la forma distributiva del fenomeno.
• Si preferisce ampiezza diversa quando ogni classe identifica un “tipo”.

Frequenze cumulate → dato un carattere X con k modalità, , ..., ordinate in senso 1 2 crescente, si indica con:

• → frequenza assoluta cumulata = + +... + 1 2
• → frequenza relativa cumulata = + +... + 1 2
• → frequenza percentuale cumulata = + +... + 1 2

La distribuzione delle frequenze cumulate è definita solo per caratteri quantitativi e per caratteri qualitativi ordinabili. Si basa infatti sul concetto di ordinamento che non ha senso per i caratteri qualitativi sconnessi → risponde alla domanda: quante unità del collettivo hanno un valore al massimo uguale a ?

Caso Rainfall Nevada City dal 1873 al 1978

La distribuzione delle frequenze relative e percentuali cumulate è utile per la lettura del fenomeno:

• Nel 25% dei casi (anni) si hanno precipitazioni non superiori a 40 pollici (inferiori o uguali a 40 pollici); lo deduco dalla frequenza cumulata della classe (30, 40].
• Nel 60% dei casi si hanno precipitazioni fra 40 e 70 pollici; lo deduco dalla differenza delle frequenze cumulate per le classi (30, 40] e (60, 70]: 85.849 − 25.472 fa circa 60%.
• Precipitazioni superiori a 70 pollici solo nel 15% dei casi.

Rappresentazione grafica delle distribuzioni semplici

La rappresentazione sintetica della distribuzione di un carattere in un collettivo può avvenire anche attraverso dei grafici. Rispetto alle distribuzioni di frequenza, i grafici sono più chiari dei numeri, trovando maggiore applicazione in due fasi dell’analisi statistica:

• Nell’analisi preliminare dei dati rilevati (quando si cerca di capire cosa dicono i dati).
• Nella presentazione dei risultati (quando si cerca di comunicare cosa dicono i dati).

Grafici a barre

(caratteri qualitativi ordinabili)

L’ordine delle barre può corrispondere all’ordinamento delle modalità del carattere:

• Sull’asse delle ascisse abbiamo le modalità del carattere, su quello delle ordinate le frequenze (assolute, relative o percentuali).

Grafici a nastro

Serve per enfatizzare che l’ordine delle classi è irrilevante:

• A ciascuna modalità si associa un rettangolo avente base costante e larghezza proporzionale alla frequenza.
• Sull’asse delle ordinate ci sono le modalità del carattere, su quello delle ascisse le frequenze (assolute, relative o percentuali).

Poligonale di frequenze

Si ottiene unendo i punti centrali delle basi superiori dei rettangoli dell’istogramma:

• Consente sovrapposizione di più distribuzioni in uno stesso grafico (utile per confrontare due distribuzioni).

Diagrammi cartesiani

(scatter plot)

Sono utili per visualizzare le osservazioni di serie storiche (osservazioni raccolte lungo il tempo, es. prezzi di un bene).

• Tali punti possono essere connessi tra loro attraverso linee di congiunzione, in modo da percepire in maniera più efficace il trend globale di un determinato fenomeno.

Istogramma

(caratteri quantitativi continui, suddivisi in classi)

Gli istogrammi sono usati per plottare dei caratteri continui, i quali assumono valori nell’insieme dei numeri reali:

• Le barre non sono distanziate tra loro, perché il carattere è continuo.
• L’altezza è determinata da frequenze, e l’area è proporzionale alla frequenza relativa di quell’intervallo o di quella classe.
• Se le classi sono di ampiezza costante, l’altezza della barra associata alla classe è la frequenza relativa.
• Se le classi sono di ampiezza diversa, l’altezza della barra associata alla classe è calcolata come → densità di ℂ = frequenza.

Esempio classi di ampiezza costante

Esempio classi di ampiezza diversa

Media e varianza

I grafici possono essere accompagnati da determinati indici sintetici, fornendo aspetti essenziali sulle informazioni della distribuzione in esame. Ne si individuano tre famiglie principali:

• Indici di tendenza centrale.
• Indici di variabilità o dispersione.
• Indici di forma.

Tali indici consentono un confronto tra le caratteristiche di distribuzioni diverse → la sintesi numerica evidenzia gli aspetti principali di una distribuzione, tenendo conto che tutte le volte che si sintetizzano più dati con un solo valore, si perdono delle informazioni.

Valori medi

I valori medi sono strumenti di sintesi che descrivono l’ordine di grandezza del carattere nell’insieme delle unità osservate. A seconda del tipo di carattere, alcune operazioni possono diventare fattibili o meno (qualitativi). Nella famiglia delle medie si distinguono:

Medie analitiche → calcolate con operazioni algebriche sui valori del carattere (solo caratteri quantitativi).

Medie di posizione (i.e., moda, mediana, quantili) → determinate in base alla loro frequenza o alla posizione occupata nella graduatoria delle osservazioni individuali (mediana e quantili solo per caratteri quantitativi).