Appunti di Analisi dati

Analisi dati

Statistica

Statistica: insieme delle metodologie e strumenti finalizzati allo studio dei fenomeni collettivi; scienza che ci permette di analizzare la realtà esterna tramite dati, dai quali vengono estratte informazioni per generare conoscenza, che significa valorizzare i dati.

Inferenziale: valutare le caratteristiche di un fenomeno osservando solo una parte della popolazione (campione); descrive l’intera popolazione analizzandone un suo sottoinsieme.

Descrittiva: rappresentare, sintetizzare, interpretare i dati di uno o più fenomeni relativi ad una popolazione statistica.

Informazione ≠ Conoscenza → le informazioni sono insiemi di dati che opportunamente integrati e concatenati diventano conoscenza.

Popolazione statistica/Collettivo/Universo: insieme di entità elementari omogenee (accomunate) rispetto ad una determinata caratteristica o contesto. La “n” a pedice indica il numero di unità della popolazione.

I collettivi possono essere:

• Di stato o di movimento: sono individuabili solo se si fissa un preciso istante di tempo/individuabili in un periodo di tempo;
• Empirici o teorici: prevedono che tutte le unità sono/non sono effettivamente osservabili;
• Finiti o infiniti: prevedono un numero finito/infinito di unità statistiche.

Fenomeno collettivo: fenomeno che, per essere conosciuto nella sua interezza, necessita di una grande quantità di osservazioni elementari; rilevazione effettuata su un collettivo.

Unità statistica: entità elementare dell'insieme sulla quale vengono rilevati i dati riferiti a un determinato fenomeno, ossia su cui vengono osservati i caratteri.

Popolazione statistica: classe del corso P = { u } = { Anita, Candida, Giulio, …Roberto } 200 i

Carattere: è la caratteristica rilevata sulle unità statistiche di una popolazione ed è contraddistinta da due elementi: è un aspetto che descrive l'unità e tende a variare da unità ad unità.

La variabilità è una caratteristica fondamentale per la statistica, poiché essa analizza → soltanto le popolazioni le cui unità hanno caratteri che tendono a variare.

Modalità: l'insieme di tutte le K possibili espressioni distinte con cui il carattere può presentarsi su ciascuna u. Le modalità devono essere esaustive (rappresentare tutti i possibili modi di manifestarsi del carattere) e non sovrapposte (a ogni unità è associabile una sola modalità).

Riassumendo: la popolazione è un insieme di unità statistiche di cui vengono studiati i caratteri, che si presentano sotto forma di un insieme di modalità.

La statistica fa un’analisi: Su chi? Popolazione → Cosa? Carattere → Come si presenta? Modalità

Tipologie di caratteri

• Qualitativo (mutabile o variabile categoriale) = si manifesta con modalità che possono essere descritte da parole, qualità o attributi.

Sconnesso: non esiste una chiave di ordinamento oggettiva per le modalità, per cui una modalità non ha ragione di precederne un’altra.

Ordinato: esiste una chiave di ordinamento oggettiva, si può spiegare quale modalità logicamente segue o precede l'altra.

Rettilineo: l’ordine delle modalità ha un inizio e una fine.

Ciclico: ritornano su sé stessi (giorni della settimana, mesi dell’anno).

• Quantitativo (variabile): si manifesta con modalità che possono essere descritte da quantità, quindi attraverso i numeri.

Attenzione! Le quantità sono sempre espresse da numeri, ma non sempre i → numeri esprimono una quantità, possono esprimere anche anni o codici.

Continuo/teorico: l'insieme delle modalità assumibili dal carattere può essere messo in corrispondenza biunivoca con un insieme di numeri reali, quindi può assumere qualunque valore in qualunque intervallo.

Discreto: l'insieme delle modalità assumibili dal carattere può essere messo in corrispondenza biunivoca con un insieme di numeri interi, quindi può assumere soltanto determinati valori.

Attenzione! L’età in generale è un carattere continuo, l’età in anni compiuti → invece è un carattere discreto.

Un carattere quantitativo è trasferibile se un’unità statistica può cederlo tutto/in parte a un’altra unità.

La distinzione tra caratteri qualitativi e quantitativi viene ricalcata anche dalle scale, dei livelli di misura.

I caratteri qualitativi possono essere su:

• Scala nominale: conta il nome della modalità, quindi tramite esso si possono soltanto fare confronti di uguaglianza/disuguaglianza tra i nomi delle modalità (operazioni = e ≠).
• Scala ordinale: si può ricercare un ordine e quindi verificare precedenza/successione tra le modalità (operazioni < e >).

I caratteri quantitativi possono essere su:

• Scala di intervalli: lo zero è convenzionale, non indica assenza. Le operazioni concesse sono + e – perché non è possibile fare considerazioni come “è il doppio di”, ma si può unicamente calcolare il delta tra due modalità; se si considerano due temperature prima in gradi Celsius e dopo in gradi Fahrenheit, i numeri cambieranno, e se in gradi Celsius erano un numero il doppio dell’altro, in gradi F non saranno più il doppio, pertanto per essere univoci si calcola soltanto il delta tra i due.
• Scala di rapporti: lo zero non è convenzionale, è lo zero naturale e assoluto, indica assenza; è possibile fare rapporti tra modalità sia con + e – che con * e :. Se Anita ha sostenuto 2 esami e Roberto ne ha sostenuti 4, si può dire sia che Roberto ha sostenuto 2 esami in più di Anita (delta), che ne ha sostenuti il doppio di lei.

Variabili dicotomiche: variabili che ammettono solo due possibili modalità, di solito codificate con 0=assenza, 1=presenza, oppure anche il sesso con o M o F.

Dalle distribuzioni unitarie alle distribuzioni di frequenza

Distribuzione unitaria semplice: elencazione delle modalità osservate e rilevate, unità per unità, di un carattere del collettivo preso in esame.

Distribuzione unitaria multipla: fa riferimento a più caratteri.

L’età in anni compiuti è l’esempio di una D.U.S.

X = carattere

x = modalità su ogni unità u_i i x = primo carattere rilevato 1

La “i” si chiama indice di scorrimento o deponente, e indica la modalità assunta dalla i-esima unità statistica.

La distribuzione può essere ordinata, e per indicare che si ha una distribuzione ordinata si può utilizzare:

1. x inserire il deponente tra parentesi fa sì che x sia diverso da x. → (i) 1 (1)
2. x <= x dicitura che si scrive dopo la distribuzione. → i i+1

Si può notare che dei valori sono ripetuti più volte (si presenta più volte la stessa modalità): conviene passare a una distribuzione di frequenza.

Numerosità della K modalità j-esima distinte modalità.

x della D.U.S i = 1…n → i

x della D.F. j = 1…k → j

x e x rappresentano le modalità, i j

n rappresenta la frequenza j

Distribuzione di frequenza: rappresentazione sintetica delle modalità indicando il numero di volte che il carattere assume tale modalità; associa alle modalità che può assumere un carattere X il numero di volte che la modalità si presenta. In altre parole: insieme delle K coppie, x e n, dove x rappresenta la j-esima modalità di X e n il numero j j j j di volte che la j-esima modalità di X è stata osservata nel collettivo (per j=1...K).

Sommatoria delle frequenze della D.F. ← sommatoria delle modalità con ← ∑ = + ⋯ + = 1 1 le loro frequenze della D.F. =1 sommatoria delle modalità in D.U.S ← ∑ = + ⋯ + = 1 =1

I risultati delle ultime due sommatorie devono coincidere, poiché rappresentano il totale delle modalità rilevate; il totale “n” della prima sommatoria deve coincidere invece con il totale delle unità statistiche della popolazione.

Questo è un altro modo per rappresentare la distribuzione di frequenza.

Esempio.

In genere, si ordinano anche le distribuzioni di frequenza in base alla x, spostando chiaramente j l’intera coppia. Per la costruzione della rappresentazione delle distribuzioni di frequenza, i caratteri qualitativi (tutti) e i quantitativi discreti, prevedono l’elencazione delle varie modalità.

Le modalità dei caratteri quantitativi continui invece devono essere raggruppate in classi, per ovviare le diverse approssimazioni che si possono fare.

Tra le classi non ci sono “buchi” di valori essendo il carattere continuo, perciò in questo caso il 170 approssimato per eccesso finirà nella prima classe, invece il 170 approssimato per difetto finirà nella seconda classe. Se invece ci troviamo di fronte a intervalli aperti, il 160 sarà incluso nella classe, il 170 escluso.

Anche le modalità dei caratteri quantitativi discreti possono essere raggruppati in classi nel caso in cui vi sia un numero molto elevato di modalità da elencare, ma in questo caso tra una classe e l’altra vi sarà un buco di valori poiché il discreto non può assumere i valori che stanno in mezzo tra un numero intero e l’altro; le classi non saranno quindi contigue.

Ampiezza della classe

Le classi possono avere ampiezza costante (classi di ampiezza uniforme) oppure non costante (classi di ampiezza non uniforme). Ampiezza Frequenza assoluta Frequenza ridotta

Ampiezza a = L - l → j j j

Coincide pertanto con la differenza tra il limite superiore e inferiore della classe.

Tuttavia può succedere che due classi abbiano la stessa frequenza assoluta, ma due ampiezze diverse, e quando due classi hanno ampiezza diversa non sono fra esse confrontabili; per poterle confrontare è necessario calcolare la frequenza ridotta.

Frequenza ridotta/Densità di classe/Frequenza specifica = frequenza ridotta a una singola unità di classe, considerando quindi un sotto-intervallo; la frequenza assoluta viene in un certo senso “spalmata” su tutti i sotto-intervalli dell’ampiezza della classe. Tale frequenza indica quindi il numero medio di unità che afferiscono a un intervallo unitario.

In questo caso è evidente come entrambe le classi abbiano frequenza assoluta = 15 ma ampiezza diversa; considerando i sotto-intervalli (unità) si nota come la densità sia diversa tra le due classi, e adesso le due classi sono confrontabili perché riferite a una stessa ampiezza (un sotto-intervallo di uguale dimensione). Frequenza / ampiezza

Frequenza ridotta →

Valore centrale della classe

Si chiama x come le modalità perché si usa come j “escamotage” ipotizzare che tutti i 13 studenti tra 10 e 20 anni ne abbiano 15 di anni. Questo serve se dalla distribuzione di frequenza si volesse recuperare l’età di tutti gli studenti; non potendo fare ciò, si prende come escamotage il valore centrale.

Quindi è, in un certo senso, il valore rappresentativo della classe.

Costruzione delle classi nella distribuzione di frequenza

Prendendo come esempio la D.U.S. sul peso di 45 soggetti, i problemi operativi ai quali bisogna rispondere per costruire le classi sono:

• Quante classi?
• Quale ampiezza?
• Quale l? 1
• Quale L? k

Costruzione delle classi:

1. Ricerco il valore più piccolo e il più grande nella D.U.S. (43,2 e 98,2).
3. Scelgo il valore iniziale l della prima classe e il finale 1 dell’ultima classe L (40 e 100 ad esempio, così entrambi i k valori sono inclusi).
4. Scelgo l’ampiezza delle classi, preferibilmente che sia uniforme (in questo caso ampiezza c = 10).
5. Inserisco le frequenze, scegliendo da che lato chiudere le classi.

Ecco il risultato

Le classi devono essere:

• Disgiunte (l’unità deve finire o in una classe o in un’altra, non può essere in più classi contemporaneamente);
• La miglior combinazione di sintesi e precisione;
• Mai vuote o con frequenze troppo diverse o troppo piccole;
• Della stessa ampiezza o quasi.

La miglior combinazione tra sintesi e precisione è necessaria, perché con molte classi si ha più precisione ma si è meno sintetici, invece con poche classi si è più sintetici ma meno precisi; inoltre, con classi troppo ampie si perde precisione e anche il senso della ricerca per la quale sono state rilevate le modalità (cosa potrebbe rappresentarmi che 33 persone hanno un peso tra 40 e 80 kg? Qualcosa di poco di rilevante, se non niente).

Si deve pertanto essere il più sintetici possibile, ma anche precisi.

Frequenze relative e percentuali

Frequenza relativa = rapporto tra frequenza assoluta e totale delle frequenze.

Frequenza percentuale = frequenza relativa moltiplicata per 100, mostra com’è composto percentualmente il fenomeno in modo più chiaro rispetto ai numeri piccolissimi delle frequenze relative.

(Nelle distribuzioni di frequenza non ci saranno sia le relative, che le % e le ultime, cumulate, a seconda dei calcoli di sceglierà una sola frequenza).

Ad esempio:

La somma di tutte le frequenze relative deve essere pari a 1.

Calcoli: sposto la n del denominatore, in quanto costante, prima della Sigma; la sommatoria delle frequenze assolute è uguale ad n, quindi n/n = 1.

La somma di tutte le frequenze percentuali deve essere pari a 100.

Calcoli: come per la sommatoria precedente, si sposta 1/n costante e il 100 questa volta, e si ottiene la sommatoria delle frequenze assolute; rimane 100*(n/n) = 100*1 = 100.

Passando dalle frequenze assolute a quelle relative o percentuali, ci sono sia vantaggi che svantaggi:

• Svantaggio: si perde l’informazione della dimensione n della popolazione, visto che il totale non sarà più n ma 1 o 100.
• Vantaggio: possiamo effettuare confronti tra popolazioni di diversa dimensione (sia con f che con p). j j
• Vantaggio: abbiamo un quadro immediato di quanto pesano le frequenze di ogni modalità (o classe di modalità) rispetto al totale delle osservazioni (soprattutto con le frequenze percentuali).

Se si volessero confrontare queste due distribuzioni di frequenza assoluta non si potrebbe, perché le n sono diverse. Utilizzando una delle due frequenze, è evidente come i giovani frequentino molto di più il pub.

Frequenza cumulata = la frequenza cumulata è la somma delle frequenze assolute (o relative) dalla prima modalità fino alla j-esima, ossia dall’alto verso il basso. Se si fa dal basso sono retro-cumulate.

La j indica fino a quale frequenza assoluta scegliamo di calcolare la frequenza cumulata, per esempio se j=3:

La somma viene segnata di volta in volta.

La prima frequenza cumulata è uguale alla prima frequenza assoluta. → L’ultima frequenza cumulata è uguale al totale delle frequenze assolute → (totale delle unità statistiche).

La stessa cosa vale per le frequenze relative.

Ha senso calcolare la distribuzione delle frequenze cumulate solo se il carattere è qualitativo ordinabile oppure quantitativo, e serve a comprendere informazioni su somme di frequenze e valutare tali somme e le modalità che tali somme coinvolgono (ad esempio, F3 = 0,811 mostra che l’81% della popolazione ha <= 50 anni.

Non ha senso calcolare una frequenza cumulata sul carattere “Tipo di libro letto”. Permettono quindi di considerare la frequenza con cui si presentano modalità di ordine inferiore o uguale a una certa modalità.

Seriazioni e serie statistiche

= Una distribuzione statistica si definisce serie se le modalità del carattere analizzato sono qualitative si definisce seriazione se le modalità sono quantitative.

Seriazione Serie

Due serie che si incontrano spesso sono:

• Storica = si definisce storica una serie in cui le modalità rappresentano partizioni del tempo; le osservazioni sono quindi ordinate rispetto al tempo.
• Territoriale = si definisce territoriale una serie in cui le modalità rappresentano ambiti territoriali (partizioni del territorio, esempio le regioni dell’Italia).

Distribuzione di quantità = si definisce distribuzione di quantità una distribuzione in cui alle modalità di un carattere si fanno corrispondere le quantità di un fenomeno trasferibile.

Si definisce trasferibile un carattere che, almeno in linea teorica, può essere trasferito da un’unità all’altra (reddito o superficie).

Se si considera il carattere “Superficie totale” è evidente come i valori ad essa legati non siano frequenze, bensì le quantità di ettari di tutte le aziende che hanno una determinata superficie elencata nelle modalità. In questa distribuzione non è infatti possibile rintracciare quante volte x si presenta. j

Rapporti statistici

Si definisce rapporto statistico Q quella divisione istituita tra i valori di due fenomeni, di cui almeno uno abbia rilevanza statistica, per i quali sia possibile individuare eventuali legami logici.

Permettono di misurare, inte