Statistica - Sintesi completa del corso con esercizi svolti, Prof. De Stefano

STATISTICA

Prof. De Stefano (Units)

Riassunto completo degli argomenti del corso a.a. 2019/20 integrato con spiegazioni riguardanti i

capitoli 4, 5 , 6 del libro “Statistica per le scienze sociali, Agresti - Finlay” + esercizi svolti per ogni

argomento.

Modalità di esame:

L’esame è scritto e consiste in una sezione vero/falso su tutti gli argomenti del corso + 3/4

esercizi a risposta aperta. Ai fini del calcolo del voto finale può essere attribuito un bonus di

massimo 2 punti per lo svolgimento dei test in itinere svolti su moodle durante l’anno.

Programma:

Il corso è diviso in due parti:

Statistica descrittiva:

- Descrizione e sintesi dei dati: I dati, popolazione e unità statistiche, scale di misura delle

variabili

- Distribuzioni di frequenza: rappresentazione grafiche, tendenza centrale e di variabilità

- Analisi delle relazioni fra due variabili: distribuzioni di frequenza congiunta

- Analisi descrittiva bivariata: diagrammi di dispersione, covarianza e correlazione

Inferenza statistica:

- Cenni su calcolo delle probabilità: definizione e proprietà + teorema di Bayes

- Variabili aleatorie: approssimazioni e teorema del limite centrale

- Inferenza statistica: campionamento, il concetto di inferenza, stima per intervalli, verifica di

ipotesi

- Inferenza per le relazioni tra variabili: tabelle di contingenza e test di indipendenza,

regressione, interpretazione di un modello di regressione e dell’inferenza per i coefficienti 1

Indice

Introduzione: cos’è la statistica? 5

Statistica descrittiva 7

Terminologia elementare 7

Tipi di variabile 7

Matrice dati 8

Distribuzione statistica disaggregata 8

Densità di frequenza 9

Distribuzione condizionata 10

La frequenza relativa 11

La frequenza cumulata 11

Rappresentazioni grafiche delle distribuzioni di frequenza 12

Diagramma a torta (piechart) 12

Diagramma a barre 13

Istogramma 13

Indici di posizione 14

Moda 14

Mediana 14

Quantile 15

Distribuzione per classi 15

Metodo dell’interpolazione 16

Media aritmetica 16

Alcune proprietà 17

Media marginale e medie condizionate 18

La posizione della moda, media e mediana nella curva di frequenza 18

Indici di variabilità (o dispersione o variazione) 19

Boxplot (scatola con baffi) 19

Varianza 20

Distribuzione di frequenza per classi 21

Scomposizione della varianza 21

Deviazione standard (σ) 22

Devianza 22

Varianza campionaria corretta 22

Dati standardizzati 22 2

Variabili doppie 24

Distribuzione di frequenza 24

Tabella a doppia entrata 25

Istogrammi appaiati o affiancati 26

Boxplot appaiati o affiancati 26

Diagrammi a barre condizionati 27

Associazione tra variabili 27

Indici per misurare la dipendenza in distribuzione 28

Dipendenza in media 29

Diagramma di dispersione 29

Covarianza 30

Coefficiente di correlazione lineare 30

Inferenza statistica 33

Calcolo delle probabilità 33

Probabilità 33

Eventi: definizioni 33

Regole 33

Teorema delle probabilità totali 34

Teorema di Bayes 35

Variabile causale o aleatoria 36

Variabili aleatorie discrete (binomiale, bernoulliana, Poisson) 36

Media 36

Varianza 36

Scarto quadratico medio 36

Campionamento 37

Variabile aleatoria Bernoulliana 37

Variabile aleatoria binomiale 37

Coefficiente binomiale 38

Distribuzione di Poisson 40

Teorema del limite centrale 41

Valori della funzione di ripartizione 41

Variabili aleatorie continue 43

Distribuzione uniforme 43

Media e varianza per varianti aleatorie continue 44

Distribuzione normale 44 3

Inferenza e stima puntuale e intervallare (+ campionamento) 46

Stima puntuale 47

Stima intervallare 47

Intervallo di confidenza per la media 48

N grande o piccolo, varianza nota (Valore Z) 48

N piccolo, varianza non nota (T di Student) 49

Intervallo di confidenza per la proporzione 51

Verifica di ipotesi 52

Test Z 53

Test T di Student 54

P valore 54 4

Introduzione: cos’è la statistica?

Cos’è la statistica? raccogliere dati e trarre da essi informazioni.

La statistica è la scienza che si occupa di

I dati possono aiutare a capire i fenomeni, occorre però raccogliere i dati che servono, e farlo

bene; i dati vanno poi esaminati in modo da isolare e evidenziare le informazioni che si cercano.

stabilire quali dati

La statistica si occupa, a partire da una domanda su un fenomeno, di

possano essere usati per rispondere a quella domanda, e, se i dati non sono già disponibili,

come debbano essere raccolti.

Segue poi la fase in cui si analizzano i dati per estrarre le informazioni cercate.

Esempi di dati:

Dati da fonti amministrative: fonti raccolte attraverso attività che la pubblica amministrazione fa

indipendentemente dall’aspetto statistico.

questionario:

Raccolta dati attraverso un i partecipanti scelgono di rispondere.

Schematicamente le fasi di un’analisi statistica sono:

Formulare una domanda,

1. ovvero tradurre un’esigenza conoscitiva in un certo insieme di

individui in modo che sia suscettibile di una risposta in termini statistici;

Individuare o raccogliere i dati.

2. Specialmente con l’avvento di internet e dei social network

sono emersi moltissimi metodi per la raccolta, e per le aziende è molto semplice accedere a

determinate informazioni e dati degli utenti. E’ un ambito vasto, che va sotto il nome di

disegno sperimentale e campionamento; i fondamenti poggiano sul calcolo delle

probabilità; la migliore raccolta di dati possibile è quella fatta attraverso un questionario,

perché risponde direttamente a quello che coloro che svolgono l’indagine vogliono sapere in

particolare. Le indagini fatte dall’ISTAT ad esempio sono svolte attraverso un questionario

molto esteso e preciso.

Organizzare e guardare i dati,

3. dalla massa di dati così come sono al momento della raccolta

non è immediato estrarre le informazioni che servono, si possono però sintetizzare

opportunamente e/o rappresentarli graficamente, in funzione delle informazioni cercate; gli

STRUMENTI DI STATISTICA DESCRITTIVA ci consentono appunto di organizzare e

guardare i dati.

Modellare in base a una formula (specifica) un modello probabilistico

4. che possa spiegare

i dati osservati in base alle ipotesi fatte sul fenomeno, si stima il modello usando i dati. Il

modello potrà essere usato per confermare o smentire delle ipotesi fatte sul fenomeno e/o per

previsioni su future istanze. A partire dai dati osservati insomma si conferma o smentisce una

NON DETERMINISTICI,

previsione. Si formano modelli statistici probabilistici e ovvero c’è un

margine all’interno del quale la previsione si può avverare.

In generale, la popolazione è un collettivo di persone, oggetti…

sulla popolazione.

Non svolgiamo infatti indagini su individui, ma Chiamiamo i componenti della

unità statistiche.

popolazione

Una prima distinzione tra popolazioni è la numerosità: possono essere finite o infinite.

Esempio di popolazioni finite = comuni FVG, persone che hanno compiuto 18 anni fino a un

certo momento…

Esempio di popolazioni infinite = clienti di un negozio (senza specificare un periodo di tempo)

Se si specifica un limite temporale la popolazione è finita.

Si vogliono sapere i caratteri, ovvero le caratteristiche della popolazione. 5

Esempi di caratteri variabili da rilevare:

A. Abitudine al fumo, comportamento elettorale, colesterolo…

B. Reddito familiare, spesa per consumi, numero figli

C. Ammontare over 65, quota gettito comunale IMU

D. Spesa per acquisti, pagamento con carta, età…

La prima forma di raccolta dati si attua osservando tutti gli individui di una popolazione, ad

censimento.

esempio attraverso un

Problemi di un censimento:

individui difficili da localizzare

• popolazioni in movimento

• costo del censimento

•

Si ricorre più frequentemente ad un’analisi campionaria.

L’analisi campionaria consiste nel prendere solo una parte della popolazione. E’ fortemente

legata al concetto di inferenza statistica. Si generalizza poi all’intera popolazione quanto

osservato sul campione.

L’analisi esplorativa usa solo l’analisi descrittiva. Il campione deve essere rappresentativo

dell’intera popolazione. Literary Digest (settimanale

Esempio di campione non rappresentativo (indagine sbagliata):

statunitense pubblicato dal 1890 al 1938). Noto per il suo clamoroso fallimento nel prevedere le

elezioni presidenziali del 1936: contattò 10 milioni di persone e ne risposero 2,4 milioni. L’indagine

stabilì che avrebbero vinto i repubblicani (Landon) e che i democratici (Roosevelt) avrebbero avuto

solo il 43 per cento. In realtà Roosevelt vinse con il 62 per cento dei voti.

Il campione era enorme, ma il giornale contattò i suoi lettori, i possessori di automobili e gli utenti

telefonici, ovvero persone con un reddito di molto superiore alla media nazionale nel periodo della

grande depressione. Il gruppo era molto più probabilmente sostenitore dei repubblicani.

Il campione non era dunque rappresentativo dell’intera popolazione. 6

Statistica descrittiva

Un campione rappresentativo è un sottoinsieme della popolazione che ne riflette le

caratteristiche.

Ci permette di generalizzare le variabili rilevate sul campione sull’intera popolazione.

n= campione di n unità statistiche

Non tutti i sottoinsiemi di n hanno la caratteristica di essere rappresentativi.

casualità

E’ importante la nella scelta del campione.

Non si ottiene un campione rappresentativo scegliendo ad esempio solo persone che si

conoscono. La rappresentatività non migliora per forza quando un campione è molto grande.

Bisogna scegliere il campione in modo che ogni individuo della popolazione abbia la stessa

probabilità di essere estratto.

Una possibile soluzione è dividere popolazione in gruppi già contigui / vicini, ad esempio

scegliendo a caso 100 comuni e scegliendo in seguito, sempre a caso, 10 persone per comune.

Può porsi però un problema di costi e di praticità nello svolgimento dell’indagine: potremmo per

esempio avere solo 100 intervistatori a disposizione: in questo caso potremmo migliorare la

ricerca di unità statistiche attraverso un campionamento a più strati.

Indagine clinica o esperimento

E’ un’indagine statistica in cui un ricercatore assegna ad alcuni individui un trattamento e ad altri

no. Viene studiato il meccanismo di causalità.

Studio osservazionale

I soggetti vengono semplicemente osservati, senza intervenire su di essi (es. inalazione

involontaria di smog)

Terminologia elementare

Unità statistica = caso individuale componente del collettivo statistico

Carattere/ variabile = aspetto elementare che è oggetto di rilevazione

Modalità = modo in cui si presenta nelle unità

Supporto = insieme delle modalità di un carattere

Confondente = terza variabile non osservata

Carattere e variabile vengono usati come sinonimi.

Tipi di caratteri:

1. QUALITATIVI

Sconnessi o NOMINALI, categoriche/ categoriali.

A. non ordinabili. Sono detti anche variabili

B. Rettilinei o ORDINALI, ordinabili.

2. QUANTITATIVI

Discreti:

A. quantità distinte, le possibili modalità possono essere messe in relazione biunivoca

con l’insieme dei numeri naturali. (es. misurato in cm con il primo decimale)

Continui: infiniti

B. possono assumere valori, per esempio in un intervallo di numeri reali.

Tipi di variabile

Variabile intervallare o rapportabile:

Intervallare:

A. non ha uno 0 naturale (temperatura, 0 convenzionale)

Rapportabile:

B. c’è uno 0 naturale.

Dicotomica: variabile con due modalità possibili.

C. Ad esempio SI/NO o M/F. 7

Matrice dati

Una matrice dati è una tabella con le unità rappresentate nelle righe. Le colonne rappresentano le

variabili. Il nome degli intervistati non è una variabile, ma indica il nome attribuito all’unità

statistica. La tabella a doppia entrata NON è una matrice dati.

Esempio di una matrice dati:

STUDENTI Sanremo …. Ore di sonno Ore di studio

1 VISTO PIACIUTO …. 8 12

2 NON VISTO …. 7 6

3 NON VISTO …. 9 20

4 VISTO NON …. 6 14

PIACIUTO

Distribuzione statistica disaggregata

Si consideri un collettivo statistico di n unità, dove si sia osservata la variabile X. Si chiama

distribuzione statistica disaggregata secondo la variabile X l’insieme delle osservazioni

( rappresentate da numeri o da espressioni verbali a seconda della natura della variabile ) relative

alle n unità del collettivo (più semplicemente questi sono i cosiddetti dati grezzi ) .

x1 ,x2 ,...,xn

In simboli, la distribuzione disaggregata sarà indicata come dove x1 è l’osservazione

relativa all’unità identificata dal numero 1, x2 è l’osservazione relativa all’unità identificata dal

numero 2 e così via.

(La variabile in sé si indica con la X maiuscola, le sue modalità osservate sulle unità statistiche

con le x minuscole) I dati grezzi non consentono una facile visione d’insieme.

In breve, una distribuzione statistica disaggregata è l’insieme delle osservazioni relative alle

unità del collettivo. Si possono chiamare anche dati grezzi.

In simboli viene indicata con x1, x2……. (il numero indica la modalità della x osservata sul primo

E’ LA COLONNA DI UNA MATRICE DATI.

individuo).

distribuzione di frequenza assoluta

Una è una lista di modalità osservate di x accompagnata

dal numero di volte in cui queste vengono osservate, ossia accompagnata dalle rispettive

frequenze assolute. E’ facile da rilevare per variabili qualitative e quantitative discrete.

La somma delle frequenze assolute ci dà il numero totale delle unità. Osservando una

distribuzione con distribuzioni molto semplici, per esempio dicotomiche, è semplice fare delle

stesso numero di osservazione delle due unità la distribuzione

osservazioni. Se osserviamo lo

è uniforme. 8

Esempio: durata delle gravidanze.

DURATA FREQUENZA

GRAVIDANZA ASSOLUTA

34 1

35 3

36 3

37 2

38 5

39 7

40 3

41 3

42 5

Conviene ordinare per grandezza per avere subito un quadro generale.

Se le modalità sono molte conviene ripartirle per classi di modalità o intervalli. La ripartizione in

intervalli considera la variabile come se fosse continua. Gli intervalli possono avere differenti

lunghezze. Se le classi non sono equiampie (dunque non hanno la stessa ampiezza) si considera

densità di frequenza.

la

Densità di frequenza

Abbiamo dunque detto che si chiama distribuzione di frequenza assoluta la lista delle modalità

osservate di accompagnata dal numero di volte in cui queste vengono osservate, ossia

accompagnata dalle rispettive frequenze assolute.

E molto facile ottenere distribuzioni di frequenza assoluta per caratteri qualitativi e quantitativi

discreti. In presenza di caratteri quantitativi continui ( o anche discreti, se assumono tantissime

modalità) , abbiamo invece bisogno di qualche operazione preliminare per trattarli.

Mettiamo per esempio di dover considerare il peso alla nascita di un campione di bambini: in

questo caso è conveniente definire classi di modalità o intervalli contigui per effettuare poi il

conteggiare delle unità che appartengono a ciascuna classe. Possiamo decidere il numero e

l’ampiezza delle classi in base al caso specifico.

Se capita di costruire delle classi di lunghezza differenze è utile definire anche la densità di una

classe.

La densità di frequenza viene misurata dividendo la frequenza assoluta per la grandezza

della classe. 9

ESEMPIO PRATICO: DENSITÀ DI FREQUENZA

5 casi da 2400-2600,11 casi da 3200-3600.

Densità delle prime 3 classi = 5/200 = 0.025

• Densità della quarta = 6/200 = 0.030

• Densità dell’ultima = 11/400 = 0.075

•

La densità ci dice il numero atteso di unità statistiche per ogni unità di misura della variabile. Per

esempio nella prima classe ci aspettiamo di osservare 2,5 neonati per ogni 100 grammi di peso.

Le densità di frequenza non sono percentuali!

In generale, teniamo a mente che x è la variabile su cui si costruisce la distribuzione di

frequenza, e y è la variabile che definisce i gruppi.

Distribuzione condizionata

Sono distribuzioni condizionate le distribuzioni della durata della gravidanza e del peso alla

nascita per una fissata modalità della condizione rispetto al fumo ( non fumo / fumo ).

Se indichiamo in modo generico con X la variabile che stiamo studiando ( la durata della

gravidanza, per esempio ) e con Y il carattere tramite cui estraiamo le unità statistiche da

si dice variabile X

considerare nell’analisi ( la condizione rispetto al fumo, nel nostro caso ),

condizionata a Y = y e si indica X | Y = y la restrizione di X al sottoinsieme Y = y. 10

la distribuzione di X

La distribuzione della variabile X | Y = y viene normalmente detta

condizionata a Y = y o, la distribuzione di X dato Y = y.

equivalentemente, Si osservi che esiste

una distribuzione condizionata ( di X dato Y ) per ogni modalità di Y .

La distribuzione della variabile X senza distinzione per condizione rispetto a Y è detta

distribuzione marginale.

La frequenza relativa

Dividendo una frequenza assoluta per il numero totale di unità statistiche nel collettivo analizzato

( n nel nostro caso ) otteniamo le cosiddette frequenze relative o proporzioni , ovvero:

Le frequenze relative hanno il vantaggio ri