Appunti di Inferenza statistica e teoria dell'Informazione

Dispense di

Inferenza statistica e

teoria dell’informazione Emanuele Izzo, 0307385

Corso di laurea magistrale Informatica

Università Tor Vergata, Facoltà di Scienze MM.FF.NN.

30/03/2022

Documento realizzato in L T X

A E

Indice

I Inferenza statistica 4

1 Introduzione 5

1.1 Il problema del compleanno . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2 L’inclusione-esclusione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.3 Il problema degli ombrelli . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 Elementi di probabilità 8

2.1 La teoria degli insiemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 Le basi della teoria della probabilità . . . . . . . . . . . . . . . . . . . . . . 9

2.3 La probabilità condizionata e l’indipendenza . . . . . . . . . . . . . . . . . 12

2.3.1 Regola di Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.4 Le variabili aleatorie e le funzioni di distribuzione . . . . . . . . . . . . . . 14

2.4.1 Variabili aleatorie continue e discrete . . . . . . . . . . . . . . . . . 14

2.4.2 Variabili aleatorie identicamente distribuite . . . . . . . . . . . . . . 14

2.5 Le funzioni di densità e di massa . . . . . . . . . . . . . . . . . . . . . . . 15

2.5.1 Funzione di massa . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.5.2 Funzione di densità . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3 Trasformazioni e valori attesi 16

3.1 Distribuzioni di una funzione di una variabile aleatoria . . . . . . . . . . . 16

3.2 I valori attesi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.3 I momenti e la funzione generatrice dei momenti . . . . . . . . . . . . . . . 19

4 Famiglie comuni di distribuzioni 21

4.1 Le distribuzioni discrete . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.1.1 Distribuzione uniforme . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.1.2 Distribuzione ipergeometrica . . . . . . . . . . . . . . . . . . . . . . 22

4.1.3 Distribuzione binomiale . . . . . . . . . . . . . . . . . . . . . . . . 23

4.1.4 Distribuzione di Poisson . . . . . . . . . . . . . . . . . . . . . . . . 25

4.1.5 Distribuzione binomiale negativa . . . . . . . . . . . . . . . . . . . 27

4.1.6 Distribuzione geometrica . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2 Le distribuzioni continue . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.2.1 Distribuzione uniforme . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.2.2 Distribuzione Gamma . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.2.3 Distribuzione normale . . . . . . . . . . . . . . . . . . . . . . . . . 34

5 Varaibili aleatorie multiple 36

5.1 Distribuzione multinomiale . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.2 Variabili mutualmente indipendenti . . . . . . . . . . . . . . . . . . . . . . 38

1

6 Proprietà di un campionamento casuale 40

6.1 Concetti base del campionamento aleatorio . . . . . . . . . . . . . . . . . . 40

6.2 Somma di variabili aleatorie da un campionamento aleatorio . . . . . . . . 40

6.3 Campionamento dalla distribuzione normale . . . . . . . . . . . . . . . . . 41

6.4 Concetti di convergenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

6.4.1 Convergenza di probabilità . . . . . . . . . . . . . . . . . . . . . . . 42

6.4.2 Convergenza di distribuzione . . . . . . . . . . . . . . . . . . . . . . 43

6.4.3 Metodo Delta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

7 Principi di riduzione dei dati 47

7.1 Il principio di sufficienza . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

7.1.1 Statistica sufficiente . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

7.1.2 Statistica sufficiente minima . . . . . . . . . . . . . . . . . . . . . . 49

8 Stima dei punti 50

8.1 Metodi per trovare stimatori . . . . . . . . . . . . . . . . . . . . . . . . . . 50

8.1.1 Metodo dei momenti . . . . . . . . . . . . . . . . . . . . . . . . . . 50

8.1.2 Stimatori di massima verosimiglianza . . . . . . . . . . . . . . . . . 51

8.2 Metodi di valutazione degli stimatori . . . . . . . . . . . . . . . . . . . . . 53

8.2.1 Errore quadratico medio . . . . . . . . . . . . . . . . . . . . . . . . 53

8.2.2 Ottimi stimatori imparziali . . . . . . . . . . . . . . . . . . . . . . . 53

8.2.3 Disuguaglianza di Cramér-Rao . . . . . . . . . . . . . . . . . . . . . 54

8.2.4 Informazione di Fisher . . . . . . . . . . . . . . . . . . . . . . . . . 56

8.3 Sufficienza e imparzialità . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

9 Verifica delle ipotesi 59

9.1 Metodi di ricerca dei test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

9.1.1 Test del rapporto di verosimiglianza . . . . . . . . . . . . . . . . . . 60

9.2 Metodi per vatutare test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

9.2.1 Probabilità d’errore e la power function . . . . . . . . . . . . . . . . 61

9.3 Metodi per verificare test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

9.3.1 Test chi quadrato di adattamento (o test chi quadrato di Pearson) . 63

9.3.2 Test chi quadrato di indipendenza . . . . . . . . . . . . . . . . . . . 65

10 Stima degli intervalli 68

10.1 Metodi per trovare intervalli di confidenza . . . . . . . . . . . . . . . . . . 70

10.1.1 Invertire la statistica di un test . . . . . . . . . . . . . . . . . . . . 70

10.1.2 Quantità cardine . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

11 Valutazioni asintotiche 72

11.1 Stima di un punto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

11.2 Efficienza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

II Esercizi 76

A Esercizi sui campioni e sulle stime 77

A.1 Composizione genetica di una popolazione . . . . . . . . . . . . . . . . . . 77

A.2 Stimatore per una distribuzione multinomiale . . . . . . . . . . . . . . . . 78

2

A.3 Ipotesi su variabili aleatorie Bernoulliane . . . . . . . . . . . . . . . . . . . 80

A.4 Grado di confidenza di un’intervallo di confidenza . . . . . . . . . . . . . . 81

A.5 Lancio di una moneta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

A.6 Analisi sull’età dei clienti . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

3

Parte I

Inferenza statistica

4

Capitolo 1

Introduzione

L’inferenza statistica (o statistica inferenziale) è il procedimento per cui si in-

ducono le caratteristiche di una popolazione dall’osservazione di una parte di essa (detta

campione), selezionata solitamente mediante un esperimento casuale (aleatorio). Si con-

sidereranno principalmente campioni casuali semplici di dimensione n > 1, che possono

venire interpretati come n realizzazioni indipendenti di un esperimento di base, nelle me-

desime condizioni. Dal momento che si considera un esperimento casuale, si coinvolge il

calcolo delle probabilità. Nell’inferenza statistica c’è, in un certo senso, un rovesciamento

di punto di vista rispetto al calcolo delle probabilità. Nell’ambito di quest’ultimo, noto

il processo di generazione dei dati sperimentali (modello probabilistico) siamo in grado di

valutare la probabilità dei diversi possibili risultati di un esperimento. Nella statistica il

processo di generazione dei dati sperimentali non è noto in modo completo (il processo in

questione è, in definitiva, l’oggetto di indagine) e le tecniche statistiche si prefiggono di

indurre le caratteristiche di tale processo sulla base dell’osservazione dei dati sperimentali

da esso generati.

1.1 Il problema del compleanno

Il problema del compleanno è formalizzato come segue: sono presenti k persone

all’interno di una stanza, quale è la probabilità che almeno due persone compiano gli anni

nello stesso giorno? Per rispondere a questa domanda risulta più semplice calcolare la

probabilità che nessuna delle k persone compia gli anni nello stesso giorno.

E := ”i persone compiono gli anni lo stesso giorno”

− −

364 365 (k 1) i

365 k−1

· · · −

... = Π (1 )

P (E = 0) = i=0

365 365 365 365

i

k−1

≥ − − −

P (E 1) = 1 P (E = 0) = 1 Π (1 )

i=0 365

Questo prodotto è incredibilmente difficile da calcolare. È possibile però approssimarlo:

∼

−x −

usando l’approssimazione e 1 x, possiamo riscrivere il prodotto sopra in un’altra

= 5

forma. i i

∼ −

k−1 k−1

−

P (E = 0) = Π ) Π =

(1 e

= 365

i=0 i=0

365 k−1 i

P

−

= e =

i=0 365

k−1

1 P

− i

= e =

i=0

365 k(k−1)

1 ·

− =

= e 365 2

k(k−1)

−

= e 730

k(k−1)

−

≥ −

Da cui abbiamo che P (E 1) = 1 e . Possiamo fare alcune osservazioni dal valore

730

appena calcolato: 1 ∼

ˆ ⇒

≥ k 23, ossia se sono presenti circa 23 persone, la probabilità che

P (E 1) = =

2

almeno due persone compino gli anni lo stesso giorno è del 50%.

19 ∼

ˆ ≥ ⇒

P (E 1) = k 48, ossia se sono presenti circa 48 persone, la probabilità

=

20

che almeno due persone compino gli anni lo stesso giorno è del 95%.

1.2 L’inclusione-esclusione

L’inclusione-esclusione è la generalizzazione della probabilità dell’unione di due

eventi; la formula generale è definibile come segue: la somma delle probabilità dei singoli

eventi meno la probabilità di tutte le possibili intersezioni a due degli insiemi più la

probabilità di tutte le possibili intersezioni a tre degli insiemi, e cosı̀ via, fino a sommare

o sottrarre la probabilità dell’intersezione tra tutti gli eventi. Esiste una dimostrazione

interessante per la formula di inclusione-esclusione: partiamo dal definire una varaibile

aleatoria indicatrice o unitaria per un certo evento A.

(

1 se A avviene

1 =

A 0 altrimenti

Un’osservazione importante è che la media di una variabile aleatoria unitaria di un evento

è uguale alla probabilità dell’evento, ossia ] = P (A). Possiamo inoltre notare alcune

E[1

A

cose riguardo queste variabili aleatorie unitarie:

−

1 = 1 1

C A

A

1 = 1 1

A∩B A B

1 = 1 + 1

A∪B A B

Possiamo sfruttare queste variabili aleatorie unitarie in combinazione con le leggi di De

Morgan: C

∪ ∪ ∪

P ((A A ... A ) ) =

1 2 n

− ∪ ∪ ∪

= 1 P (A A ... A ) =

1 2 n

C C C

∩ ∩ ∩

= P (A A ... A ) =

1 2 n

− − −

= 1 )(1 1 )...(1 1 ))

E((1 A A A

1 1 1

6

Essendo quest’ultimo però un prodotto tra quantità numeriche può essere espresso come:

− − −

)(1 1 )...(1 1 )] = (1 + 1 + ... + 1 )+

E[(1−1 E[1

A A A A A A

1 1 1 1 2 1 − ±

+ (1 1 + 1 1 + ... + 1 1 + 1 1 + ... + 1 1 ) ... 1 1 ...1 ]

A A A A A A A A A A A A A

n n n

1 2 1 3 1 2 3 n−1 1 2

Operando poi sulla media si ottiene la formula descritta prima.

1.3 Il problema degli ombrelli

Il problema degli ombrelli è formalizzato come segue: sono presenti n persone

all’interno di una stanza, ognuno con il proprio ombrello. Tutte le persone posano il

proprio ombrello all’interno di un portaombrelli; una volta posati tutti gli ombrelli nel

portaombrelli, ogni persona, una alla volta, prende uno degli ombrelli al suo interno ca-

sualmente. Quale è la probabilità che nessuno abbia preso il proprio ombrello? Questo

problema corrisponde, partendo da una sequenza iniziale di n elementi, alla probabilità di

scegliere una delle n! permutazioni possibili di essi e avere che un elemento abbia stessa

posizione nella permutazione e nella sequenza iniziale. Definiamo le variabili aleatorie

A := ”l’elemento k-esimo è k” e E := ”n elementi sono nella posizione corretta”, la pro-

k − ∪ ∪ ∪

babilità a cui siamo interessati è P (E = 0) = 1 P (A A ... A ). Poichè gli eventi

1 2 n

non sono indipendenti, è necessario utilizzare la formula di inclusione-esclusione; una co-

sa interessante che si può appuntare è che le intersezioni sono interpretabili come ”1 o

≥

più elementi sono al punto giusto” (ossia E 1) e le relative probabilità sono facili da

calcolare data la struttura delle permutazioni: la probabilità che k sugli n elementi siano

nella posizione giusta corrisponde a fissare una delle possibili combinazioni di k elementi

−

e permutare i restanti n k, e la probabilità di ciò è pari a :

−

− n! 1

(n k)!

n (n k)! = =

P (E = k) = −

n! k! (n k! ) n! k!

k

Pertanto la probabilità che a noi interessa, considerando i segni delle varie intersezioni,

sarà uguale a: n n n

1 1 ∼

X X X −1

i−1 i−1 i

− −

P (E = 0) = 1 (−1) P (E = i) = 1 ( (−1) )= (−1) e

=

i! i!

i=1 i=1 i=0

Possiamo notare pertanto che la probabilità che ci interessa si avvicina, con n crescente,

1

∼

−1

molto rapidamente a e = 3 7

Capitolo 2

Elementi di probabilità

2.1 La teoria degli insiemi

Definizione: L’insieme S di tutti i possibili risultati di un particolare esperimento

è chiamto lo spazio campionario dell’esperimento. Un evento è una qualsiasi

collezione di possibili risultati di un esperimento, ossia un qualsiasi sottoinsieme di

S (incluso S stesso).

Sia A un evento, ossia un sottoinsieme di S. Diciamo che l’evento A avviene se il

risultato dell’esperimento è contenuto nell’insieme A. Definito un secondo evento B,

possiamo definire le seguenti relazioni e operazioni:

ˆ ⊂ ⇔ ∈ ⇒ ∈

Contenimento: A B [x A x B].

ˆ ⇔ ⊂ ⊂

Uguaglianza: A = B A B e B A.

ˆ ∪ {x|x ∈ ∈

Unione: A B := A o x B}.

ˆ ∩ {x|x ∈ ∈

Intersetzione: A B := A e x B}.

ˆ C {x|x ∈

Complementare: A := / A}. 8 ∈

Teorema (2.1): Per qualsiasi tre eventi A, B, C S:

ˆ Commutatività: ∪ ∪

A B = B A

∩ ∩

A B = B A

ˆ Associatività: ∪ ∪ ∪ ∪

A (B C) = (A B) C

∩ ∩ ∩ ∩

A (B C) = (A B) C

ˆ Leggi distributive: ∩ ∪ ∩ ∪ ∩

A (B C) = (A B) (A C)

∪ ∩ ∪ ∩ ∪

A (B C) = (A B) (A C)

ˆ Leggi di De Morgan: C C C

∪ ∩

(A B) = A B

C C C

∩ ∪

(A B) = A B

∈

Definizione: Due eventi A, B S sono disgiunti (o mutualmente esclusivi) se

∩ ∅. ∈

A B = Gli eventi A , A , ..., A S sono disgiunti a due a due se per ogni

1 2 n

6 ∩ ∅.

i = j si ha che A A =

i j ni=1

∈ ∪

Definizione: Se A , A , ..., A S sono disgiunti a due a due e A = S, allora

1 2 n i

la collezione A , A , ..., A forma una partizione di S.

1 2 n

2.2 Le basi della teoria della probabilità

Definizione: Una collezione di sottoinsieme S è detta una σ-algebra, indicata

A,

con se soddisfa le seguenti tre probabilità:

A.

ˆ ∅ ∈ A, A.

ˆ C

∈ ∈

Se A allora A A,

ˆ ni=1

∈ ∪

Se A , A , ..., A allora A .

1 2 n i

9 A,

Definizione: Dato un spazio di probabilità S e una σ-algebra associata una

A

funzione di probabilità P è una funzione nei reali con dominio che soddisfa:

A.

ˆ ≥ ∈

P (A) 0 per tutti gli A

ˆ P (S) = 1. A

ˆ ni=1

ni=1 ∪

∈ P (A ).

A ) =

Se A , A , ..., A sono disgiunti a coppie, allora P (∪ i

i

1 2 n

Le tre proprietà date nella definizione sopra sono di solito chiamate assiomi di pro-

babilità. Le definizioni assiomatiche non fanno alcun tentativo nel dire quale particolare

funzione P bisogna scegliere. A

{s }

Teorema (2.2): Sia S = , s , ..., s un insieme finito. Sia una σ-algebra dei

1 2 n

sottoinsiemi di S. Sia p , p , ..., p numeri non negativi che sommano a 1. Per ogni

1 2 n

∈

A S, P (A) è definita come: X p

P (A) = i

∈A

i:s i X

A, ≥

∈ p 0,

Teorema (2.2): Poniamo che S sia finito. Per ogni A P (A) = i

∈A

i:s i

≥

poiché ogni p 0. Pertanto l’assioma 1 è vero. Inoltre:

i n

X X

P (S) = p = p = 1

i i

∈S i=1

i:s i −

Pertanto l’assioma 2 è vero. Siano A , A 2, ..., A eventi disgiunti a coppie, allora:

1 k

k k

X X X

X

ki=1 p = P (A )

p =

P (∪ A ) =

i j j i

∈A i=1

i=1 j:s

ki=1

∈∪

j:s A j i

j i

E pertanto anche il terzo assioma è vero.

Il terzo assioma della definizione della funzione di probabilità, detto assioma di addi-

tività numerabile, è sostituibile con un assioma equivalente, ossia assioma dell’additività

A A

∈ ∈

finita: se A e B sono disgiunti, allora:

∪

P (A B) = P (A) + P (B)

10

Teorema (2.3): Se P è una funzione di probabilità e A è un qualsiasi insieme in

A, allora:

ˆ P (∅) = 0.

ˆ ≤

P (A) 1.

ˆ C −

P (A ) = 1 P (A). C

Teorema (2.3): Gli insiemi A e A formano una partizione dello spazio di

C

∪

campionamento, ossia S = A A . Pertanto:

C

∪

P (A A ) = P (S) = 1

C

Inoltre, A e A sono disgiunti, e pertanto:

C C

∪

P (A A ) = P (A) + P (A )

Da cui abbiamo che: C C

→ −

1 = P (A) + P (A ) P (A ) = 1 P (A)

C ≥

Dimostrando il terzo assioma. Siccome P (A ) 0, il secondo assioma è verificato

∪ ∅,

tramite il terzo. Per dimostrare il primo assioma, basta porre S = S e siccome

∅

S e sono disgiunti, abbiamo che¿ ∪ ∅)

1 = P (S) = P (S = P (S) + p(∅)

E pertanto