Appunti di Statistica 2

E[ E[

] ]

E[ ] = E [ ] = = = ( )

∑ ∑ ∑

,

=1 =1 =1

,

Essendo una realizzazione di la discrepanza tra e ( ) è la stessa che

, ,

,

corre tra una realizzazione x di X e il suo valore atteso E[X].

Scelta dei momenti: Esempio distribuzione esponenziale

− 1

1. Se X ~ Exp( ), con f(x; ) = quando x ≥ 0, e parametro > 0, ( ) = ,

θ

1

2 6 ,..

( ) = , ( ) =

2 3

2 3

θ θ

2. Osservato un n-campione x1,..., xn, possiamo calcolare tanti momenti

2 3

1 1

, …

campionari = , = =

∑ ∑

1, 2, ,

=1 =1

3. Un solo parametro da stimare, . Quindi, è sufficiente usare un solo momento.

1 1

Es. Usando il primo momento: = risulta =

θ

θ

1, 1, 1, 2

2

Usando il secondo momento: = risulta =

θ

2

2, 2,

θ 2,

Esempio: Stima di una distribuzione esponenziale

Osserviamo il seguente n-campione, con n = 10 (tempi di attesa misurati in secondi):

{6.68, 7.75, 10.49, 23.53, 8.35, 3.44, 21.54, 25.50, 9.96, 33.92}

, ,

Otteniamo come stima di : = 0.066 = 0.079 = 0.090

θ θ θ

1, 2, 3, 29

Figura: Cerchi blu sull’asse x sono i dati campionari. f(x; ) stima della densità

θ ,

esponenziale con momento e i= 1, 2, 3.

,

f(x; ) vera densità esponenziale di X con la quale sono stati generati i dati, ma non

nota allo statistico in applicazioni reali, con valore = 0.1.

Esempio: Stima dei parametri della distribuzione Pareto

1. Se X ~ Pareto(, k), con f(x; ) = quando x ≥ k > 0 e vettore di parametri =

+1

(, k) con 3 < < 4 (e parametro “shape” > 0), allora ( ) = ,

α−1

1

2 3

( ) = , ( ) =

α−2 α−3

2 3

2. Abbiamo già stimato i parametri uguagliando i primi due momenti, ovvero

2

= e =

−1 −2

1, 2, 2

3. Se uguagliamo, ad esempio, il secondo e terzo momento, ovvero = e

−2

2,

3

= e risolviamo numericamente il sistema per e k, avremo ( = 5.221,

−3

3,

= 2.123) un’altra stima dei parametri rispetto alla stima ottenuta

precedentemente uguagliando i primi due momenti.

Esempio, Stima di una distribuzione esponenziale: Osserviamo il seguente

n-campione con n= 10 (ricchezza di individui): {2.28, 2.91, 2.44, 2.21, 4.60, 2.02, 2.11, 2.33,

2.29, 2.87}. Otteniamo tre stime del vettore di parametri = (, k)

30

Figura: Cerchi blu sull’asse x sono i dati campionari. f(x; ) stima della densità

θ , ,

Pareto con momenti e , con i, j = 1, 2, 3. f(x; ) vera densità Pareto di X con la

, ,

quale sono stati generati i dati, ma non nota allo statistico in applicazioni reali, con

valore = (, k) = (4, 2).

- Quali momenti usare?

Il metodo dei momenti non indica quali momenti scegliere. Teoricamente, tutti i

momenti sono equivalenti (ammesso che esistano, ( ) < 1).

In pratica, si usano i momenti di ordine più basso, r = 1, 2, 3 ecc., secondo il numero di

parametri da stimare, dato che i momenti campionari di ordine alto tendono ad

essere instabili. Purtroppo, non esiste una regola teorica per determinare la scelta

dei momenti da usare per la stima: momenti diversi inducono stime diverse del

parametro . Questa limitazione teorica è il grande svantaggio del metodo dei

momenti.

Negli anni 1920, Mr. Fisher sviluppa una teoria statistica (la statistica come la

conosciamo oggi) per superare le limitazioni del metodo dei momenti: ad esempio

se X ha una distribuzione di Cauchy, X ~ Cauchy( ), i suoi momenti teorici non

esistono, ovvero ( ) = E[ ] = ∞, per r ≥ 1.

Esercizi

1. Sia X una V.A. con densità f(x; ) simmetrica intorno allo zero. Quali valori

hanno i momenti teorici dispari?

Suggerimento: Tutti i momenti teorici dispari (finiti) hanno lo stesso valore

( ) = ( ) = ( ) = ... Si pensi alla distribuzione normale standard.

1 3 5

2. Definizione: Il momento r-esimo (teorico) centrato è definito come

( ) = E[ ]. Si esprima ( ) in termini dei momenti ( ) e ( ).

( − []) 2 1

31

−

3. Data una V.A. esponenziale, X ~ Exp( ), con f(x; ) = , e parametro > 0,

si ricavi lo stimatore dei momenti di usando il quarto momento.

PARTE 8 (CAP. 4)

Metodo di Massima Verosimiglianza: Introduzione

Il metodo dei momenti ha varie limitazioni (non indica teoricamente quali momenti

scegliere, in alcuni casi non è applicabile, ecc.). Negli anni 1920, Mr. Fisher, studia

errori di misurazione nelle orbite dei pianeti e realizza che manca una teoria

statistica solida per studiare tali problemi. In particolare, sviluppa il metodo di

massima verosimiglianza, come alternativa al metodo dei momenti.

Esempio, Lancio di una moneta: La V.A. X descrive un fenomeno di interesse: l’esito

del lancio di una moneta con facce 0 e 1. Quindi, X è una V.A. di Bernoulli. Definiamo

l’esito X=1 “successo” e P(X=1)= p,

Lanceremo la moneta n volte, in modo indipendente, così da ottenere un

n-campione: X1,..., Xn. Il numero di successi nel n-campione seguirà una distribuzione

binomiale, Bin(n, p). La probabilità di avere k successi su n lanci è

∑ ∼

=1

Per dato p, possiamo facilmente calcolare tale probabilità. Esempio: p=0.3, n=10, P (

= 5) = 0.103.

∑

=1 32

Figure: Distribuzione binomiale del numero di successi Bin(n, p) con n=10 e

∑ ∼

=1

p=0.3. Nota: Distribuzione binomiale è discreta, ovvero P ( = k) = 0 quando k non

∑

=1

è numero intero.

Esempio, Lanci di moneta e stima di p: Supponiamo ora che p non sia noto. Ovvero,

lo statistico non conosce la vera distribuzione della V.A. X nella popolazione. Assume

solo che X segua una distribuzione di Bernoulli con p= P(X=1) (non noto), ovvero

assume un modello parametrico per X. Una volta stimato p, sarà possibile ricostruire

la distribuzione di X. Osserviamo il seguente n-campione {x1,..., xn}, con n=10 e

numero di successi k=4: {0, 0, 0, 1, 0, 0, 1, 1, 0, 1}

- Come procedere per stimare p con il metodo di massima verosimiglianza?

Calcoliamo la probabilità di osservare proprio quel campione come funzione di p,

cosiddetta funzione di verosimiglianza

Figura: Funzione di

verosimiglianza della

distribuzione binomiale

con n-campione n=10 e

k=4.

Nota: Funzione di

verosimiglianza L(p) è

una funzione (continua)

di p.

Metodo di massima verosimiglianza (MV): massimizza la funzione di

verosimiglianza L(p) rispetto al parametro p, non noto e da stimare, per ottenere una

stima di tale parametro. In altri termini, massimizza rispetto al parametro da stimare

la probabilità di osservare il campione osservato.

Stima di massima verosimiglianza del parametro p è il valore di p sull’asse x che

massimizza la funzione di verosimiglianza L(p).

Massima verosimiglianza e lanci di moneta 33

Riprendiamo l’esempio dei lanci di moneta. Osservato un n-campione, n=10 lanci e

k=4 successi, la funzione di verosimiglianza è

Per ottenere la stima di MV di p si massimizza L(p) rispetto a p (0, 1). Quindi, solo

∈

una questione di calcolo. Una possibilità potrebbe essere massimizzare direttamente

L(p), ma tipicamente tale funzione non è molto trattabile. Altra possibilità è

massimizzare log L(p) rispetto a p. Poiché la funzione log è monotona crescente, non

altera il valore di p sull’asse x che massimizza L(p). La funzione log L(p) ha,

ovviamente, valori diversi rispetto a L(p), sull’asse y.

Figura: Funzione di log verosimiglianza della distribuzione binomiale con n-campione

n=10 lanci e k=4 successi.

Esempio, Lanci di moneta, funzione di log verosimiglianza: Per massimizzare log

L(p) rispetto a p:

1. Condizione di primo ordine: Calcoliamo la derivata prima di log L(p) e la

poniamo uguale a zero. Risolviamo tale equazione rispetto a p, ottenendo così

la stima di massima verosimiglianza di p.

2. Condizione di secondo ordine: Controlliamo di aver trovato un massimo

verificando che in quel punto la derivata seconda di log L(p) è negativa. 34

1 1

0=4 + (10-4) (-1) (condizione primo ordine)

1−

Risolviamo l’ultima equazione rispetto a p e otteniamo = 0.4.

Per interpretare la stima nell’esempio precedente, ripetiamo i calcoli per una

generica numerosità campionaria n e numero di successi k= osservati nel

∑

=1

campione (n=10 e k=4 nell’esempio precedente).

Funzione di log verosimiglianza e sua derivata prima:

−

−

0= (condizione di primo ordine)

1−

∑

=1

= = :

Risolviamo l’ultima equazione rispetto a p e otteniamo =

Quest’ultimo è lo stimatore di MV di p della distribuzione binomiale, Bin(n, p).

∑ ∼

=1

Esercizio, Verifica condizione di secondo ordine: Riassumiamo i dati dell’esempio: n

lanci di moneta con facce 0 e 1. Prima di osservare n-campione, il numero di

successi Bin(n, p). Dopo aver osservato n-campione, numero di successi k=

∑ ∼

=1

=

, e media campionaria .

∑

=1 2

−2 +

2

∂

1. Controllare che log L(p) = - 2 2

2

∂ (1−) 2

∂

2. Verificare la condizi