Esame Statistica: Teoria

Teoria Statistica

Lorenzo Quaranta

VR455934

8 giugno 2023

1 Definizioni

• Sia Θ un insieme detto insieme di parametri. Un modello statistico è una famiglia di spazi di

probabilità A, ∈

(Ω, ) θ Θ

P θ

• {(Ω, A, ∈

Sia ) : θ Θ} modello statistico. Si dice campione una qualsiasi successione (X )

P

θ n n≥1

di v.al reali definite su Ω e tc rispetto ad ogni probabilità sono indipendenti ed identicamente

P

θ

distribuite.

Una sequenza (X ...X ) è detta campione di taglia n. Noi trattiamo soltanto i casi in cui le v.al

1 n

X sono discrete ( p(x, θ) densità) o assolutamente continue ( f (x, θ) densità )

n

• Chiamiamo statistica campionaria una qualunque successione di v.al reali della forma

n −→

Y = h (X ...X ) h : R R

n n 1 n n

Ogni Y è detta statistica campionaria basata su un campione di taglia n

n

• 1

−→ ∈ L

Sia h : Θ Una statistica campionaria (Y ) si dice stimatore corretto per h(θ) se Y

R. n n≥1 n

∀θ ∈

e Θ ∀n

(Y ) = h(θ)

E

θ n

dove è il valor medio rispetto a

E P

θ θ

• Consideriamo un modello statistico in cui gli elementi del campione hanno densità p(x, θ) che sia

una funzione derivabile di θ. Si dice informazione di Fisher la quantità

#

" 2

∂

log p(X , θ)

I(θ) = E 1

θ ∂θ

1.1 Teorema

Assumiamo che p(x, θ) sia derivabile in θ. Sia inoltre Y = h (X ...X ) uno stimatore corretto per

n n 1 n

h(θ) basato su un campione di taglia n, e assumiamo che h(θ) sia derivabile in θ Allora

′ 2

h (θ)

≥

V ar(Y ) V (θ) :=

n n nI(θ)

dove V (θ) è detta limite inferiore di Rao-Cramer.

n

1.1.1 Def

Uno stimatore corretto per cui V ar(Y ) = V (θ) è detto stimatore efficiente.

n n 1

DIM: # Teorema

Ci limitiamo a trattare il caso in cui le Y assumano valori in un sottoinsieme finito A di che non

R,

n

dipende da θ. ⇐⇒ ∈

p(x, θ) > 0 x A

Ricordiamo che per ipotesi Y = h (X ...X ) è tc (Y ) = h(θ)

E

n n 1 n θ n

h(θ) = h (X ...X )

E

θ n 1 n

X

= h (x ...x )p(x , θ)...p(x , θ) somma f inita

n 1 n 1 n

∈A

x ...x

1 n n p(x , θ)...p(x , θ)

∂ i n

X X

′ p(x , θ)

= =⇒ h (θ) = h (x ...x ) i

n 1 n ∂θ p(x , θ)

i

∈A i=1

x ...x

1 n n ∂

X X

= h (x ...x ) log p(x , θ)p(x , θ)...p(x , θ)

n 1 n i 1 n

∂θ

∈A i=1

x ...x

1 n n ∂

h i

X

= log p(X , θ)

h (X ...X )

E

θ n 1 n i

∂θ

i=1

Osserviamo che ∂

∂ i

h X

log p(X , θ) = log p(x, θ)p(x, θ)

E i

θ ∂θ ∂θ

x ∂ p(x, θ)

X ∂θ p(x, θ)

= p(x, θ)

x

∂ ∂

X

= p(x, θ) = 1

∂θ ∂θ

x

=0

da cui segue ) = 0.

E(V

n

Riassumendo, abbiamo dimostrato che

′

h (θ) = (Y , V ) = Cov (Y , V )

E

θ n n θ n n

′ 2 2 ≤ − ≤

=⇒ h (θ) = Cov (Y , V ) Cauchy Schwarz V ar (Y )V ar (V )

n n θ n θ n

θ ′ 2

h (θ)

≥

=⇒ V ar (Y )

θ n V ar (V )

θ n

Basta verificare che V ar (V ) = nI(θ)

θ n n ∂

X log p(X , θ) v.al i.i.d. v.al media 0

V ar (V ) = V ar

θ n θ i

∂θ

i=1

∂

= nV ar log p(X , θ)

θ 1

∂θ

" #

2

∂

= nE log p(X , θ)

1

θ ∂θ

= nI(θ) Q.E.D. 2

1.1.2 Oss

Nell’ipotesi in cui vale il Thm precedente si ha #

" 2

∂

−E p(X , θ)

I(θ) = 1

θ 2

∂θ

Infatti: ∂

2 p(x, θ)

∂

∂ ∂θ

log p(x, θ) =

2

∂θ ∂θ p(x, θ)

2 !

∂ ∂

p(x, θ) p(x, θ)

∂

2

∂θ ∂θ

= + p(x, θ) 2

p(x, θ) ∂θ p (x, θ)

2

2 !

∂ p(x, θ) ∂

2

∂θ −

= g(x, θ)

p(x, θ) ∂θ

2

! ! " #

∂

2 log p(X , θ) 2

∂

∂

1

2

∂θ −

log p(x, θ) = log p(X , θ)

=⇒ E

E θ 1

θ 2

∂θ p(X , θ) ∂θ

1

⇐⇒

= I(θ) 0 + I(θ)

dato che 2

∂ 2 2

p(x, θ) ∂ ∂

X X

2

∂θ p(x, θ) = p(x, θ) = 1=0 Q.E.D.

2 2

p(x, θ ∂θ ∂θ

x x

1.1.3 NOTA! {x

Il Thm con il limite inferiore di Rao-Cramer non vale se il supporto di p(x, θ), cioè : p(x, θ) > 0}

dipende da θ.

Sia Y una statistica campionaria che uso per stimare h(θ) ma che non sia necessariamente uno stimatore

n

corretto. La quantità che valuta ”la qualità” di Y come stimatore di h(θ) è

n

" #

2

−

e (θ) := Y h(θ) errore quadratico medio

E

n n

Si osservi che se Y è corretto, allora

n e (θ) = V ar (Y )

n θ n

E’ talvolta possibile trovare uno stimatore non corretto il cui errore quadratico medio sia minore di tutti

gli stimatori corretti.

1.1.4 Def

A, −→

Sia (Ω, ) un modello statistico, (X ) campione e h : Θ Consideriamo due statistiche

P R.

θ n n≥1

≥ ≤

campionarie (U )n 1 e (V ) , U = u (X ...X ) V = v (X ...X ) tc U V . Diciamo che

n n n≥1 n n 1 n n n 1 n n n

∈

[U , V ] è un intervallo di confidenza per h(θ) di un livello di confidenza γ (0, 1) se

n n ∀n ≥ ∀θ ≤ ≤ ≥

1 (U h(θ) V ) γ

P θ n n

3

2 Proprietà asintotiche

2.1 Def

Una statistica campionaria (Y ) si dice stimatore asintoticamente corretto per h(θ) se

n n≥1 lim (Y ) = h(θ)

E

θ n

n→+∞

Si dice asintoticamente efficiente se ′ 2

h (θ)

lim nV ar (Y ) =

θ n I(θ)

n→+∞

2.2 Def ≤

Due statistiche campionarie U , V , U V sono tali che [U , V ] è intervallo di confidenza asintotico

n n n n n n

∈

per h(θ) con livello di confidenza γ (0, 1) se ≤ ≤ ≥

lim (U h(θ) V ) γ

P

θ n n

n→+∞

2.3 Def

Una statistica campionaria (Y ) si dice stimatore consistente per h(θ) se

n n≥1

∀ε ∀θ |Y − ≥

> 0 lim h(θ)| ε = 0

P

θ n

n→+∞

2.4 Def

Una statistica campionaria (Y ) si dice stimatore asintoticamente normale per h(θ) se

n n≥1

∀θ ∃σ(θ) ∀x ∈

> 0 tc R !

√

−

Y h(θ)

n ≤

lim n x = Φ(x) F dR nella normale standard

P

θ σ(θ)

n→+∞

2

σ (θ) si dice varianza asintotica dello stimatore.

2.4.1 Oss

Se uno stimatore è asintoticamente normale allora è anche consistente.

La normalità asintotica permette di determinare un intervallo di confidenza asintotico, nell’ipotesi in

cui sup σ(θ) =: σ̄ < +∞

θ

≤ ∼ →

Ricordando che Φ(x) := x) z N (0, 1) è una funzione (0, 1) invertibile.

P(z R

−1

∈ −

Se α (0, 1), poniamo z := Φ (1 α). Notiamo che

α

−1 −

≤ − ≤ ) = 1 α

Φ(z ) = z ) = Φ Φ (1 α) per simmetria z α

P(z P(|z|

α α 2

Per la definizione di normalità asintotica √

−

Y h(θ)

n ≤ −

≤ n b = Φ(b) Φ(a)

lim a

P

θ σ(θ)

n→+∞

−z

Ponendo a = e z otteniamo

α α

2 2 √

−

Y