Esame Statistica: Teoria

Teoria statistica

Lorenzo Quaranta VR455934 8 giugno 2023

1 Definizioni

• Sia Θ un insieme detto insieme di parametri. Un modello statistico è una famiglia di spazi di probabilità A, ∈(Ω, ) θ ΘP θ.
• {(Ω, A, ∈Sia ) : θ Θ} modello statistico. Si dice campione una qualsiasi successione (X )Pθ n n≥1 di v.al reali definite su Ω e tc rispetto ad ogni probabilità sono indipendenti ed identicamente Pθ distribuite. Una sequenza (X ...X ) è detta campione di taglia n. Noi trattiamo soltanto i casi in cui le v.al1 n X sono discrete ( p(x, θ) densità) o assolutamente continue ( f (x, θ) densità )n.
• Chiamiamo statistica campionaria una qualunque successione di v.al reali della forman −→Y = h (X ...X ) h : R Rn n 1 n n Ogni Y è detta statistica campionaria basata su un campione di taglia nn.
• 1−→ ∈ L Sia h : Θ Una statistica campionaria (Y ) si dice stimatore corretto per h(θ) se YR. n n≥1 n ∀θ ∈e Θ ∀n(Y ) = h(θ)Eθ n dove è il valor medio rispetto aE Pθ θ.
• Consideriamo un modello statistico in cui gli elementi del campione hanno densità p(x, θ) che sia una funzione derivabile di θ. Si dice informazione di Fisher la quantità #" 2∂ log p(X , θ)I(θ) = E 1θ ∂θ.

1.1 Teorema

Assumiamo che p(x, θ) sia derivabile in θ. Sia inoltre Y = h (X ...X ) uno stimatore corretto pern n 1 n h(θ) basato su un campione di taglia n, e assumiamo che h(θ) sia derivabile in θ Allora ′ 2h (θ)≥V ar(Y ) V (θ) :=n n nI(θ) dove V (θ) è detta limite inferiore di Rao-Cramer.n

1.1.1 Definizione

Uno stimatore corretto per cui V ar(Y ) = V (θ) è detto stimatore efficiente.n n 1

DIM: # Teorema

Ci limitiamo a trattare il caso in cui le Y assumano valori in un sottoinsieme finito A di che nonR,n dipende da θ. ⇐⇒ ∈p(x, θ) > 0 x A

Ricordiamo che per ipotesi Y = h (X ...X ) è tc (Y ) = h(θ)En n 1 n θ n h(θ) = h (X ...X )Eθ n 1 n

X= h (x ...x )p(x , θ)...p(x , θ) somma finitan 1 n 1 n∈Ax ...x1 n n p(x , θ)...p(x , θ)∂ i nX X′ p(x , θ)= =⇒ h (θ) = h (x ...x ) in 1 n ∂θ p(x , θ)i∈A i=1x ...x1 n n ∂X X= h (x ...x ) log p(x , θ)p(x , θ)...p(x , θ)n 1 n i 1 n∂θ∈A i=1x ...x1 n n ∂h iX= log p(X , θ)h (X ...X )Eθ n 1 n i∂θi=1

Osserviamo che ∂∂ ih Xlog p(X , θ) = log p(x, θ)p(x, θ)E iθ ∂θ ∂θx ∂ p(x, θ)X ∂θ p(x, θ)= p(x, θ)x∂ ∂X= p(x, θ) = 1∂θ ∂θx=0

Da cui segue ) = 0.E(Vn

Riassumendo, abbiamo dimostrato che ′h (θ) = (Y , V ) = Cov (Y , V )Eθ n n θ n n ′ 2 2 ≤ − ≤=⇒ h (θ) = Cov (Y , V ) Cauchy Schwarz V ar (Y )V ar (V )n n θ n θ nθ ′ 2h (θ)≥=⇒ V ar (Y )θ n V ar (V )θ n

Basta verificare che V ar (V ) = nI(θ)θ n n ∂ X log p(X , θ) v.al i.i.d. v.al media 0V ar (V ) = V arθ n θ i∂θi=1∂ = nV ar log p(X , θ)θ 1∂θ" #2∂ = nE log p(X , θ)1θ ∂θ= nI(θ) Q.E.D. 2

1.1.2 Osservazione

Nell’ipotesi in cui vale il Thm precedente si ha #" 2∂−E p(X , θ)I(θ) = 1θ 2∂θ

Infatti: ∂2 p(x, θ)∂∂ ∂θlog p(x, θ) =2∂θ ∂θ p(x, θ)2 !∂ ∂p(x, θ) p(x, θ)∂2∂θ ∂θ= + p(x, θ) 2p(x, θ) ∂θ p (x, θ)22 !∂ p(x, θ) ∂2∂θ −= g(x, θ)p(x, θ) ∂θ2! ! " #∂2 log p(X , θ) 2∂∂ 12∂θ −log p(x, θ) = log p(X , θ)=⇒ EE θ 1θ 2∂θ p(X , θ) ∂θ1⇐⇒= I(θ) 0 + I(θ)

Dato che 2∂ 2 2p(x, θ) ∂ ∂X X2∂θ p(x, θ) = p(x, θ) = 1=0 Q.E.D.2 2p(x, θ ∂θ ∂θx x

1.1.3 Nota

{xIl Thm con il limite inferiore di Rao-Cramer non vale se il supporto di p(x, θ), cioè : p(x, θ) > 0} dipende da θ.

Sia Y una statistica campionaria che uso per stimare h(θ) ma che non sia necessariamente uno stimatorencorretto. La quantità che valuta ”la qualità” di Y come stimatore di h(θ) èn" #2 −e (θ) := Y h(θ) errore quadratico medioEn n

Si osservi che se Y è corretto, alloran e (θ) = V ar (Y )n θ n

E’ talvolta possibile trovare uno stimatore non corretto il cui errore quadratico medio sia minore di tutti gli stimatori corretti.

1.1.4 Definizione

A, −→Sia (Ω, ) un modello statistico, (X ) campione e h : Θ Consideriamo due statisticheP R.θ n n≥1≥ ≤campionarie (U )n 1 e (V ) , U = u (X ...X ) V = v (X ...X ) tc U V . Diciamo chen n n≥1 n n 1 n n n 1 n n n∈[U , V ] è un intervallo di confidenza per h(θ) di un livello di confidenza γ (0, 1) sen n ∀n ≥ ∀θ ≤ ≤ ≥1 (U h(θ) V ) γP θ n n3

2 Proprietà asintotiche

2.1 Definizione

Una statistica campionaria (Y ) si dice stimatore asintoticamente corretto per h(θ) sen n≥1 lim (Y ) = h(θ)Eθ nn→+∞

Si dice asintoticamente efficiente se ′ 2h (θ)lim nV ar (Y ) =θ n I(θ)n→+∞

2.2 Definizione

≤Due statistiche campionarie U , V , U V sono tali che [U , V ] è intervallo di confidenza asintoticon n n n n n∈per h(θ) con livello di confidenza γ (0, 1) se ≤ ≤ ≥lim (U h(θ) V ) γPθ n nn→+∞

2.3 Definizione

Una statistica campionaria (Y ) si dice stimatore consistente per h(θ) sen n≥1 ∀ε ∀θ |Y − ≥> 0 lim h(θ)| ε = 0Pθ nn→+∞

2.4 Definizione

Una statistica campionaria (Y ) si dice stimatore asintoticamente normale per h(θ) sen n≥1∀θ ∃σ(θ) ∀x ∈> 0 tc R !√−Y h(θ)n ≤lim n x = Φ(x) F dR nella normale standardPθ σ(θ)n→+∞

2σ (θ) si dice varianza asintotica dello stimatore.

2.4.1 Osservazione

Se uno stimatore è asintoticamente normale allora è anche consistente.

La normalità asintotica permette di determinare un intervallo di confidenza asintotico, nell’ipotesi in cui sup σ(θ) =: σ̄ < +∞θ≤ ∼ →Ricordando che Φ(x) := x) z N (0, 1) è una funzione (0, 1) invertibile.P(z R−1∈ −Se α (0, 1), poniamo z := Φ (1 α). Notiamo cheα −1 −≤ − ≤ ) = 1 αΦ(z ) = z ) = Φ Φ (1 α) per simmetria z αP(z P(|z|α α 2

Per la definizione di normalità asintotica √−Y h(θ) n ≤ −≤ n b = Φ(b) Φ(a)lim aPθ σ(θ)n→+∞−zPonendo a = e z otteniamoα α2 2 √−Y