Statistica - Regressioni, stimatori, teoria della stima

2) ESRE(X) = µ V(X) = σ₂

Teoria della stima

Siano X₁, ..., X_n n VC IID (quindi ECR). X_i ~ f(θ) - Ognuna delle quali è distribuita secondo una certa legge di probabilità generata da un certo parametro vett.

Se f è Bernoulli Θ = p
Poisson Θ = λ
Normale Θ = (µ, σ²)

Uno stimatore (h) è una funzione che mappa lo spazio dei campioni nello spazio dei parametri.

h : S → Θ̂

• Θ̂ ≡ [0, 1] se è Bernoulli
• Θ̂ ≡ R⁺ se la legge è Poisson
• Θ̂ ≡ R x R⁺ se la legge è Normale

Proprietà auspicabili per uno stimatore

1. Correttezza (– min distorsione)

Sia h₁ uno stimatore per Θ, h₁ è corretto se e solo se E(h(X₁, ..., X_n)) = Θ.

(Es. la media aritmetica è uno stimatore corretto della media)

2. Efficienza, MSE = E [(h(X₁, ..., X_n) - Θ)²]

Sono h₁ e h₂ stimatori per Θ. Se MSE(h₁) < MSE(h₂) allora h₁ è più efficiente di h₂, cioè la media si avvicina di più.

MSE(h) = V(h) m.b. h → h(X₁, ..., X_n)

B(h₁) ≡ E(h) = Θ, se h₁ è corretto. B(h) = 0 e MSE(h) = V(h).

MSE = med square error = errore quadrato medio.

2) ESRE(X_i) = μ V(X_i) = σ_i²

Teoria della stima

Siano X₁, ..., X_n n VC IID (quindi ECR). X̄ = f(θ) -> Dunque delle quali è distribuita secondo una certa legge di probabilità generata da un certo parametro vero.

Se f è Bernoulli -> Θ = π
Poisson -> Θ = λ
Normale -> Θ = (μ, σ²)

Uno stimatore (h) è una funzione che mappa lo spazio dei campioni nello spazio dei parametri.

h : S ->

• [0,1] se e solo se genera dati è Bernoulli
• R⁺ se la legge è Poisson
• R x IR⁺ se la legge è Normale

Proprietà auspicabili per uno stimatore

1. Correttezza (m.m. distorsione)

Sia h₁ uno stimatore per Θ, h₁ è corretto se e solo se E[h(X₁, ..., X_n)] = Θ.

(e) La media aritmetica è uno stimatore corretto della media.

2. Efficienza, MSE = E[(h(X₁, ..., X_n) - Θ)²]

Sono h₁ e h₂ stimatori per Θ. Se MSE(h₁) 2) allora h₁ è più efficiente di h₂, cioè la media si avvicina di più. MSE(h) = V(h) m.b. h -> (X₁, ..., X_n).

B(h) = E(h) - Θ se h è corretto B(h) = 0 e MSE(h) = V(h).

L.M.E.: minor squadrata mean = errore quadrato medio.

h(X₁, ..., X_n) stimatore è VC.

h(x₁, ..., x_n) lo stimatore è un numero.

Proprietà stimatore per n finito

1. Correttezza: Sia h stimatore per θ, h è corretto se (h) = θ.
2. Efficienza: Sia h stimatore per θ, definito MSE(h) = [(h-θ)²] = V(h) + B²(h), dove B(h) = (h) - θ, allora h₁ è più efficiente di h₂ se MSE(h₁) < MSE(h₂).

Proprietà asintotiche degli stimatori (n → ∞)

1. Correttezza asintotica: h stimatore per θ è asintoticamente corretto se (h) _n→∞ θ.

Es. (Ĉ) = ^n-1/_n σ² _n→∞ σ².

Consistenza: h è consistente (in media quadratica), MSE(h) _n→∞ 0.

Es. μ_̂n = x̄, (x̄) = μ, V(x̄) = σ²/n.

MSE(x̄) = V(x̄) = σ²/n _n→∞ 0.

Nota terminologica

Esercizio tipo

Un urna _{10 8 4 1 1 1} si effettuano 21 ECE.

P(0,6 < PS < 0,65) ?

Modifica ai dati. Abbiamo una moneta, opiniamo che è Bernoulli ma non sappiamo se è truccata o non = 5.

x = _{x1, x2, x3, x4, x5}

Tocco i 5 cambi e vedo x = _{1, 0, 0, 1, 1}, cosa posso dire di π?

Funzione di verosimiglianza del parametro

(L) likelihood.

L(η, x) = P(X = x ; η)

Se η = 0 inattendibile.
Se η = 0,1 verosimiglianza = 0,00081.
Se η = 0,6 la più verosimile di tutti.

η^{^} è l'argomento che rende massima la verosimiglianza di η alla luce dei dati x.

η^{^} = argmax _η L(η, x), η ∈ [0,1]

η^{^} = stima di massima verosimiglianza.

Il logaritmo è una funzione monotona, cioè passando al logaritmo di una funzione i massimi non cambiano.

L(η, x) = P(X = x)

l_η(η) = log L(η, x)

Se η^{^}, L(η^{^}, x) > L(η, x)   ∀x ≠ η^{^}   ⟹   l(η^{^}) > l(ɷ)

A06.

Guardiamo la L di π dato x

L(π, x) = π^x₁(1 - π)^{l - x₁} · π^x₂(1 - π)^{l - x₂} · ... · π^xₘ(1 - π)^{l - xₘ}

Dove x = (x₁, ..., xₘ).

Consideriamo l'esempio di prima:

L(π) = π³(1 - π)² nell'esempio.

l(π) = log [π^Σxᵢ] + log [(1 - π)^{m - Σxᵢ}]

log x_i + log (1 - π)^{m - Σxᵢ} = Σxᵢ log (π) + (m - Σxᵢ) log (1 - π)

La funzione di verosimiglianza misura la π dati i dati. La somma dei dati Σxᵢ è una costante cioè è nota.

d l(π) / d π = e'(π) = (Σxᵢ / π) + (m - Σxᵢ) / (1 - π) = Σxᵢ / π + (m - Σxᵢ) / (1 - π)

e'(π) = 0 ⟹ ((1 - π) Σxᵢ - π (m - Σxᵢ)) / (π (1 - π)) = 0

Σxᵢ - π Σxᵢ - πm + π Σxᵢ = 0

πm = Σxᵢ ⟹ Quindi il π che rende max la verosimiglianza è la regola:

π̂ = Σxᵢ / m = (1 + 0 + 0 + 1 + 1) / 5 = 3 / 5 = 0.6

E(π̂) = 1 / m E(Σxᵢ) = 1 / π E m π̂ = π̂.

È stimatore corretto (devi usare) _X.

È stima (se usiamo x).

N(p̂) = V(p̂), V(∑ x_i / m) = 1 / m² V(∑ x_i) = 1 / m² ∑ V(x_i) = -1 / m² np̂ (1-p̂) = n̂(1-n̂) / m.

m_{→ ∞} → 0.

Maggiore è il campione > più siamo vicini alla vera conoscenza.

Questo lo chiamiamo fatto per una Bernoulli; adesso tensioniamo per una V.C. qualsiasi.

Siano x₁, x₂, ..., x_m n VC IID. Sia x = (x₁, x₂, ..., x_n) la realizzazione di X, t.c. ogni x_i ~ L(Θ), Θ ∈ una certa fatta del modello.

Si definisce funzione di verosimiglianza (FdV) L(Θ x) = P(X = x, Θ).

Riesco minima giusto la verosimile di date tutte osservazioni campione = P(X₁ = x₁, Θ) P(X₂ = x₂, Θ) .... P(X_m = x_m, Θ)

= ℓ(X₁, Θ) ℓ(x₂, Θ) .... ℓ(x_m, Θ)

= ∏_i=1^m f(x_i, Θ)

ℓ(Θ x) ∝ ℓ(x_i, Θ)

Si definisce:

ℒ(Θ) = ∞ ℒ(Θ x) = ∞ _i=1^m f(x_i, Θ) = ∑_i=1^m log f(x_i, Θ)

Lo stimatore di massima verosimiglianza ﾈ la θ:

θ̂ = arg max L(θ, x) = arg max l(θ), θ ∈ Θ.

θ ﾈ costante.

Distribuzione di Poisson

Diamo x = (x_1, x_2, ..., x_m), x_i ∼ Poiss(λ).

x(x_1, x_2, ..., x_m) redistribuzione di x.

f(x_i, λ) = 1 / x₁ ! λ^x ⅇ^−λ

L(λ, x) = ∏_i=1^m 1 / xᵢ ! λ^x_i ⅇ^−λ = [∏_i=1^m 1 / xᵢ ! ] (λ^x_i ⅇ^−λ) . (1 / λ₁ λ₁^x_1ⅇ^−λ) ...

[m_i=1(1 / xᵢ !)] λ^(x₁ + x₂ + ...+xₘ) ⅇ^−λ ... (la consideriamo come una costante, non la riscriviamo)

= λ^(Σxᵢ) ⅇ^−m λ

ℓ(λ) = log λ^(Σxᵢ) ⅇ^−mλ = log λ^(Σxᵢ) + log ⅇ^−mλ

= Σx_i log λ − mλ (log ⅇ) = Σx_i log λ − m λ

ℓ'(λ) = Σxᵢ / λ − m = 0

=> Σxᵢ − λm = 0 Σxᵢ = λm

=> λ̂ = Σxᵢ / m è stimato, λ̂ = Σ (^xᵢ / _m) ﾈ stimatore corretto.

Є(λ̂) = Є (Σxᵢ / _Є) = 1 / m Σ Є(xᵢ) = 1 / m λx = λ.

V(λ̂) = V(Σxᵢ / m) = 1 / m² Σ V(xᵢ) = 1 / m² mλ = λ / m → _{m → ∞} 0.

λ ˆ è consistente.

Cose da sapere sulle proprietà degli stimatori di massima verosimiglianza

• E(θˆ) → θ m → ∞ E−invariante.
• V(θˆ) → col seno quantile chiamato I⁻¹(θ) m → ∞.
• È la varianza dello stimatore a parità di efficienza.
• Cioè la varianza più piccola che uno stimatore può assumere, per n abbastanza grande.
• θˆ ~ N(θ, I⁻¹(θ)).
• Gli stimatori di massima verosimiglianza sono invarianti alle trasformazioni monotone.
• g(θˆ) = g(θ).
• Es. nella σ²₁ mi interessa la sostituzione:
• Vθ² = θˆ.

λ = ¹⁄_ψ, λˆ = ¹⁄_ψˆ

d\ \ell (\mu, \sigma^2) = 0

d\ \ell (\mu, \sigma) = 0

Da sapere per l’esame

\[\hat{\mu} = \frac{1}{m} \sum_{i=1}^{m} x_i\]

\[\hat{\sigma} = \frac{1}{m} \sum_{i=1}^{m} (x_i - \hat{\mu})^2\]

\[\hat{\mu} = \frac{1}{m} \sum_{i=1}^{m} X_i\]

Stimatore.

\[E(\hat{\mu}) = E(\frac{1}{m} \sum_{i=1}^{m} x_i) = \frac{1}{m} \sum_{i=1}^{m} E(x_i)= \mu\]

\[V(\hat{\mu}) = V(\frac{1}{m} \sum_{i=1}^{m} x_i) = \frac{1}{m} \sum_{i=1}^{m} (x_i)= \frac{\sigma^2}{m}\]

\[E(\hat{\sigma}^2) = \frac{m-1}{m} \cdot \sigma^2\] -> la varianza calcolata sul campione non è uno stimatore corretto.

\[\sigma^2 = \frac{m}{m-1} \cdot \hat{\sigma}^2 = \frac{m}{m-1} \cdot \frac{1}{m} \sum_{i=1}^{m} (x_i - \hat{\mu})^2\]

\[\hat{\sigma}^2 = \frac{1}{m-1} \sum_{i=1}^{m} (x_i - \hat{\mu})^2\]

\[E(\hat{\sigma}^2) = E(\frac{m}{m-1} \cdot \sigma^2) = \frac{m}{m-1} \cdot \sigma^2\] abbiamo corretto lo stimatore lo abbiamo corretto.

La V(\hat{\sigma}^2) non è richiesta.

Passare da \sigma^2 a \hat{\sigma}^2 vuol dire ricampella.