Statistica - Regressioni, stimatori, teoria della stima

2) ESR

E(X) = µ

V(X) = σ₂

TEORIA DELLA STIMA

Siano X₁,..., X_n n VC IID (quindi ECR)

X_i ~ f(θ) - Ognuna delle quali è distribuita secondo una certa legge di probabilità generata da un certo parametro vett.

Se f è

• BERNOULLI Θ = p
• POISSON Θ = λ
• NORMALE Θ = (µ, σ²)

Uno stimatore (h) è una funzione che mappa lo spazio dei campioni nello spazio dei parametri

h : S → Θ̂

1. Θ̂ ≡ [0, 1] se è BERNOULLI
2. Θ̂ ≡ R⁺ se la legge è POISSON
3. Θ̂ ≡ R x R⁺ se la legge è NORMALE

Proprietà auspicabili per uno stimatore

1. CONTEZZA (– min distorsione)

Sia h₁ uno stimatore per Θ, h₁ è corretto se e solo se

E(h(X₁,..., X_n)) = Θ

(es. la media aritmetica è uno stimatore corretto della media)

2. EFFICIENZA, MSE = E [(h(X₁,..., X_n) - Θ)²]

Sono h₁ e h₂ stimatori per Θ. Se MSE(h₁) < MSE(h₂) allora h₁ è più efficiente di h₂, cioè la media si avvicina di più.

MSE(h) = V(h) m.b. h→ h(X₁,..., X_n)

B(h₁) ≡ E(h) = Θ, se h₁ è corretto. B(h) = 0 e MSE(h) = V(h)

MSE = med square error = errore quadrato medio

2) ESR

E(X_i) = μ

V(X_i) = σ_i²

TEORIA DELLA STIMA

Siano X₁, ..., X_n n VC IID (quindi ECR).

X̄ = f(θ) -> Dunque delle quali è distribuita secondo una certa legge di probabilità generata da un certo parametro vero.

Se f è

• BERNOULLI -> Θ = π
• POISSON -> Θ = λ
• NORMALE -> Θ = (μ, σ²)

Uno stimatore (h) è una funzione che mappa lo spazio dei campioni nello spazio dei parametri.

h : S ->

1. [0,1] se e solo se genera dati è BERNOULLI
2. R⁺ se la legge è POISSON
3. R x IR⁺ se la legge è NORMALE

Proprietà auspicabili per uno stimatore

1. CONTEZZA (m.m. distorsione)

Sia h₁ uno stimatore per Θ, h₁ è corretto se e solo se

E[h(X₁, ..., X_n)] = Θ

(e) La media aritmetica è uno stimatore corretto della media.

2. EFFICIENZA, MSE = E[(h(X₁, ..., X_n) - Θ )²]

Sono h₁ e h₂ stimatori per Θ. Se MSE(h₁) < MSE(h₂) allora

h₁ è più efficiente di h₂, cioè la media si avvicina di più. MSE(h) = V(h) m.b. h -> (X₁,..., X_n)

B(h) = E(h) - Θ se h è corretto B(h) = 0 e MSE(h) = V(h)

L.M.E.: minor squadrata mean = errore quadrato medio)

h(X₁, ..., X_n) stimatore è VC

h(x₁, ..., x_n) lo stimatore è un numero

Proprietà stimatore per n finito

1. Correttezza: Sia h stimatore per θ, h è corretto se (h) = θ

2. Efficienza: Sia h stimatore per θ, definito

   MSE(h) = [(h-θ)²] = V(h) + B²(h)

   dove B(h) = (h) - θ, allora h₁ è più efficiente di h₂ se MSE(h₁) < MSE(h₂)

Proprietà asintotiche degli stimatori (n → ∞)

1. Correttezza asintotica: h stimatore per θ è asintoticamente corretto se (h) _n→∞ θ

   es. (Ĉ) = ^n-1/_n σ² _n→∞ σ²

2. Consistenza

   h è consistente (in media quadratica), MSE(h) _n→∞ 0

   es. μ_̂n = x̄ , (x̄) = μ , V(x̄) = σ²/n

   MSE(x̄) = V(x̄) = σ²/n _n→∞ 0

Nota Terminologica:

Esercizio tipo

Un urna _{10 8 4 1 1 1} si effettuano 21 ECE.P( 0,6 < PS < 0,65) ?

modifica ai dati

Abbiamo una moneta opiniamo che è Bernoulli ma nonsappiamo se è truccata o no

• n = 5
• x = _{x1, x2, x3, x4, x5}

Tocco i 5 cambi e vedo x = _{1, 0, 0, 1, 1} cosa posso dire di π?Con che probabilità:

FUNZIONE DI VEROSIMIGLIANZA DEL PARAMETRO

(L) likelihood

L(η, x) = P(X = x ; η)

• se η = 0 inattendibile
• se η = 0,1 verosimiglianza = 0,00081
• se η = 0,6 la più verosimile di tutti

η^{^} è l'argomento che rende massima la verosimiglianza di η alla luce dei dati x

η^{^} = argmax _η L(η, x) , η∈ [0,1]

η^{^} = stima di massima verosimiglianza

Il logaritmo è una funzione monotona, cioè passando al logaritmo di una funzione i massimi non cambiano .

L(η, x) = P(X = x

l_η(η) = log L(η, x)

se η^{^} , L(η^{^}, x) > L(η, x)   ∀x ≠ η^{^}   ⟹   l(η^{^}) > l(ɷ)

A06

Guardiamo la L di π dato x

L(π, x) = π^x₁(1 - π)^{l - x₁} · π^x₂(1 - π)^{l - x₂} · ... · π^xₘ(1 - π)^{l - xₘ}

dove x = (x₁, ..., xₘ)

Consideriamo l'esempio di prima:

L(π) = π³(1 - π)² nell'esempio

l(π) = log [π^Σxᵢ] + log [(1 - π)^{m - Σxᵢ}]

log x_i + log (1 - π)^{m - Σxᵢ} = Σxᵢ log (π) + (m - Σxᵢ) log (1 - π)

La funzione di verosimiglianza misura la π dati i dati. La somma dei dati Σxᵢ è una costante cioè è nota.

d l(π) / d π = e'(π) = (Σxᵢ / π) + (m - Σxᵢ) / (1 - π) = Σxᵢ / π + (m - Σxᵢ) / (1 - π)

e'(π) = 0 ⟹ ((1 - π) Σxᵢ - π (m - Σxᵢ)) / (π (1 - π)) = 0

Σxᵢ - π Σxᵢ - πm + π Σxᵢ = 0

πm = Σxᵢ ⟹ Quindi il π che rende max la verosimiglianza è la regola:

π̂ = Σxᵢ / m = (1 + 0 + 0 + 1 + 1) / 5 = 3 / 5 = 0.6

E(π̂) = 1 / m E(Σxᵢ) = 1 / π E m π̂ = π̂

è stimatore corretto (devi usare)_X

è stima (se usiamo x)

N( p̂ ) = V( p̂ ), V ( ∑ x_i / m ) = 1 / m² V ( ∑ x_i ) = 1 / m² ∑ V(x_i)

= -1 / m² np̂ (1-p̂ ) = n̂(1-n̂) / m

m_{→ ∞}→ 0

MAGGIORE È IL CAMPIONE > PIÙ SIAMO VICINI ALLA VERA

CONOSCENZA

Questo lo chiamiamo fatto per una Bernoulli; adesso tensioniamo

per una V.C. qualsiasi

Siano x₁, x₂, ..., x_m n VC IID Sia x = (x₁, x₂, ..., x_n)

la realizzazione di X, t.c. ogni

x_i ~ L(Θ), Θ∈una certafatta delmodello

Si definisce funzione di verosimiglianza (FdV) L(Θ x) = P(X = x, Θ)

Riesco minima

giusto la verosimile

di date tutte osservazioni

campione

= P(X₁ = x₁, Θ) P(X₂ = x₂, Θ) ....P(X_m = x_m, Θ)

= ℓ(X₁, Θ) ℓ(x₂, Θ) .... ℓ(x_m, Θ)

= ∏_i=1^m f(x_i, Θ)

ℓ(Θ x) ∝ ℓ(x_i, Θ)

Si definisce:

ℒ(Θ) = ∞ ℒ(Θ x) = ∞ _i=1^m f(x_i, Θ) = ∑_i=1^m log f(x_i, Θ)

Lo stimatore di massima verosimiglianza ﾈ la θ:

θ̂ = arg max L(θ, x) = arg max l(θ) , θ ∈ Θ

θ ﾈ costante

Diamo x = (x_1, x_2, ..., x_m) x_i ∼ Poiss(λ)

x(x_1, x_2, ..., x_m) redistribuzione di x

f(x_i, λ) = 1 / x₁ ! λ^x ⅇ^−λ

L( λ, x ) = ∏_i=1^m 1 / xᵢ ! λ^x_i ⅇ^−λ = [∏_i=1^m 1 / xᵢ ! ] (λ^x_i ⅇ^−λ) . ( 1 / λ₁ λ₁^x_1ⅇ^−λ ) ...

[ m_i=1(1 / xᵢ ! )] λ^( x₁+ x₂ + ...+xₘ ) ⅇ^−λ ...

(la consideriamo come una costante, non la riscriviamo)

= λ^(Σxᵢ) ⅇ^−m λ

ℓ (λ) = log λ^(Σxᵢ) ⅇ^−mλ = log λ^(Σxᵢ) + log ⅇ^−mλ

= Σx_i log λ − mλ (log ⅇ) = Σx_i log λ − m λ

ℓ' (λ) = Σxᵢ / λ − m = 0

=> Σxᵢ − λm = 0 Σxᵢ = λm

=>

λ̂ = Σxᵢ / m è stimato , λ̂ = Σ (^xᵢ / _m) ﾈ stimatore corretto

Є(λ̂) = Є (Σxᵢ / _Є ) = 1 / m Σ Є(xᵢ) = 1 / m λx = λ

V(λ̂) = V (Σxᵢ / m) = 1 / m² Σ V(xᵢ) = 1 / m² mλ = λ / m → _{m → ∞} 0

λ ˆ è CONSISTENTE

Cose da sapere sulle proprietà degli stimatori di massima verosimiglianza:

1. E(θˆ) → θ m →∞ E−INVARIANTE
2. V(θˆ) → col seno quantile chiamato I⁻¹(θ) m →∞
   • − È la varianza dello stimatore a parità di efficienza
   • − cioè la varianza più piccola che uno stimatore può assumere, per n abbastanza grande
3. θˆ ~ N(θ, I⁻¹(θ))
4. Gli stimatori di massima verosimiglianza sono invarianti alle trasformazioni monotone g(θˆ) = g(θ) es. nella σ²₁ mi interessa la sostituzione: Vθ² = θˆ

λ = ¹⁄_ψ , λˆ = ¹⁄_ψˆ

d\ \ell (\mu, \sigma^2) = 0

d\ \ell (\mu, \sigma) = 0

Da sapere per l’esame:

\[\hat{\mu} = \frac{1}{m} \sum_{i=1}^{m} x_i\]

\[\hat{\sigma} = \frac{1}{m} \sum_{i=1}^{m} (x_i - \hat{\mu})^2\]

\[\hat{\mu} = \frac{1}{m} \sum_{i=1}^{m} X_i\]

stimatore

\[E(\hat{\mu}) = E(\frac{1}{m} \sum_{i=1}^{m} x_i) = \frac{1}{m} \sum_{i=1}^{m} E(x_i)= \mu\]

\[V(\hat{\mu}) = V(\frac{1}{m} \sum_{i=1}^{m} x_i) = \frac{1}{m} \sum_{i=1}^{m} (x_i)= \frac{\sigma^2}{m}\]

\[E(\hat{\sigma}^2) = \frac{m-1}{m} \cdot \sigma^2\] -> la varianza calcolata sul campione non è uno stimatore corretto

\[\sigma^2 = \frac{m}{m-1} \cdot \hat{\sigma}^2 = \frac{m}{m-1} \cdot \frac{1}{m} \sum_{i=1}^{m} (x_i - \hat{\mu})^2\]

\[\hat{\sigma}^2 = \frac{1}{m-1} \sum_{i=1}^{m} (x_i - \hat{\mu})^2\]

\[E(\hat{\sigma}^2) = E(\frac{m}{m-1} \cdot \sigma^2) = \frac{m}{m-1} \cdot \sigma^2\] abbiamo corretto lo stimatore lo abbiamo corretto

la V(\hat{\sigma}^2) non è richiesta

passare da \sigma^2 a \hat{\sigma}^2 vuol dire ricampella