Appunti di Identificazione dei Modelli e Analisi dei Dati parte B

Stima ML e criteri di stima

X(s) = v.c. e scalare con dpp fx(t)Voglio saper progettare stimatori anche nei casi in cui non sia ovvio qual è il migliore. Criterio della massima verosimiglianza (Maximum Likelihood) (ML)

Criterio della massima verosimiglianza

Ipotesi: conosco fx(t). Definire un dato valore s x := X(s) di dati: L(θ; x) := fx(x; θ) fx. Per v.c. discrete: L(θ; x) = fθ(x):= P(x=X)=P(X=x | θ=θ). Nota: L(x: θ(s)) non è una dpp (cioè che varia è θ non x)

Criterio della massima verosimiglianza: θ^ml(X) = arg max (L(θ, x)). Nota: Spesso è più comodo massimizzare il ln sill: θ^ml(X) = arg max ln L(θ, x)

Stima ML

X(θ) = v.c. a scalare con dpp fx(θ) = f_t.o.(x(θ) =θ). Voglio saper progettare stimatori anche nei casi in cui non sia ovvio quali di migliori.

Dl un item valore x: x = X(ξ)= d util. L(θ; x) = ike X = {, (x, xi)} = P(X={xi}.(θ=θi)) ES: 5:30 LEZ 3.

Note: L(,x) non è una dpp, cioè che varian è θ non x. Inoltre θ è una quantità deterministica non una v.c. In generale L(θ; x)_θ≠1 dove D_θ è l’insieme dei valori ammissibili di θ

Per trovare i punti di massimo, azzera la derivata prima e trova la preferenza. Nota: Spesso è più comodo massimizzare il ln sil: θ̂_ML(X) = ^{arg max} L(θ, x). S(θ; x̃) = lnL(θ; x̃) è anche detto supporto "log likelihood".

Massimizzare 0 = 2 ln kε}. Uno dei vantaggi del supporto è che, se h₁sono osservazioni indipendenti: S(θ; (x₁, x₂...xₘ)) = ln f(x₁) + ln f(x₂) +...ln f(xₘ) = ∑i S(θ; xi).

Esercizio

Ricavare lo stimatore ML di θ = m a partire dalle osservazioni 1,2,...n i.i.d. X ~ (m, σ²). L(θ; x) = vi è prod X vi di (θ) = ∏_i=1 (1 / √(2πσ²)) e^{-1 / 2σ²}(xi – θ)² = (1 / 2πσ²) m^1/2 e^{-1 / 2σ²}∑і(xi – θ)².

S(θ, x̃) = ln L(θ, X̃) = – ln(√(2πσ²)) + 2σ² ∑i(xi – θ)². S(θ, x̃) = 0 = 1/σ² ∑i(xi – θ) at { supporto max } ∑i xi = mθ => θ̃ = 1/m ∑ xi.

Calcolo la derivata seconda, che è < 0 => f_θ̃ è un punto di massimo. θ̃ (ML) = 1/m ∑ x̃ media y̅ metrica.

Proprietà degli stimatori ML

(Valgono solo opportune ipotesi di regolarità) Invariance principle: Se θ̃ (ML) è un parametro funzione di θ, allora θM^L = g(θ (ML)). Dim.: se f_θ̃ arg max L(θM), allora g(θM) = arg max L(g̅m).

Per osservazioni X', i.i.d. θ̃ è consistente (converge in probabilità a θ⁰). θ̃ è asintoticamente non parlato dalle E{θ̃} =θ̃{ media, T θ \lim disp/ limite di Cramér-Rao (CR); Var(θ) => R > 0. θ̃ distribuzione ≈ gaussiana. θ̃ distr => N(θ̃Q\R).

ES = 32:30 LEZ 3 Prove di Bernoulli con θ=p, Conosco il numero K di successi in M prove, θ̃ (ML) = K / M (frequenza relativa)

ES: 36:50 LEZ 3 ES: 49:00 LEZ 3

Stima M di modelli lineari

β = (^t _t)Y = Xβ⁰ + V è un modello lineare (nei parametri) quando σ(d) = ϕ(d₁, d₂, ...d_p)_n ⊂ ^{n n} _p.

Ipotesi TA: Y = ϕβ + V, V ~ N(0, Σ_v), Σ ~ δ²Ψ definite positive.

Teorema: Valga TA e sia rango(ϕ) = q. Allora:

• β^M = arg min_J∈^q(J^tΨ^-1J^tΣ^-1Ψ* = Ξ≠ Y = ϕβ
• Si e β M(q), è anche sima dei residui pesati. E(β^M)

1) E[(θ^M)] = 2) Var E(θ^M = (β^M) (β^M) _t

DIM: 7:30 LEZ4 Oss:

• ML è minima basata su ipotesi forti. Sotto H, ML è più simile a Matplotlib
• θ_ml = β_WLS (formula Identica). Ciò che cambia sono le ipotesi

Stima della varianza del disturbo

Teorema: Valga H canale θ P noto. Allora:

• j) E[(θ^M)_n < cos (θ^M) < (θ^M)_s].
• ii) (θ* M)_ML = ∑ (θ^M – [¹_n]) + ∑ (θ^M) = 0

Possibilità di stimare campionamenti parametrizzati.