Appunti di Identificazione dei Modelli e Analisi dei Dati parte B

8-3-21

Stima Ml

Criteri di Stima

X(s) = v.c. e scalare con dpp fx (t)

Voglio saper progetare stimatori anche nei casi in cui non sia ovvia qual è il migliore

Criterio della massima verosimiglianza (Maximum Likelihood) (Ml)

Ipotesi conosco fx (t)

Definire un dato valores x := X (s) di dati:

L (θ; x) := fx (x; θ) fx

Per v.c. discrete:

L (θ; x) = fθ(x):= P(x=X)=P(X=x | θ=θ)

Nota: L(x: θ(s)) non è una dpp (cioè che varia è θ non x)

Criterio della massima verosimiglianza:

θ^ml(X) = arg max (L (θ, x))

Nota: Spesso è più comodo massimizzare il ln sill:

θ^ml(X) = arg max ln L (θ, x)

Stima ML

• Stima ML

Criteri di Stima

X(θ) = v.c. a scalare con dpp fx(θ) = f_t.o.(x(θ)=θ)

Voglio saper progettare stimatori anche nei casi in cui non sia ovvio quali di migliori.

Criterio della massima verosimiglianza

Dl un item valore x: x = X(ξ)= d util.

L(θ; x) = ike X = {, (x, xi)} = P(X={xi}.(θ=θi))

• ES: 5:30 LEZ 3

Note: L(,x) non è una dpp, cioè che varian è θ non x. Inoltre θ è una quantità deterministica non una v.c.

In generale L(θ; x)_θ≠1

dove D_θ è l’insieme dei valori ammissibili di θ

Criterio della massima verosimiglianza2

• ES: 11:45 LEZ 3

Per trovare i punti di massimo zerio la derivata prima fi e unve la preferi.

Nota: Spesso è più comodo massimizzare il ln sil:

θ̂_ML(X) = ^{arg max} L(θ, x)

S(θ; x\tilde) = lnL(θ; x\tilde) è anche detto supporto "log likelihood"

Massimizzare 0 = 2 ln kε}

Uno dei vantaggi del supporto è che, se h₁sono osservazioni indipendenti:

S(θ; (x₁, x₂...xₘ)) = ln f(x₁) + ln f(x₂) +...ln f(xₘ) = ∑i S(θ; xi)

Esercizio: Ricavare lo stimatore ML di θ = m a partire dalle osservazioni ₁,₂,...ₘ i.i.d. X \sim (m, σ²)

L(θ; x) = vi è prod X vi di (θ) = ∏\_{i=1} (1 \over √2πσ²) e^{-1 \over 2σ²}(xi – θ)² = (1 \over 2πσ²) \frac{m}{2} e^{-1 \over 2σ²}∑і(xi – θ)²

S(θ, x\tilde) = ln L(θ, X\tilde) = – ln(\sqrt2πσ²) + 2σ² ∑i(xi – θ)²

• S(θ, x\tilde) = 0 = 1/σ² ∑i(xi – θ) at { supporto max }
• ∑i xi = mθ => θ \tilde = 1/m ∑ xi

Calcolo la derivata seconda, che ≺ 0 => f_θ \tilde è un punto di massimo

θ \tilde (ML) = 1/m ∑ x\tilde media y\bar mpetrica

Proprietà degli stimatori ML

(Valgono solo opportune ipotesi di regolarità)

• Invariance principle
• Se θ \tilde (ML) è un parametro funzione di θ nella allora θM^L = g(θ (ML) )

Dim.: se f_{θ \tilde} arg max L(θM), allora g(θM) = arg max L(g\bar m)

Per osservazioni X', i.i.d.

θ \tilde è consistente ( convergi in probabilità a θ⁰)

θ \tilde è asintomaticamente non parlato dalle E{θ\tilde} =θ \tilde { media, T < supr }

• θ \lim disp/ limite di Cramèr-Rao(CR); Var(θ) => R > 0
• θ \tilde distribuzione \approx gaussiana θ \tilde distr => N(\theta\tildeQ\R)

ES = 32: 30 LEZ 3

Prove di Bernoulli con θ=p, Conosco il numero K di successi in M prove, θ \tilde (ML) = K \over M ( frequenza relativa )

ES: 36: 50 LEZ 3

ES: 49: 00 LEZ 3

IMAD 8 2 10-3-21

Stima M di modelli lineari:

_β = (^t _t)

Y = Xβ⁰ + V

è un modello lineare (nei parametri) quando

σ(d) = ϕ(d₁, d₂, ...d_p)

_n ⊂ ^{n n} _p

Ipotesi TA: Y = ϕβ + V, V ∼ N(0, Σ_v), Σ ∼ δ²Ψ

definite positive

Teorema:

Valga TA e sia rango(ϕ) = q. Allora

a) ^β_M = arg min_{J∈ ^q}(J^tΨ⁻¹J^tΣ⁻¹Ψ* = Ξ≠ Y = ϕβ

Si e β M(q), è anche sima dei residui pesati.

E(β^M)

1) E[(θ^M)] =

2) Var E(θ^M = (β^M) (β^M) _t

DIM: 7:30 LEZ4

Oss:

1) ML è minima basata su ipotesi forti

Sotto H, ml è più similisubreer che Matplotlib

θ_ml = β_WLS (formula Identica) Cio che cambianno ipotesi

Stima della varianza del disturbo

Teorema:

Valga H canale θ P noto. Allora

j) E[(θ^M)_n < cos (θ^M) < (θ^M)_s] .¹

ii) (θ* M)_ML = ∑ (θ^M − [¹_n] ) + ∑ (θ^M) = 0

Poss stimare samplemiche i param