Appunti Statistica III - Teoria

Modelli lineari

LMY = X β + ε dove ε ~ N_m (0, σ²I) → omoschedasticità, incorrelazione, non sistematicità X → matrice del disegno (l.n. non stocastica) β → matrice dei coefficienti Y_i = X β + ε → i-esima risposta (i = 1, ..., m) → i-esima riga della matrice X E(Y_i) = μ_i = X β = η risposta media media delle risp. predittore lineare Y_i ~ N(μ_i, σ²) ∀ i (indipendenti e variate di i)

Limiti: Modelli LM

Se non c'è normalità della risposta → trasformo (log...) se buck la funzione è normale, ma non funziona sempre. Il problema sta poi nell'interpretare i coefficienti → vedi esponenziale Se non c'è omoschedasticità degli errori → vedi esponenziale Se il supporto della risposta non coincide con IR (ad esempio se è discreto, come una risposta dicotomica) Se non c'è linearità (Y_i = f(x_i1, ..., x_ik, β) + ε)

Modelli lineari generalizzati

Estendiamo gli LM in due direzioni:

1. f non è lineare → μ_i non è uguale al predittore η_i → g(μ_i) = η_i link function NOTA, MONOTONA, DERIVABILE
2. Non c'è la normalità → Y_i ~ DE_i

DE_i → famiglie di dispersione esponenziale di ORDINE 1 (normale, bernoulli, binomiale, poisson, gamma, beta)

Osservazioni

LM e GLM con link function = g identificano Y e N Se y dicotomica → modelli di regressione logistica Se y conteggio → regressione poissoniana

Modelli lineari - LM

Y = Xβ + ε dove ε ∼ Nᵢ (0, σ²I) → omoschedasticità, incorrelazione, non sistematicità X = matrice del disegno (lire non stocastica) β = matrice dei coefficienti Yᵢ = Xᵢβ + εᵢ → i-esima risposta (i = 1,..., m) i-esima riga della matrice X E(Yᵢ) = μᵢ = Xᵢβ = m risposta media media delle risp. predittore lineare Yᵢ ∼ N(μᵢ, σ²) ⊥ (indipendenti & variare di i)

Limiti del modello LM

Se non c'è normalità della risposta ⇒ trasformano (log, ...) ed evete la normalità, ma non funziona sempre. Il problema sta poi nell'interpretare i coefficienti. Se non c'è omoschedasticità degli errori vedi econometria Se il supporto della risposta non coincide con IR (ad esempio se è discreto, come una risposta dicotomica) Se non c'è linearità (Yᵢ = f(xᵢ1, ..., xᵢk, β) + ε)

Modelli lineari generalizzati - GLM

Estendiamo gli LM in due direzioni:

1. f non è lineare ➔ μᵢ non è uguale al predittore mᵢ ➔ g(μᵢ) = mᵢ link function NOTA, MONOTONA, DERIVABILE ≠ da E(g(Yᵢ)) = mᵢ media della trasformata
2. Non c'è la normalità ➔ Yᵢ ∼ DE₁

DE₁ = famiglia di dispersione esponenziale di ORDINE 1 (normale, binomiale; insieme poisson - gamma beta)

Osservazioni

LM ⊂ GLM con link function = g identità e Y ∼ N Se y dicotomica ➔ modelli di regressione logistica Se y conteggio ➔ regressione poissoniana

Regressione logistica

Y dicotomica   Y ∼ Be(Θ)   S_y = {0,1}, f(y,Θ) = Θ^y(1 - Θ)^1-y   E(Y) = Θ   Var(Y) = Θ (1-Θ)

Escluso di usare M_i perché: Distribuzione bernoulliana (non normale)      S_y ≠ ℝ E(Y_i) ≡ μ_i = Θ_i = M_i = X_iβ   Θ ∈ (0,1)      ∈ ℝ Non ha senso equiparare al M_i perché hanno supporti diversi

Linear probability model

Θ_i   |   |      \0-------- x se k = 1

Constraint linear model

Θ_i   |   |______0-------- x

C'è omoschedasticità Negli M_i   Y_i = M_i + ε_i                 1         2               μ_i        N(0,σ₂)