Modelli statistici

Teoria 1) si consideri un modello di regressione lineare multipla

Y₁ = β₀ + β₁X₁ + ... + β_kX_k + ε_i i = 1, ... , n

1. Si fornisca la definizione dello stimatore ai minimi quadrati β_MQ del vettore β = (β₀, β₁, β₂,..., β_k)

   Y = Xβ + ε

   Stima a m.q. β̂ = (X'X)^-1X'y

   ŷ = Hy

   Dove H = X(X'X)^-1X'

2. Si mostri che β_MQ è stimatore corretto di β

   E(β_MQ) = E[(β + Aε)] = β + AE(ε) = β + 0 = β È stimatore corretto

   Dove A = (X'X)^-1X'

3. Si calcoli la matrice di covarianza del vettore aleatorio β_MQ

   Var(β_MQ) = σ² (X'X)^-1

   [ ]

   | Var(β₀) |

   | Var(β₁) |

   | ... |

   | Var(β_k) |

   [ ]

   In posizione (i, j) con i ≠ j

   Cov(B₁, B_j)

4. Si enunci il teorema di Gauss-Markov

   Se valgono le assunzioni:

   • 1) y = Xβ + ε (linearità)
   • 2) E(ε) = 0 e Var(ε) = σ²I_n
   • 3) Rango (X) = k+1

   Allora lo stimatore ai M. Q. di β è tra gli stimatori, lineari e corretti di β, il più efficiente → β₀, β₁,..., β_k

Teoria

Si consideri un modello di regressione lineare multipla

Y_i = β₀ + β₁X_1i + ... + β_kX_ki + ε_i i=1,...,n

1. Si fornisca la definizione dello stimatore ai minimi quadrati B_mq del vettore β = (β₁, β₂, ..., β_k)

   Y = Xβ + ε

   Stima a m.q. B̂ = (X^'X)^-1X^'y

   y = Hy dove H = X(X^'X)^-1X^'

   Dove A = (X^'X)^-1X^'

2. Si mostri che B_mq è stimatore corretto di β

   E(B_mq) = E[(β + Aε] = β + AE(ε_i) = β lo stimatore è corretto

3. Si calcoli la matrice di covarianza del vettore aleatorio B_mq

   [summa]_Bmq = σ²(X^'X)^-1:

   [matrix]

   In posizione (i,j) con i≠j

   Cov(B_i, B_j)

4. Si enunci il teorema di Gauss-Markov

   Se valgono le assunzioni:

   • y_i = X_iβ = ε_i (linearità)
   • E[ε]=0 e Var(ε) = σ²I_n
   • Rango(X)=k+1

   Allora lo stimatore ai m.q. di B̂ è tra gli stimatori lineari e corretti di β il più efficiente cioè BLUE

1. Si consideri un modello di regressione lineare multipla

y_i = β₀ + β₁x_i1 + ... + β_kx_ik + ε_i i = 1, 2,..., n

a) Si elenchino sinteticamente le assunzioni tipicamente fatte sulle variabili errore

Le assunzioni sulle variabili errore sono: media nulla, omoschedasticità, incorrelazione, normalità

ε_i ∼ N(0, σ²e) i = 1, ..., n

ε ∼ N_n(0, σ²e I_n)

b) Si mostri che sia il vettore dei valori previsti ŷ1, ŷ2, ..., ŷn sia il vettore dei residui ε1 = (ε1, ..., εn) sono trasformazioni lineari del vettore delle osservazioni y1, y2, ..., yn

ŷ = y1 - β0 + β1 × + β2 × + Xβ = X (X'X)^-1X'y=> ŷ = Hy => ŷ è una trasformazione lineare delle osservazioni y

ε = y - ŷ = y - Hy = (I_n - H)y => è una trasformazione lineare delle osservazioni y

Enunciare la scomposizione della devianza totale

Devianza totale = Devianza spiegata + Devianza residua

SQT = SQReg + SQRes

SQT non dipende dal modello, ma solo da {y1, ..., yn}

SQTot = ∑_t=1ⁿ(yi - ȳ)²

SQRes = ∑_t=1ⁿ(yi - ŷi)²

SQReg = ∑_t=1ⁿ(ŷt - ȳ)²

Assumendo valida la seguente identità

(yi - ȳ)² = (yi - ŷi)² + (ŷi - ȳ)² + 2x(i)Σ_x=1ⁿ β̂1 xi - ȳ = 0

Si dimostri la validità della scomposizione della devianza totale per il modello di regressione lineare semplice yi = β0 + β1xi + εi per i = 1, 2, ..., n

Σ_i=1ⁿ (yi - ȳ)² = Σ_i=1ⁿ (β̂0 + β̂1xi + εi)² = Σ_i=1ⁿ (yi - ŷi)² + β̂1 Σ_i=1ⁿ xi (x - x̄) = β̂1 Σ_i=1ⁿ xi(Xi - X̄)²

Si consideri il modello di regressione lineare multipla

Quali assunzioni è necessario fare sulle variabili errore e sulle variabili esplicative per poter applicare il metodo dei minimi quadrati per la stima dei coefficienti di regressione?

Le assunzioni sulle variabili errore sono: media nulla, omoschedasticità, incorrelazione e normalità. Le assunzioni sulle variabili esplicative sono: l'assenza di multicollinearità; le variabili esplicative forniscono un contributo nello spiegare