Regressione lineare

Lezione Introduttiva

Modello ⇒ schema teorico che descrive un fenomenoModello Statistico ⇒ modello di tipo matematico composto da:

1. parte sistematica (segnale)
2. parte accidentale (rumore)

yoss. = f (Xoss., Xlatenti) + εlatenti

• f = funzione ignote
• ε = termine di errore che cattura l'effetto dei fattori latenti

Modello Statistico lineare con errore additivo

y = X'^t β + ε_{non-linearità} + ε_latenti

X'^t β = β₀ + β₁ x₁ + β₂ x₂ + …. + β_k x_k → componente sistematica (ignota e deterministica)

ε_totale → componente accidentale (quantità ignota e aleatoria)

Osserva:

• X' = vettore delle osservazioni
• β = vettore dei parametri
• β₁, β₂, …, β_k non sono osservabili direttamente, ma bisogna stimarli.

In che senso lineare? → lineare nei parametri

es. log y = β₀ + β₁· 1/X + ε → y' = β₀ + β₁ X'^t + ε

Popolazione e Campione

y_i = β₀ + β₁ x_i1 + β₂ x_i2 + .... + β_k x_ik + e_i

i = 1,..., n

unità statistiche

Ipotesi sugli errori; (MODELLO LINEARE CLASSICO)

Distribuzione degli errori condizionatamente alle var. esplicative:

• a) E(e_i | x) = 0 ∀i
• b) Var(e_i | x) = σ² ∀i ERRORI OMOSCHEDASTICI
• c) Cov(e_i, e_j | x) = 0 ∀i ≠ j

Regressione Lineare Semplice

con una variabile esplicativa (k=1)

y = γ₀ + γ₁ x + e_y|x → rappresenta quello che rimane della y una volta che mi sono condizionato a X.

Osserva

• γ₀ = intercetta
• γ₁ = pendenza
• σ²_y|x = Var(e_y|x) = varianza residua
• (una varianza residua piccola significa un modello migliore e quindi stime più precise)

• Modello di regressione non fa altro che un'analisi di correlazione nel verso X → Y

• Interpretazione dei coefficienti di regressione
  • a) interpretazione associativa (predittiva): due unità statistiche che differiscono di 1 per il regressore in questione
  • b) interpretazione causale (controfattuale): considera il cambiamento, in media, nella risposta di una unità statistica causato dall'incremento di 1 del regressore in questione (cambio il sesso e vedo come si modifica la situazione)
    • utile negli studi sperimentali;
    • poco attendibile negli studi osservazionali;

Esempio

E(y | z, w) = β₀ + β₁z + β₂w

• poichè w non è osservata, abbiamo che:

E(β̃₁) = β₁ + _{cov(z, w)}/^var(z) β₂

= β₁ + ₀/^var(z) β₂ = β₁

• y = punteggio test
• z = libro B
• w = abilità studente

• in questo esempio è stata omessa w, ma vale anche in caso di omissione di un vettore perchè l'assegnazione a caso di z garantisce che z sia incorrelata con ogni altra variabile
• se non considero w però sovrastimo l'effetto di z.

3.1.1 Model Parameters, Estimation and Residuals

PARAMETRI → β₀, β₁, β₂

STIMATORI → ^β ₀, ^β ₁, ^β ₂

E(^y _i) = β₀ + β₁ X_i1 + β₂ X_i2 + ... + β_k X_ik = X_i^β 

→ poiché la media è la migliore previsione di un valore aleatorio

Residui → (Ê₁, Ê₂, ..., Ê_n)^′

Ê = y_i - X^β 

= y_i - ^y _i → valore previsto

      &enspace;→ valore osservato

_β  ha il cappello poiché è un valore stimato. Non si chiama errore, ma residuo. L'errore è quello vero!

Osserva

• a) stimatori per i β poiché si tratta di una quantità fissa, ma ignota
• b) predizioni per yi e Ê_i poiché si tratta di variabili aleatorie.

- residui parziali → considero tutte le variabili tranne la j-esima

Ê_XJi = y_i - β₀ - ... - ^β _J-1 X_i,J-1 - ^_β J+1 X_i,J+1 - .... - ^β _k X_i,k

      sottraggo e aggiungo la stessa quantità

= y_i - X_i^β  + ^β _J X_i,j

= Ê_i + ^β _J x_ij

utile per fare dei plot per studiare il fit della j-esima var. esplicativa, poiché così posso fare dei plot a due dimensioni