Regressione lineare

Lezione Introduttiva

Modello = schema teorico che descrive un fenomeno

Modello Statistico = modello di tipo matematico composto da:

• parte sistematica (segnale)
• parte accidentale (rumore)

y = f₀(X_oss. , X_latenti)

y = f (X_oss.) + ε_latenti

Modello Statistico lineare con errore additivo

y = X'^β + ε_{non-linearità} + ε_latenti

X'β = β₀ + β₁ x₁ + β₂ x₂ + ... + .... + β_K x_K

ε_totale = componente accidentale (quantità ignota è aleatoria)

Osserva:

• X' = vettore delle osservazioni
• β = vettore dei parametri
• β₁, β₂,... β_K non sono osservabili direttamente, ma bisogna stimarli:

In che senso lineare? → lineare nei parametri

es. log y = β₀ + β₁. 1/x + ε → y' = β₀ + β₁ X' + ε

Lezione Introduttiva

Modello = schema teorico che descrive un fenomenoModello Statistico = modello di tipo matematico composto da:a) parte sistematica (segnale)b) parte accidentale (rumore)

y = f₀(X_oss., X_latenti)

y = f ( X_oss.) + ε_latenti

Modello Statistico lineare con errore additivo

y = X'β + ε_{non-linearità} + ε_latenti

X'β = β₀ + β₁ x₁ + β₂ x₂ + ... + ... + β_k x_k

ε_totale → componente accidentale (quantità ignota è aleatoria)

Osserva: X' = vettore delle osservazioniβ = vettore dei parametriβ₁, β₂, ... β_k non sono osservabili direttamente, ma bisogna stimarli.

In che senso lineare? → lineare nei parametri

es. log y = β₀ + β₁ ⋅ ¹/_x + ε → y' = β₀ + β₁ X' + ε

• Popolazione e Campione

  y_i = β₀ + β₁ X_i1 + β₂ X_i2 + .... + β_k X_ik + ε_i

  i = 1, ..., n

  _{Y1 .. Yn ↓} unità statistiche

  | _X11 ... _X1k |

  | _. ... _. |

  | _. ... _. |

  | _Xn1 ... _Xnk |

• Ipotesi sugli errori; (MODELLO LINEARE CLASSICO)

  Distribuzione degli errori condizionatamente alle var. esplicative:

  • a) E(e_i|x) = 0 ∀i
  • b) Var(e_i|x) = σ² ∀i ERRORI OMOSCHEDASTICI
  • c) Cov(e_i, e_j|x) = 0 ∀i ≠ j
• Regressione Lineare Semplice

  con una variabile esplicativa (k=1)

  y = γ₀ + γ₁x + e_y|x → rappresenta quello che rimane della y una volta che mi sono condizionato a x.

  • Osserva
  • γ₀ = intercetta
  • γ₁ = pendenza
  • σ²_y|x = Var(e_y|x) = varianza residua

    (una varianza residua piccola significa un modello migliore e quindi stime più precise)

Osserva: Poiché E(eⱼ|x)=0 si ha che:

Cov(e,x)=0.

y = γ₀ + γ₂ x + eⱼ|x → E(y|x) = γ₀ + γ₂ x

modello lineare per la media

condizionata di y dato x.

Retta di regressione

delle medie condizionate

• la variabilità rimane
• costante

Pendenza: γ₂ = E(y|X=x^*+1) - E(y|x=x^*)

significato: variazione della media condizionata di y corrispondente

ad un aumento unitario di x

Quantile Regression → utile per distribuzioni assimmetriche

Regressione Lineare Semplice

γ̂₀ + γ̂₂ x

Ŷi

Ŷi = residuo

xᵢ

• RESIDUO = valore osservato - valore stimato
• = y - ŷ
• PREVISIONI PER IL VALORE MEDIO

• Regressione Lineare Multipla (k variabili esplicative)

y = β₀ + β₁x₁ + β₂x₂ + ... + β_kx_k + ε_{y|x1,..., xk}

• geometricamente: iperpiano nello spazio

• i parametri β sono condizionati al variare di x (attenzione al paradigma)

Osserva E(ε_{y|x1,..., xk}) = 0 segue che:

• E(y|x₁,..., x_k) = β₀ + β₁x₁ + β₂x₂ + ... + β_kx_kL_a media condizionata di y dato x