Modelli lineari

Modelli lineari

Appunti corso universitario di modelli lineari

Tutto il programma in schemi chiari ed esaustivi:

• Regressione multipla: funzione del modello, coefficienti, notazioni matriciali
• Indice di determinazione lineare R quadro
• Inferenza sul modello: stimare varianza dei residui
• Intervalli di confidenza e test d'ipotesi sui coefficienti
• Diagnostica
• Specificazione del modello: errori possibili
• ANOVA sottoforma di modello di regressione multipla + ANOVA a 2 vie

Regressione multipla

Venerdì 15 gennaio 2021 10:38

La teoria della regressione lineare multipla risponde all'obiettivo di studiare la dipendenza di una variabile quantitativa Y da un insieme di m variabili esplicative quantitative X1, ..., Xm, dette regressori, mediante un modello lineare.

Formula in popolazione

Y = β₀ + β₁ X₁ + ... + β_m X_m + ε

Componente sistematica - Componente aleatoria -

Formula per la generica osservazione campionaria

Y_i = β₀ + β₁ X_i1 + ... + β_m X_im + ε_i

y = Xβ + ε

• y: n×1; valori della variabile dipendente per le n unità del campione
• X: n×(m+1); valori degli m regressori per le n unità del campione a cui si aggiunge una colonna supplementare composta da n valori tutti pari a 1 in corrispondenza dell'intercetta del modello
• β: (m+1)×1; parametri del modello
• ε: n×1; termini d'errore

Trovare b:

Formula Y teorici y* = Xβ

Metodo minimi quadrati e = y - y* = y - Xb

Sistema di equazioni normali T TX X b = X y

Coefficienti T^-1 Tb* = (X X) X y

Dalla prima equazione: b₀ = b₁ b₂ b_m ...1 2 m...

Il punto di coordinate (...) soddisfa l'equazione di regressione...

La somma (e la media) dei residui è 0...

La somma delle v. empiriche coincide con la somma delle v. teoriche (->dal 1° membro)

Proprietà dei residui

Il vettore dei residui dei minimi quadrati ε è ortogonale (o normale) allo spazio colonna di X (da cui il nome di equazioni normali)

I coefficienti dei regressori nel modello multiplo considerano: relazione tra regressori + relazione tra Y e altri regressori. Si dicono coefficienti parziali (ogni volta che cambiano le variabili cambiano anche i coefficienti).

Se i regressori sono incorrelati (molto raro) i coefficienti del modello multiplo coincidono con i coefficienti di tanti modelli semplici.

Scarti

• b₀ sparisce
• I coefficienti dei regressori non cambiano

Matrice di centering A = I - n^-1J

b₁ = S_xx s_xy

I coefficienti delle v.a. standardizzate non coincidono con quelli delle v.a. grezze; vengono usati per il confronto in modo da stabilire quale regressore è più importante.