Regressione Lineare Semplice

Regressione lineare semplice

Caratteristiche

• Modello semplice
• È lineare rispetto ai parametri
• Può costituire una buona approssimazione soprattutto per uno “studio locale”, ovvero attorno ad un punto prefissato

Ipotesi sugli errori

1. Non sistematicità degli errori

Gli errori non si discostano sistematicamente in positivo o in negativo dalla componente deterministica del modello. Questa non è un'ipotesi impegnativa, infatti basta che nel modello ci sia una intercetta e l'eventuale errore possa essere inglobato in questa. Posso ridefinire una nuova v.c. e il modello diventa

2. Incorrelazione degli errori

Questo implica che gli errori relativi ad unità statistiche differenti sono incorrelati.

3. Omoschedasticità degli errori

Le v.c. hanno tutte la stessa varianza. Questo implica che gli errori sono omoschedastici.

Ipotesi sulla variabile esplicativa

1. È nota senza errore

• La fisso
• La osservo
• Tutto il modello è condizionato alle variabili osservate

2. Assume almeno 2 valori distinti sulle unità statistiche

Stima dei parametri

Osservo su unità statistiche i valori delle variabili osservate. Le variabili esplicative sono fisse mentre le dipendenti sono determinazioni di una v.c. La retta di regressione è:

Devo quindi stimare i coefficienti della regressione e la varianza degli errori. La determinazione della i-esima unità statistica è una determinazione della v.c. ed è osservabile. L'errore è lo scarto, determinazione della v.c., e non è osservabile.

Stimo i parametri con il metodo dei minimi quadrati. Le stime dei parametri le ottengo minimizzando la somma degli scarti al quadrato. Ne calcolo il differenziale e lo pongo uguale a zero. Lo riscrivo e diventa:

La matrice Hessiana è definita positiva quindi i 2 punti trovati sono punti di minimo.

Le stime sono i parametri mentre le stime degli errori sono le stime relative.

Nota

• Dal primo sistema si ricava anche che:
• Il metodo dei minimi quadrati è un metodo non parametrico, cioè non necessita di ipotesi sulla distribuzione degli errori

Il valore teorico è indicato e i residui (che sono calcolabili a differenza degli scarti) sono noti.

Proprietà della retta dei minimi quadrati

• La retta passa per il punto medio dei dati
• Scomposizione della devianza

Dimostro la proprietà 3:

Costruisco l'indice di bontà che è l'indice di bontà della retta dei minimi quadrati. Si può dimostrare inoltre che coincide con il quadrato del coefficiente di correlazione lineare campionario.

Inferenza