Regressione Lineare Semplice

Stima dei parametri

Osservo su unità statistiche i valori . Le sono fisse mentre le sono determinazioni di

una v.c. La retta di regressione è:

Devo quindi stimare i coefficienti della regressione ( ) e la varianza degli errori (

La determinazione della i-esima u.s. è

è determinazione della v.c. ed è osservabile. è lo scarto, determinazione della v.c. e non è

osservabile

Stimo e col metodo dei minimi quadrati

Le stime dei parametri le ottengo minimizzando la somma degli scarti al quadrato.

Ne calcolo il differenziale e lo pongo uguale a zero

Lo riscrivo e diventa

La matrice Hessiana è definita positiva quindi i 2 punti trovati sono punti di minimo

Le stime sono:

e sono i parametri mentre e sono le relative stime

NOTA: Dal primo sistema si ricava anche che:

NOTA: Il metodo dei minimi quadrati è un metodo non parametrico, cioè non necessita di ipotesi sulla

distribuzione di e

NOTA: è il valore teorico di

sono i residui (che sono calcolabili a differenza degli scarti)

Proprietà della retta dei minimi quadrati:

1.

2. La retta passa per il punto

3. Scomposizione della devianza:

Dimostro la proprietà 3

Quindi

Costruisco l’indice di bontà

Quello è l’indice di bontà della retta dei minimi quadrati.

Si può dimostrare inoltre che coincide con il quadrato del coefficiente di correlazione lineare

campionario,

Inferenza

e sono le stime per le quali definiscono gli stimatori e

dove

Quindi è combinazione lineare delle

Sotto l’ipotesi di non sistematicità degli errori la sommatoria scritta sopra la posso riscrivere come:

Quindi,sotto l’ipotesi di non sistematicità degli errori, è stimatore corretto per

Ne calcolo la varianza:

Sotto le ipotesi di omoschedasticità degli errori e di incorrelazione ho che:

Riassumendo

Quindi è consistente per sotto le ipotesi di non sistematicità degli errori, incorrelazione e

omoschedasticità.

Al variare di nel campione forma lo stimatore

Quindi, sotto l’ipotesi di non sistematicità degli errori, è stimatore corretto per

Sotto le ipotesi di omoschedasticità degli errori e incorrelazione ho trovato la varianza di

Riassumendo

Quindi è stimatore consistente per sotto le ipotesi classiche

La varianza degli stimatori è inversamente proporzionale alla varianza di . Se è possibile controllare

l’esperimento occorre predisporre il disegno campionario in modo tale che sia elevata.

Riassunto degli stimatori e relative proprietà

Come ultima cosa calcolo

Sotto l’ipotesi di non sistematicità degli errori sotto le ipotesi di non sistematicità degli errori e

omoschedasticità. sotto le ipotesi di non sistematicità degli errori e

incorrelazione.

Per concludere

Se la variabile esplicativa si dice centrata e

In generale ho che sono correlati a meno che . A parità di ci aspettiamo più precisione per

. Ora mi manca solo da stimare

lo stimo come:

Si dimostra che è corretto per . Inoltre se si assume che le sono incorrelate è anche consistente.

lo posso calcolare come:

Sostituendo nella varianza degli stimatori trovo una stima della loro varianza.

si chiama Errore Standard Della Regressione

Errori Standard degli Stimatori (SE)

Teorema di Gauss-Markov

Sotto le 3 ipotesi classiche del modello di regressione lineare semplice, gli stimatori dei minimi quadrati

e per e sono:

1. Lineari

2. Non distorti

3. I più efficaci nella classe degli stimatori lineari e non distorti

Normalità degli

Per fare ulteriore inferenza devo aggiungere una ipotesi sulla legge di distribuzione delle v.c.

Suppongo con

La media è per l’ipotesi di non sistematicità degli errori e la varianza è per le ipotesi di

omoschedasticità e incorrelazione degli errori.

Di conseguenza si distribuisce come

Stima di Massima Verosimiglianza

Devo stimare . Utilizzo la distribuzione normale per stimarli e li indico come

La funzione di verosimiglianza è:

sono le stime e indico i relativi stimatori come

E’ possibile dimostrare che si ottengono gli stessi risultati che col metodo dei minimi quadrati, cioè

e godono delle proprietà degli stimatori di massima verosimiglianza cioè consistenza e normalità

asintotica (anche se sono già distribuiti come una normale e quindi vale anche per finito).

Posso scrivere

Inoltre da sopra ricavo che:

Con le 3 ipotesi classiche e la normalità, in base al teorema di Gauss, è efficiente in modo assoluto

Distribuzione di

Dalla log-verosimiglianza ricavo che

Però è uno stimatore distorto per .

è la stima corretta di .

Si può dimostrare che

Verifica di Ipotesi

Ipotesi su

Utilizzo la statistica test

So che

però questa non è una statistica-test in quanto dipende da parametri ignoti. Stimo come e quindi,

sotto ottengo

dato che

 e se diventa

 La zona di rifiuto è:

 L’intervallo di confidenza per a livello è:

Per valutare la significatività posso anche valutare il p-value, cioè

Se , se allora rifiuto