Modello OLS schema

X

(non stocastica) e possiede rango pieno (le variabili indipendenti saranno

( )=k

linearmente indipendenti), quindi .

p X

3. Caratteristiche della distribuzione dei termini di errore, sarà un

u

[ ]

( ) =0

E u u

vettore casuale di componenti indipendenti, tale che , con

i j

.

i≠ j

Dove: [ ]

1) .

=0

E u [ ] 2

2) La matrice di varianza/covarianza costante è , dove I

=σ

COV u I

è la matrice identità, cioè la matrice diagonale simmetrica dove i

termini diagonali sono tutti uguali ad 1 mentre i termini off-diagonali

sono nulli.

3) Ai fini inferenziali occorrerà anche assumere che i termini di errore

siano distribuiti normalmente, cioè secondo una distribuzione

2

normale: .

(0, )

u N σ Ι

L’ipotesi di varianza costante degli errori è detta assunzione di

omoschedasticità degli errori. Questa potrebbe apparire in alcuni casi poco

ragionevole portando ad una sua violazione; si parlerebbe in questo caso di

eteroschedasticità degli errori.

Lo stimatore OLS e proprietà

L’obiettivo principale dell’analisi di regressione sopra descritta è stimare il

vettore dei coefficienti di regressione che permetta di individuare la funzione di

^ ^

regressione, così da ottenere . Dove è il vettore composto dai

y

^ =

y X β

valori stimati della variabile dipendente sulla base delle stime ottenute per i

coefficienti di regressione.

Il metodo più diffuso per ottenere gli stimatori dei parametri di regressione è il

metodo dei minimi quadrati ordinari (OLS).

Tale metodo consiste nella minimizzazione, rispetto al vettore dei

β

parametri di regressione, della RSS (la somma dei quadrati dei residui). Si vuole

quindi rendere minima la distanza tra i valori empirici della varabile dipendente

(derivanti dalle osservazioni campionarie) e i corrispondenti valori stimati.

La RSS è sempre non negativa ed è uguale a zero solamente quando per ogni

osservazione il valore stimato è uguale al valore osservato.

La RSS aumenta al crescere della distanza tra i valori osservati e i valori stimati

ed è questo il motivo per cui il modello dei minimi quadrati ordinari è quello

che minimizza tale distanza rispetto al vettore dei parametri di

β

regressione.

Per ottenere la closed form dello stimatore OLS bisogna innanzitutto partire

+u

dalla formula generale del modello di regressione, e si isola il

y= X β

vettore dei termini di disturbo ottenendo .

u= y−X β

A questo punto si procede ad individuare i residui al quadrato nella seguente

maniera: ( )

u 1

T T

) =S

u u=(u , … … , u ⋮

1 k u k

Da cui avremo che:

T T

u=( )

−X ( )

S=u y β y− X β

Bisognerà quindi minimizzare S rispetto al vettore dei parametri di regressione,

ovvero fare il .

minS( β)

T T T T T Τ Τ T Τ Τ Τ Τ

( ) =( ) ( )= − +

S β y−X β y− X β y y−β X y y Xβ+ β Χ Χ β= y y−2 β Χ y β Χ Χβ

Α questo punto si fa la derivata rispetto a e poi si pone uguale a 0, quindi:

β

(β)

δ S T T

=−2 +2

X y X X β=0

δβ

Si ottiene così

T Τ

X X β= Χ y

T

Poiché è invertibile dal momento che X è una matrice che possiede

X X

rango pieno, otteniamo:

−1

^ ( )

T T

=

β X X X y

OLS

Possiamo dimostrare che questo punto stazionario è effettivamente un minimo

mediante l’analisi delle c.d. condizioni di secondo ordine.

Proprietà dello stimatore OLS

Le proprietà dello stimatore OLS sono le seguenti: