Econometria - i minimi quadrati

Formattazione del testo

X. 5u Se la matrice è invertibile, cioè se6X'X ≠ 0 si ottiene la stima dei minimi quadrati ordinari (1.4.10)-1β̂ = (X'X)^(-1)X'y Più oltre, in questo paragrafo, determineremo la condizione sufficiente per il minimo.

In conclusione, l'unica ipotesi che è necessario fare per calcolare la stima dei β̂ mediante la formula (1.4.10), oltre al requisito dell'omogeneità minimi quadrati del campione (y,X), è che valga la (1.4.9).

Per la nozione di ortogonalità fra vettori si veda il par. XIX-1.1.5 Nel paragrafo XIX-1.8 si mostra che il determinante di X'X è nonnegativo per una qualsiasi X.

1-13 Modulo II – Minimi quadrati

1.9 – Poiché il rango massimo di X'X è k, per i teoremi Osservazione XIX-1.4 e XIX -1.3 la condizione (1.4.9) è equivalente alla seguente n k r X ≥ k.

L'ortogonalità dei residui

Rispetto alle variabili esplicative β̂, poiché le equazioni normali (1.4.8) sono soddisfatte da definita dalla (1.4.10), vale la relazione −1′ β̂ = ′ ′ ′ = ′ (1.4.12)X X X X( X X ) X y X y ′[ ]= che viene utilizzata per dimostrare delle stimel’ortogonalità ˆ ˆ ˆ ˆu u u ... u1 2 ndei residui rispetto alle variabili esplicative. Coerentemente con la (1.4.2) si ha7= − = − β̂ (1.4.13)uˆ y yˆ y Xcostituito dalla differenza tra il vettore dei valori osservati e quello dei valoriŷyteorici = β̂ (1.4.14)yˆ X β̂formati dalla componente sistematica delle con i parametri stimati tramite ily itcriterio dei minimi quadrati. L’ortogonalità di rispetto alle variabili esplicativeûconsiste, dunque, nel fatto che è (1.4.15)′ = ′ − β = ′ − ′ β =ˆ ˆX uˆ X ( y X ) X y X X 0per la (1.4.8).

′ˆ ˆ ˆ ˆ ˆ ˆy y ( X uˆ ) ( X uˆ ) ' X X ' X uˆ uˆ ' X uˆ uˆ yˆ ' yˆ uˆ uˆe che lega i valori osservati con i teorici e i residui stimati.

Se l’equazione (1.3.4) contiene l’intercetta, una delle colonne di , ad esempioX′l’ultima, è costituita da unità, per cui anche l’ultima riga di è formata da 1, eXdalla (1.4.15) deriva che n∑ (1.4.18)=ˆu 0t=t 1cioè il valor medio campionario dei residui stimati è nullo, se viene calcolatal’intercetta. La (1.4.18) generalizza la prima delle (1.3.13). In questo caso,considerando la (1.4.2), si ha anche che il valor medio campionario delle è ugualeytal valor medio campionario delle stimateŷ tn n1 1∑ ∑= = (1.4.19)ˆy y yt tn n= =t 1 t 11.10 - L’equazione del sistema (1.4.15) può essereOsservazione i-esimascritta nella forman n∑

∑′− β = =ˆ (1.4.20)ˆx ( y x ) x u 0it t t it t= =t 1 t 1dove è il vettore delle variabili esplicative al tempo . Se in virtùk tx′ t =1,della presenza dell’intercetta è, ad esempio, per ogni , si ottienex tktnuovamente la (1.4.18).Un esempio: il modello lineare semplice in termini matricialiTrattiamo il caso del modello lineare semplice (1.3.1) in termini matriciali. La(1.4.4) è in forma esplicita   y u1 1    y 1 x u   2 1 2    β ... 1 x ... = +2 1      β   ... ... ... ...2     ... 1 x ...   n      y un n′per cui la matrice èX X 1-15Modulo II – Minimi quadrati n∑ n x t′ =  =t 1X X n n ∑ ∑ 2x x t t = =t 1 t 12 n n∑ ∑′ = −  con

determinante e aggiunta2det( X X ) n x xt t = =t 1 t 1 n n∑ ∑−2 x xt t′ =  = =t 1 t 1agg ( X X ) n ∑− x n t =t 1

Si ha, allora, facendo uso delle posizioni (1.3.8)  −−    β  ˆ y m y xmm x1 1−′ ′= = = xx xy1 xx 1     ( X X ) X y −− − −βˆ 2 2  m m x y     m x x 1 m xxy xyxx xx2stime uguali alle (1.3.11) e (1.3.10), rispettivamente.

La condizione sufficiente per i minimi quadratiDeterminiamo ora le condizioni sufficienti affinché la devianza (1.4.6) possegga unβ̂minimo nel punto estremante trovato tramite la condizione necessaria (1.4.10).Se consideriamo il differenziale del secondo ordine della funzione (β)S (1.4.21)2d S(β ) = dβ′Hdβdove ed è la matrice quadrata simmetrica di ordine , dettadβ = (dβ dβ …

dβ) H k1 2 k, il cui elemento generico (i, èhessiana j)∂ β2 S ( )∂β ∂βi jè positivo o negativo a seconda che sia definita positiva o negativa. Così la2d S(β) Hβ̂condizione sufficiente affinché corrisponda ad un minimo (la positività deldifferenziale ) è che la matrice2d S(β) ∂ β2 S ( )= =2 ′H X X (1.4.22)∂β ∂βi j βottenuta derivando la (1.4.7) rispetto a sia definita positiva. Ma per l’ipotesiβ̂′(1.4.11) e il teorema XIX-1.8 la è definita positiva e quindi è un punto diX Xminimo. 1-16Modulo II – Minimi quadratiDunque la condizione (1.4.9) oppure l’equivalente (1.4.11) è necessaria eβ̂sufficiente perché sia un minimo per (β).S1.11 - In analogia a quanto asserito sopra, la condizioneOsservazione β̂sufficiente affinché corrisponda ad un massimo (la negatività

La differenza tra le condizioni sufficienti e necessarie per la matrice S(β) è che la matrice sia definita negativa.

Le condizioni sufficienti possono essere dimostrate anche senza ricorrere al differenziale del secondo ordine (1.4.21). A questo scopo scriviamo la devianza (β) nel modo seguente:

′n∑ ′β = = = − β − β =2S ( ) u u u (y X ) ( y X )t=t 1 ′= − β + β − β − β + β − β =ˆ ˆ ˆ ˆ( y X X X ) ( y X X X ) (1.4.23)′= − β − β − β − β − β − β =ˆ ˆ ˆ ˆ[( y X ) X ( )] [( y X ) X ( )]′ ′ ′= − β − β + β − β β − βˆ ˆ ˆ ˆ( y X ) ( y X ) ( ) X X ( )dove si è sfruttato il fatto che i prodotti incrociati sono nulli per la proprietà di ortogonalità esposta nella (1.4.16)8′ ′− β β

allaˆ ˆ ˆ( ) X X ( ) 0 0 βdisuguaglianza utilizzata per mostrare che la devianza ( ) è minimaSβ = βnella (1.4.23) quando .ˆNelle due uguaglianze seguenti sono utilizzate le proprietà dell’operazione di8trasp