Econometria - le ipotesi forti sui residui

F. Carlucci – Traccia per un corso di Econometria

Modulo II – Minimi quadrati

2 LE IPOTESI FORTI SUI RESIDUI

Indice del capitolo

2.1 Un riassunto delle ipotesi imposte al modello lineare............................................... 2

2.2 Residui distribuiti normalmente................................................................................. 3

La funzione di densità congiunta dei residui....................................................... 3

La funzione di densità dello stimatore dei minimi quadrati .............................. 4

σ

Intervalli di confidenza per i parametri del modello lineare semplice con 2

noto ......................................................................................................................... 5

σ

Stima intervallare nel modello lineare multiplo con noto .............................. 6

2 σ

Verifica di ipotesi lineari per i parametri del modello con noto ..................... 7

2

Verifica di ipotesi riguardanti più parametri nel modello lineare multiplo con

σ noto .................................................................................................................... 8

2

2.3 Intervalli di confidenza e verifica di ipotesi lineari semplici per i parametri del

σ ignoto.............................................................................................................. 11

modello con 2

Stima intervallare e verifica di ipotesi nel modello lineare semplice ............... 11

Stima intervallare nel modello lineare multiplo ............................................... 13

Stima intervallare della varianza dei residui ................................................... 14

Verifica di ipotesi lineari semplici nel modello lineare multiplo ...................... 15

Un’applicazione: il test di nullità sui parametri della funzione delle

importazioni......................................................................................................... 16

Verifica di ipotesi lineari semplici per la varianza dei residui......................... 19

2.4 Verifica di ipotesi lineari multiple ............................................................................ 21

Due applicazioni della verifica di ipotesi lineari............................................... 24

Verifica della bontà di adattamento complessiva di un modello...................... 25

2.5 Formulazioni alternative dei test di ipotesi lineari multiple.................................. 28

La verifica dell’ipotesi di omogeneità nei prezzi ................................................ 28

14/04/03, 9.35 Edizione 2.2

Modulo II – Minimi quadrati

2.1 Un riassunto delle ipotesi imposte al modello lineare

È opportuno, a questo punto, riassumere le ipotesi di vario tipo sinora fatte in

relazione al modello lineare. Se questo è il semplice (1.3.1) le ipotesi sono:

α β

1) il campione è omogeneo ed i parametri e sono

invariabili nel tempo;

sono noti, cioè non aleatori;

2) i valori di x t (2.1.1)

− ≠

2

3) m x 0

xx ≠

 t s

0

~ ~ ~

= ∀

⋅ =

4) ,

E (

u ) 0 E u u t,s

( ) 

t t s σ =

2 t s



Se, viceversa, il modello lineare è quello multiplo (1.3.4), in termini matriciali le

ipotesi sono:

i) il campione è omogeneo; in altre parole i parametri

( , )

y X

β

del vettore sono considerati invariabili nel tempo;

ii) è una matrice di costanti;

X (2.1.2)

′

iii) det( )≠0

X X

~ ~ ~ ′

= = σ 2

,

iv) E ( u ) 0 E ( u u ) I n

Con la i) si suppone che la struttura dell’economia rimanga invariata nel

periodo campionario e che quindi sia possibile considerare valide per tutte le

= le equazioni (1.3.1) e (1.3.4). La ii) è un’ipotesi semplificatrice, che in

t 1, 2,…, n,

seguito elimineremo, che limita gli elementi stocastici del modello al residuo ed alla

variabile endogena. La iii) è necessaria per poter determinare la stima dei minimi

quadrati ordinari, sia nel caso non stocastico che in quello stocastico.

Infine, le ipotesi deboli iv) sono utilizzate per determinare alcune

caratteristiche degli stimatori: la non distorsione e l’efficienza, nonché le matrici di

dispersione e di correlazione di quelli dei minimi quadrati e la distorsione della

σ̂ 2

varianza campionaria dei residui.

Si noti che l’ipotesi (3), che abbiamo specificato nel caso semplice per simmetria

con l’ipotesi (iii) formulata nel caso multiplo, in effetti è automaticamente verificata

purché le non siano costanti.

x

t 2-2

Modulo II – Minimi quadrati

2.2 Residui distribuiti normalmente

La funzione di densità congiunta dei residui

Le ipotesi stocastiche precedenti, tuttavia, non permettono di effettuare

un’inferenza statistica completa sul modello lineare; ad esempio, non sono

sufficienti per determinare intervalli di confidenza o per fare verifiche di ipotesi.

Aggiungiamo, allora, l’ipotesi forte che i residui siano distribuiti normalmente con

media nulla e varianza costante

~ σ (2.2.1)

2

∼ ∀

u N ( 0

, ) t

t

cioè che la loro funzione di densità di probabilità sia del tipo XXI-(1.4.19)

{ }

−

= πσ − σ

2 1 / 2 2 2 (2.2.2)

f (

u ) ( 2 ) exp u / 2

t t

Lavorando in termini matriciali si prende in considerazione l’intero vettore

ed è quindi utile disporre della loro funzione di densità congiunta. Questa si

delle u

costruisce facilmente ricordando che per l’ultima delle (2.1.1) o delle (2.1.2) le u

t

sono incorrelate. Come è noto, se due o più variabili aleatorie distribuite in modo

normale sono incorrelate, allora esse sono anche indipendenti. Ma è altresì noto

1

che se due o più variabili sono stocasticamente indipendenti la loro densità

congiunta è uguale al prodotto delle rispettive densità marginali. La densità

2

congiunta delle si ottiene quindi moltiplicando tra di loro densità del tipo

u n

t

(2.2.2) { }

n

( ) ∑

∏ n (2.2.3)

−

= = πσ − σ

n

2 / 2 2 2

f u , u ,..., u f (

u ) ( 2 ) exp u / 2

n t t

1 2 =

t 1

=

t 1

e può essere espressa in termini matriciali come

{ }

′

−

= πσ − σ (2.2.4)

2 n / 2 2

u u u

f ( ) ( 2 ) exp / 2

La (2.2.4) è una funzione di densità congiunta di tipo normale multivariato con

2

σ

valor medio e matrice di dispersione la cui espressione nel caso generale è

0 I

data dalla XXI-(2.5.5), che riportiamo per comodità

 

′

1

n 1

( ) ( ) ( ) ( ) ( )

− − −

= π − − −

Σ µ Σ µ

1

2 det exp

f x x x

 

2 2 (2.2.5)

2

  µ

dove è un vettore aleatorio con elementi, di valor medio e matrice di

x n

Σ

dispersione .

Si veda il teorema XXI-2.4.

1 Si veda il paragrafo XXI-2.2 e in particolare la XXI-(2.2.16).

2 2-3

Modulo II – Minimi quadrati

Osservazione 2.1 – La (2.2.5) si riduce al caso particolare (2.2.4) se si

considera che per le (2.1.1)-(2.1.2) le hanno media nulla (e quindi

u 2

µ Σ σ

), e inoltre sono incorrelate e omoschedastiche, per cui e

= 0 = I

2n -1 -2

σ Σ σ

quindi e . Effettuando queste sostituzioni nella

det(Σ) = = I

(2.2.5) con al posto di si ottiene la (2.2.4). In simboli la (2.2.4) viene

u x

espressa asserendo che

~ 2

∼N(0,σ (2.2.6)

I )

u n

Osservazione 2.2 - Nelle ipotesi precedenti (forti) i residui sono

Indipendenti ed Identicamente Distribuiti; queste loro qualità sono

indicate con l’acronimo IID.

La funzione di densità dello stimatore dei minimi quadrati

La (2.2.4) o (2.2.6) ci permette di ricavare immediatamente la distribuzione di

β̂

probabilità dello stimatore . Abbiamo visto nella (1.6.16) che esso può essere

~

espresso in funzione del vettore aleatorio u ~

ˆ (2.2.7)

′ ′

−

β β

= + 1

X X X u

( )

e quindi basterà applicare il teorema XXI-2.3 sulle trasformazioni lineari di

per ottenere

variabili normalmente distribuite 3 (2.2.8)

2 -1

β̂ ′

∼N[β,σ X X

( ) ]

La funzione di densità dello stimatore è quindi

{ }

ˆ ˆ ˆ (2.2.9)

′ ′ ′

− −

β = πσ − β − β β − β σ

2 k / 2 1 / 2 2

X X X X

f ( ) ( 2 ) ( det ) exp ( ) ( ) / 2

dove si è fatto uso del teorema XIX-1.5 applicando il quale si ricava che

−2 −2

′ ′ .

X X I X X

det(σ )=det(σ )⋅det( )

k

Sempre applicando il teorema XXI-2.3 si trova immediatamente la distribuzione

dei residui stimati . Questi, infatti, per la (1.7.3) sono una funzione lineare del

û

~

vettore aleatorio che per la (2.2.6) è distribuito in modo multinormale. Avremo

u

allora ~ (2.2.10)

û M

= u

da cui ricaviamo la distribuzione dei residui stimati

~ ~ ~

µ Σ µ Σ

x ~ ( , ) y = A x + b ~ ( A +b, A A’ ).

N N

Il teorema asserisce che se , allora Nel

3 ~ ~ β

x u Σ σ

caso della (2.2.7) abbiamo le posizioni seguenti: = ; b = ; A = (X′X) X′; = I,

-1 2

applicando le quali si ottiene il risultato (2.2.8). 2-4

Modulo II – Minimi quadrati

2

∼N σ (2.2.11)

(0, M)

û

dato che in questo caso

~ ~ ~ ~ ~ 2 2

′ ′ σ ′ σ

′ ′)

(M ) = (M M ) = M ( M = MM = M

Cov E E

u u u u u

Vedremo in seguito che, sfruttando il teorema del limite centrale, se si elimina

l’ipotesi di normalità dei residui, mantenendo le altre, la (2.2.8) continua a valere,

seppure asintoticamente. 2

σ

Intervalli di confidenza per i parametri del modello lineare semplice con noto

Se poniamo  

2

1 x

 

+ 2

= a

1

  11

− 2

n m x

 

xx

1 = 2

a

( ) 22

− 2

n m x

xx

ricordando le (1.6.9) e (1.6.8) le distribuzioni degli stimatori dei parametri di

β β

e sono

regressione 1 2 (2.2.12)

β̂ ∼ β σ β̂ ∼ β σ

2 2 2 2

( , ) ( , )

N a N a

1 11 2 22

1 2

Effettuando le trasformazioni lineari

ˆ ˆ

β − β β − β

1 1 2 2

e (2.2.13)

σ σ

a a

11 22

possiamo standardizzare gli stimatori, che così trasformati hanno distribuzione

normale standard (si veda la XXI-(1.6.4)).

4

β̂ β̂

che per allora, si può calcolare l’intervallo di confidenza più corto

Sia per 1 2 2

α σ

(simmetrico rispetto al valor medio) al livello , supponendo noto, partendo

dalla condizione ~

′ ′

′

≤ < = − α

P ( z z z ) 1 (2.2.14)

~ α/2

′ ′′

e sono i quantili di probabilità e rispettivamente,

dove z N z z

~ (0, 1) , 1−α/2

forniti dalle tavole della distribuzione normale standardizzata. L’intervallo è,

dunque,

Nel derivare le (2.2.12) abbiamo applicato il risultato esposto dalla XXI-(2.5.11) secondo

4

cui le distribuzioni marginali di una distribuzione normale multivariata sono esse stesse

normali. Si veda il paragrafo XXI-2.5. 2-5

Modulo II – Minimi quadrati

ˆ

β − β ′

′

′ <

≤ 1 1

z z

σ

a

11

cioè ˆ ˆ

′

′ ′

β − σ < β ≤ β − σ (2.2.15)

a z a z

1 11 1 1 11

β e

nel caso di 1 ˆ

β − β

′ ′

′

≤ <

2 2

z z

σ

a 22

cioè ˆ ˆ

′

′ ′

β − σ < β ≤ β − σ (2.2.16)

a z a z

2 22 2 2 22

β α=0.05

. Al livello di significatività i due quantili sono e

nel caso di z′=−1.96

2

(si veda la figura XXI-1.1).

z′′=1.96

Gli intervalli di confidenza (2.2.15) e (2.2.16) sono aleatori poiché i loro estremi

α, definisce la probabilità

sono funzioni dello stimatore. Il livello di confidenza che

β

che risulti al di fuori dell’intervallo, è determinato soggettivamente: se è scelto

i

troppo piccolo l’intervallo risulta grande e quindi poco utile ad indicare la

dispersione dello stimatore; se è troppo grande, la probabilità che l’intervallo

β β

contenga o diminuisce, e di nuovo l’informazione fornita dall’intervallo di

1 2

confidenza diventa scarsa.

Osservazione 2.3 - Considerando quanto argomentato sopra si trae che

è la probabilità che l’intervallo di confidenza (2.2.15) contenga il

1−α β β

parametro e che il (2.2.16) contenga . Ad esempio, se poniamo

1 2

α le (2.2.15)-(2.2.16) definiranno gli intervalli di confidenza al

= 0.05

95% per i due parametri del modello di regressione semplice.

σ

Stima intervallare nel modello lineare multiplo con noto

2 σ 2 2

Più in generale, passando al caso del modello lineare multiplo, se indica la

a ii -1

′

β̂ 2

varianza di , dove è l’elemento -esimo della diagonale principale di , si

i ( )

X X

a

i ii

ha che (2.2.17)

∼ β σ

β̂ 2 2

N ( , a )

i i ii β̂ è

per cui la trasformazione lineare che standardizza i

β̂ − β

i i (2.2.18)

σ ⋅ a ii

e l’intervallo di confidenza all’ diventa

(1-α)×100% 2-6

Modulo II – Minimi quadrati

ˆ ˆ (2.2.19)

′

′ ′

β − σ ⋅ ⋅ < β ≤ β − σ ⋅ ⋅

a z a z

i ii i i ii

Osservazione 2.4 – Riassumiamo per comodità del lettore la catena di

implicazioni che permette di pervenire alla (2.2.19) a partire dalle

ipotesi forti sui residui

~ ˆ ˆ

′ −

β̂

σ ⇒

∼ ∼ ∼

∼ β σ ⇒ β β σ ⇒ β − β σ

2 2 1 2 2 ( 0

,

1

)

N

( , )

N 0 I [ , ( ) ]

N X X N ( , a ) ( ) / a

u i i ii i i ii

2

σ

Verifica di ipotesi lineari per i parametri del modello con noto

Come è noto, esiste una dualità fra stima intervallare e verifica delle ipotesi (si

veda il capitolo XXIII-2), per cui la trasformazione (2.2.18) può essere utilizzata

β

anche come statistica per verificare l’ipotesi nulla che il parametro sia uguale ad

i

2

σ

un prefissato valore , sempre supponendo noto

r i β =

 H : r

i i

0

 (2.2.20)

β ≠

H : r

 i i

1

Nel sistema di ipotesi (2.2.20) l’ipotesi nulla viene contrapposta all’ipotesi

β ≠ .

alternativa H : r

1 i i β = nella (2.2.20) e

Per controllare l’ipotesi nulla è sufficiente sostituire r

i i

verificare se il valore trovato ˆ

β − r

= i i

z (2.2.21)

σ

a ii

è compreso nell’intervallo di accettazione di formato da oppure in quello di

H [z′,z′′)

0

rifiuto, composto dalle due semirette ≥

e

z < z′ z z′′ β −r =

In forma poco rigorosa ma espressiva si può asserire che l’ipotesi nulla è

0

i i

−r

β̂

accettata se la differenza si ritrova vicino allo zero (appartiene all’intervallo

i

i

di accettazione); è rifiutata se tale differenza è lontana dallo zero (appartiene

all’intervallo di rifiuto). La divisione per lo scarto quadratico medio serve a

β̂

standardizzare la distanza fra e il valore ipotizzato, depurandola dell’unità di

i

misura e permettendone il confronto con i quantili della normale standard.

Fra le applicazioni più frequenti di questo test vi è la verifica dell’ipotesi di

β

nullità del parametro . In questo caso l’ipotesi nulla è che il parametro sia uguale

i

a zero e l’alternativa che sia diverso da zero

β =

 H : 0

i

0

 (2.2.22)

β ≠

H : 0

 i

1 2-7

Modulo II – Minimi quadrati

Questo sistema di ipotesi, per quanto semplice, ha una notevole rilevanza ai fini

della specificazione del modello, perché se l’ipotesi nulla non viene respinta ciò

significa che l’i-esima variabile viene mo