Econometria - le ipotesi forti sui residui

F. Carlucci – Traccia per un corso di econometria

Modulo II – Minimi quadrati

2 Le ipotesi forti sui residui

Indice del capitolo

• 2.1 Un riassunto delle ipotesi imposte al modello lineare............................................... 2
• 2.2 Residui distribuiti normalmente................................................................................. 3
• La funzione di densità congiunta dei residui....................................................... 3
• La funzione di densità dello stimatore dei minimi quadrati .............................. 4
• σ Intervalli di confidenza per i parametri del modello lineare semplice con 2 noto ......................................................................................................................... 5
• σ Stima intervallare nel modello lineare multiplo con noto .............................. 6
• 2 σ Verifica di ipotesi lineari per i parametri del modello con noto ..................... 7
• 2 Verifica di ipotesi riguardanti più parametri nel modello lineare multiplo con σ noto .................................................................................................................... 8
• 2.3 Intervalli di confidenza e verifica di ipotesi lineari semplici per i parametri del σ ignoto.............................................................................................................. 11
• Modello con 2
• Stima intervallare e verifica di ipotesi nel modello lineare semplice ............... 11
• Stima intervallare nel modello lineare multiplo ............................................... 13
• Stima intervallare della varianza dei residui ................................................... 14
• Verifica di ipotesi lineari semplici nel modello lineare multiplo ...................... 15
• Un’applicazione: il test di nullità sui parametri della funzione delle importazioni......................................................................................................... 16
• Verifica di ipotesi lineari semplici per la varianza dei residui......................... 19
• 2.4 Verifica di ipotesi lineari multiple ............................................................................ 21
• Due applicazioni della verifica di ipotesi lineari............................................... 24
• Verifica della bontà di adattamento complessiva di un modello...................... 25
• 2.5 Formulazioni alternative dei test di ipotesi lineari multiple.................................. 28
• La verifica dell’ipotesi di omogeneità nei prezzi ................................................ 28

14/04/03, 9.35 Edizione 2.2

Modulo II – Minimi quadrati

2.1 Un riassunto delle ipotesi imposte al modello lineare

È opportuno, a questo punto, riassumere le ipotesi di vario tipo sinora fatte in relazione al modello lineare. Se questo è il semplice (1.3.1) le ipotesi sono:

• Il campione è omogeneo ed i parametri α e β sono invariabili nel tempo;
• I valori di x_t sono noti, cioè non aleatori;
• m_x ≠ 0 x_t ≠ x_s ∀ t ⋅ s = 0;
• E(u_t) = 0, E(u_tu_s) = σ² t = s.

Se, viceversa, il modello lineare è quello multiplo (1.3.4), in termini matriciali le ipotesi sono:

• Il campione è omogeneo; in altre parole i parametri del vettore (β, y, X) sono considerati invariabili nel tempo;
• X è una matrice di costanti;
• det(X′X) ≠ 0;
• E(u) = 0, E(uu′) = σ²I_n.

Con la i) si suppone che la struttura dell’economia rimanga invariata nel periodo campionario e che quindi sia possibile considerare valide per tutte le t = 1, 2, …, n, le equazioni (1.3.1) e (1.3.4). La ii) è un’ipotesi semplificatrice, che in seguito elimineremo, che limita gli elementi stocastici del modello al residuo ed alla variabile endogena. La iii) è necessaria per poter determinare la stima dei minimi quadrati ordinari, sia nel caso non stocastico che in quello stocastico.

Infine, le ipotesi deboli iv) sono utilizzate per determinare alcune caratteristiche degli stimatori: la non distorsione e l’efficienza, nonché le matrici di dispersione e di correlazione di quelli dei minimi quadrati e la distorsione della varianza campionaria dei residui σ̂².

Si noti che l’ipotesi (3), che abbiamo specificato nel caso semplice per simmetria con l’ipotesi (iii) formulata nel caso multiplo, in effetti è automaticamente verificata purché le x_t non siano costanti.

2-2

Modulo II – Minimi quadrati

2.2 Residui distribuiti normalmente

La funzione di densità congiunta dei residui

Le ipotesi stocastiche precedenti, tuttavia, non permettono di effettuare un’inferenza statistica completa sul modello lineare; ad esempio, non sono sufficienti per determinare intervalli di confidenza o per fare verifiche di ipotesi.

Aggiungiamo, allora, l’ipotesi forte che i residui siano distribuiti normalmente con media nulla e varianza costante:

u_t ∼ N(0, σ²) ∀ t (2.2.1)

cioè che la loro funzione di densità di probabilità sia del tipo XXI-(1.4.19):

f(u_t) = (2πσ²)^−1/2 exp {−u_t² / 2σ²} (2.2.2)

Lavorando in termini matriciali si prende in considerazione l’intero vettore delle u ed è quindi utile disporre della loro funzione di densità congiunta. Questa si costruisce facilmente ricordando che per l’ultima delle (2.1.1) o delle (2.1.2) le u_t sono incorrelate. Come è noto, se due o più variabili aleatorie distribuite in modo normale sono incorrelate, allora esse sono anche indipendenti. Ma è altresì noto¹ che se due o più variabili sono stocasticamente indipendenti la loro densità congiunta è uguale al prodotto delle rispettive densità marginali. La densitಠcongiunta delle u_t si ottiene quindi moltiplicando tra di loro densità del tipo (2.2.2):

f(u₁, u₂, ..., u_n) = ∏_t=1ⁿ f(u_t) = (2πσ²)^−n/2 exp {−∑_t=1ⁿ u_t² / 2σ²} (2.2.3)

e può essere espressa in termini matriciali come:

f(u) = (2πσ²)^−n/2 exp {−u′u / 2σ²} (2.2.4)

La (2.2.4) è una funzione di densità congiunta di tipo normale multivariato con valor medio 0 e matrice di dispersione σ²I_n, la cui espressione nel caso generale è data dalla XXI-(2.5.5), che riportiamo per comodità:

f(x) = 1 / [2π^n/2 det(Σ)^1/2] exp {−(x − μ)′Σ⁻¹(x − μ) / 2} (2.2.5)

dove x è un vettore aleatorio con n elementi, μ di valor medio e matrice di dispersione Σ.

Si veda il teorema XXI-2.4.¹ Si veda il paragrafo XXI-2.2 e in particolare la XXI-(2.2.16).²

2-3

Modulo II – Minimi quadrati

Osservazione 2.1 – La (2.2.5) si riduce al caso particolare (2.2.4) se si considera che per le (2.1.1)-(2.1.2) le u hanno media nulla (e quindi μ = 0), e inoltre sono incorrelate e omoschedastiche, per cui Σ = σ²I_n e det(Σ) = σ²ⁿ = σ²ⁿ det(I). Effettuando queste sostituzioni nella (2.2.5) con u al posto di x si ottiene la (2.2.4). In simboli la (2.2.4) viene espressa asserendo che:

u ∼ N(0, σ²I_n) (2.2.6)

Osservazione 2.2 - Nelle ipotesi precedenti (forti) i residui sono Indipendenti ed Identicamente Distribuiti; queste loro qualità sono indicate con l’acronimo IID.

La funzione di densità dello stimatore dei minimi quadrati

La (2.2.4) o (2.2.6) ci permette di ricavare immediatamente la distribuzione di probabilità dello stimatore β̂. Abbiamo visto nella (1.6.16) che esso può essere espresso in funzione del vettore aleatorio u:

β̂ = β + (X′X)⁻¹X′u (2.2.7)

e quindi basterà applicare il teorema XXI-2.3 sulle trasformazioni lineari di variabili normalmente distribuite³ per ottenere:

β̂ ∼ N[β, σ²(X′X)⁻¹] (2.2.8)

La funzione di densità dello stimatore β̂ è quindi:

f(β̂) = (2π)^−k/2 (σ^2k det(X′X)⁻¹)^−1/2 exp {−(β̂ − β)′(X′X)(β̂ − β) / 2σ²} (2.2.9)

dove si è fatto uso del teorema XIX-1.5 applicando il quale si ricava che det(σ²(X′X)⁻¹) = det(σ²I)^k ⋅ det(X′X)⁻¹.

Sempre applicando il teorema XXI-2.3 si trova immediatamente la distribuzione dei residui stimati û. Questi, infatti, per la (1.7.3) sono una funzione lineare del vettore aleatorio u che per la (2.2.6) è distribuito in modo multinormale. Avremo allora:

û = Mu (2.2.10)

da cui ricaviamo la distribuzione dei residui stimati:

û ∼ N(0, σ²M) (2.2.11)

dato che in questo caso:

Cov(û) = E ûû′ = E(Mu)(Mu)′ = MEuu′M′ = σ²MM′ = σ²M.

Il teorema asserisce che se x ∼ N(μ, Σ), allora y = Ax + b ∼ N(Aμ + b, AΣA′). Nel caso della (2.2.7) abbiamo le posizioni seguenti: x = u; μ = 0; b = 0; A = (X′X)⁻¹X′; Σ = σ²I, applicando le quali si ottiene il risultato (2.2.8).³

Vedremo in seguito che, sfruttando il teorema del limite centrale, se si elimina l’ipotesi di normalità dei residui, mantenendo le altre, la (2.2.8) continua a valere, seppure asintoticamente.

Intervalli di confidenza per i parametri del modello lineare semplice con σ² noto

Se poniamo:

a₁₁ = [1 / n] + [m_x² / ∑(x_t − m_x)²]

a₂₂ = 1 / ∑(x_t − m_x)²

ricordando le (1.6.9) e (1.6.8) le distribuzioni degli stimatori dei parametri di regressione β₁ e β₂ sono:

β̂₁ ∼ N(β₁, σ²a₁₁)   β̂₂ ∼ N(β₂, σ²a₂₂) (2.2.12)

Effettuando le trasformazioni lineari:

(β̂₁ − β₁) / (σ√a₁₁) e (β̂₂ − β₂) / (σ√a₂₂) (2.2.13)

possiamo standardizzare gli stimatori, che così trasformati hanno distribuzione normale standard (si veda la XXI-(1.6.4)).⁴

Sia per β̂₁ che per β̂₂, allora, si può calcolare l’intervallo di confidenza più corto (simmetrico rispetto al valor medio) al livello α, supponendo σ² noto, partendo dalla condizione:

P(z′ ≤ z < z″) = 1 − α (2.2.14)

dove z ∼ N(0, 1), e z′ e z″ sono i quantili di probabilità α/2 e 1−α/2 rispettivamente, forniti dalle tavole della distribuzione normale standardizzata. L’intervallo è, dunque:

(β̂₁ − β₁) / (σ√a₁₁) < z″ e z′ ≤ (β̂₁ − β₁) / (σ√a₁₁)

cioè:

β̂₁ − σ√a₁₁z″ < β₁ ≤ β̂₁ − σ√a₁₁z′ (2.2.15)

nel caso di β₁ e:

(β̂₂ − β₂) / (σ√a₂₂) < z″ e z′ ≤ (β̂₂ − β₂) / (σ√a₂₂)

cioè:

β̂₂ − σ√a₂₂z″ < β₂ ≤ β̂₂ − σ√a₂₂z′ (2.2.16)

nel caso di β₂. Al livello di significatività α = 0.05, i due quantili sono z′ = −1.96 e z″ = 1.96 (si veda la figura XXI-1.1).

Gli intervalli di confidenza (2.2.15) e (2.2.16) sono aleatori poiché i loro estremi sono funzioni dello stimatore. Il livello di confidenza α, che definisce la probabilità che β₁ o β₂ risulti al di fuori dell’intervallo, è determinato soggettivamente: se α è scelto troppo piccolo l’intervallo risulta grande e quindi poco utile ad indicare la dispersione dello stimatore; se α è troppo grande, la probabilità che l’intervallo contenga β₁ o β₂ diminuisce, e di nuovo l’informazione fornita dall’intervallo di confidenza diventa scarsa.

Osservazione 2.3 - Considerando quanto argomentato sopra si trae che 1−α è la probabilità che l’intervallo di confidenza (2.2.15) contenga il parametro β₁ e che il (2.2.16) contenga β₂. Ad esempio, se poniamo α = 0.05, le (2.2.15)-(2.2.16) definiranno gli intervalli di confidenza al 95% per i due parametri del modello di regressione semplice.

Stima intervallare nel modello lineare multiplo con σ² noto

Più in generale, passando al caso del modello lineare multiplo, se a_ii indica la varianza di β̂_i, dove a_ii è l’elemento i-esimo della diagonale principale di (X′X)⁻¹, si ha che:

β̂_i ∼ N(β_i, σ²a_ii) (2.2.17)

per cui la trasformazione lineare che standardizza β̂_i è:

(β̂_i − β_i) / (σ ⋅ √a_ii) (2.2.18)

e l’intervallo di confidenza all’(1−α)×100% diventa:

β̂_i − σ ⋅ √a_ii ⋅ z″ < β_i ≤ β̂_i − σ ⋅ √a_ii ⋅ z′ (2.2.19)

Osservazione 2.4 – Riassumiamo per comodità del lettore la catena di implicazioni che permette di pervenire alla (2.2.19) a partire dalle ipotesi forti sui residui:

u ∼ N(0, σ²I) ⇒ β̂ ∼ N[β, σ²(X′X)⁻¹] ⇒ β̂_i ∼ N(β_i, σ²a_ii) ⇒ (β̂_i − β_i) / (σ√a_ii) ∼ N(0,1).

Verifica di ipotesi lineari per i parametri del modello con σ² noto

Come è noto, esiste una dualità fra stima intervallare e verifica delle ipotesi (si veda il capitolo XXIII-2), per cui la trasformazione (2.2.18) può essere utilizzata anche come statistica per verificare l’ipotesi nulla che il parametro β_i sia uguale ad un prefissato valore r_i, sempre supponendo σ² noto:

H₀: β_i = r_i
H₁: β_i ≠ r_i (2.2.20)

Nel sistema di ipotesi (2.2.20) l’ipotesi nulla viene contrapposta all’ipotesi alternativa H₁: β_i ≠ r_i.

Per controllare l’ipotesi nulla β_i = r_i nella (2.2.20) è sufficiente sostituire r_i a β_i e verificare se il valore trovato:

z = (β̂_i − r_i) / (σ√a_ii) (2.2.21)

è compreso nell’intervallo di accettazione di H₀ formato da [z′, z″) oppure in quello di rifiuto, composto dalle due semirette z < z′ e z ≥ z″.

In forma poco rigorosa ma espressiva si può asserire che l’ipotesi nulla β_i = r_i è accettata se la differenza β̂_i − r_i si ritrova vicino allo zero (appartiene all’intervallo di accettazione); è rifiutata se tale differenza è lontana dallo zero (appartiene all’intervallo di rifiuto). La divisione per lo scarto quadratico medio serve a standardizzare la distanza fra β̂_i e il valore ipotizzato, depurandola dell’unità di misura e permettendone il confronto con i quantili della normale standard.

Fra le applicazioni più frequenti di questo test di ipotesi vi è la verifica dell’ipotesi di nullità del parametro β_i. In questo caso l’ipotesi nulla è che il parametro sia uguale a zero e l’alternativa che sia diverso da zero:

H₀: β_i = 0
H₁: β_i ≠ 0 (2.2.22)

2-7

Modulo II – Minimi quadrati

Questo sistema di ipotesi, per quanto semplice, ha una notevole rilevanza ai fini della specificazione del modello, perché se l’ipotesi nulla non viene respinta ciò significa che l’i-esima variabile viene mo