Econometria - i minimi quadrati

Francesco Carlucci – Traccia per un corso di econometria

Modulo II – Minimi quadrati

1. Il modello lineare generale

Indice del capitolo

• 1.1 Serie storiche, dati sezionali e longitudinali ..........................................................2
• Dati longitudinali ...........................................................................................3
• 1.2 Il criterio dei minimi quadrati ..............................................................................4
• 1.3 I minimi quadrati nel modello lineare semplice ....................................................7
• Le stime dei minimi quadrati nel modello lineare semplice ..............................7
• 1.4 I minimi quadrati nel modello lineare multiplo ...................................................11
• La condizione necessaria per i minimi quadrati e le equazioni normali .........13
• L’ortogonalità dei residui rispetto alle variabili esplicative ............................14
• Un esempio: il modello lineare semplice in termini matriciali .......................15
• La condizione sufficiente per i minimi quadrati ............................................16
• 1.5 La scomposizione della devianza ed il coefficiente di determinazione ..................18
• Il coefficiente di determinazione in termini matriciali ...................................19
• Il coefficiente di determinazione corretto .......................................................20
• Il coefficiente di determinazione per il modello con le variabili scarto ............21
• 1.6 I residui come enti aleatori: le ipotesi deboli .......................................................24
• Lo stimatore dei minimi quadrati per il modello lineare semplice ..................27
• Lo stimatore dei minimi quadrati per il modello lineare multiplo ..................29
• 1.7 La stima della varianza dei residui .....................................................................32
• La distorsione della varianza campionaria ...................................................32
• 1.8 Il teorema di Gauss-Markov e gli stimatori BLU ................................................35
• 1.9 La matrice di correlazione degli stimatori dei parametri di regressione ..............37
• 1.10 La stima dei minimi quadrati di una funzione delle importazioni .......................39
• 1.11 Il criterio dei minimi quadrati vincolati ..............................................................44
• La stima dei minimi quadrati vincolati ........................................................45
• Le stime dei minimi quadrati vincolati per una funzione delle importazioni ..48
• Il vincolo di omogeneità di grado zero sui prezzi ............................................50
• Il doppio vincolo dell’uguaglianza delle elasticità e dell’omogeneità sui prezzi ........50
• 1.12 Riferimenti bibliografici ......................................................................................53

18/03/03; 18.20 Edizione 2.1

Modulo II – Minimi quadrati

1.1 Serie storiche, dati sezionali e longitudinali

Fin dall’inizio è stata presa in considerazione la semplice funzione del consumo di derivazione keynesiana (I-2.1.1) nella quale consumo e reddito, legati da una relazione lineare, possono essere riferiti ad istanti differenti di tempo, oppure ad unità di consumo e di reddito (ad esempio famiglie), \( t = 1, 2, \ldots, n \), considerate allo stesso tempo. Si possiede, allora, nel primo caso un campione di osservazioni che formano serie storiche:

\( c = \alpha + \beta y \;\; (1.1.1) \;\; \text{per}\; t = 1, 2, \ldots, n \)

mentre nel secondo le osservazioni compongono dati sezionali:

\( c = \alpha + \beta y \;\; (1.1.2) \;\; \text{per}\; i = 1, 2, \ldots, N \)

Un campione temporale può essere costruito mediante indagini che si protraggono nel tempo, oppure tramite una disaggregazione temporale (ad esempio trimestralizzazione o mensilizzazione di dati annuali), mentre un campione sezionale di ampiezza \( N \) può essere estratto da un’inchiesta puntuale nel tempo, ad esempio un’indagine sulla spesa di un gruppo di famiglie oppure un censimento.

I modelli (1.1.1) e (1.1.2) sono analoghi e differiscono unicamente nel modo con cui i dati sono stati reperiti. Naturalmente esistono modelli i cui dati sono contemporaneamente sezionali e temporali, come nell’esempio seguente:

\( c = \alpha + \beta y \;\; (1.1.3) \;\; \text{per}\; t = 1, 2, \ldots, n \;\; \text{e}\; i = 1, 2, \ldots, N \)

rappresentativo di una funzione del consumo nella quale ciascuna famiglia \( i \) possiede una propria funzione definita dai parametri \( \alpha \) e \( \beta \), considerati costanti nel campionario, cioè per il periodo di osservazione \( t = 1, 2, \ldots, n \).

Se poniamo:

• \( \sum_{i=1}^{N} c_{it} = \alpha \sum_{i=1}^{N} y_{it} \)
• \( \beta = \beta_1 = \beta_2 = \ldots = \beta_N \)

le equazioni (1.1.3) possono essere sommate membro a membro in modo da dare:

\( c = \alpha + \beta y \;\; \text{per}\; t = 1, 2, \ldots, n \)

costituendo questa l’aggregazione sezionale delle (1.1.3).

Le serie storiche o temporali vengono dette in lingua inglese time series mentre i dati sezionali sono detti cross-section data.

Modulo II – Minimi quadrati

Un altro modo di aggregare le equazioni (1.1.3) è quello che si basa sulla conoscenza della distribuzione del reddito. Se la quota di reddito posseduta dalla \(\lambda\)-esima famiglia in ogni tempo è \(\lambda_i\), con il vincolo:

\( \sum_{i=1}^{N} \lambda_i = 1 \)

si ha che:

\( y_{it} = \lambda_i y_t \;\; \text{per}\; t = 1, 2, \ldots, n \;\; \text{e}\; i = 1, 2, \ldots, N \)

per cui, sostituendo le (1.1.4) nelle (1.1.3) e tenendo conto del vincolo, si ottiene sommando membro a membro:

\( c = \alpha + \beta y_0 \)

dove:

\( \beta_0 = \sum_{i=1}^{N} \lambda_i \beta_i \)

è di nuovo del tipo (1.1.1) ma con un’altra aggregazione sezionale.

Dati longitudinali

Se il campione di famiglie considerato nella (1.1.3) rimane costante negli tempi, i dati ad esso relativi sono chiamati longitudinali, alludendo al fatto che un campione di più individui viene seguito lungo il tempo. Per il trattamento dei dati longitudinali si usano procedure econometriche specifiche che non saranno trattate nel presente modulo. In lingua inglese i dati longitudinali vengono chiamati panel data (dal termine panel, che indica un gruppo di individui).

Modulo II – Minimi quadrati

1.2 Il criterio dei minimi quadrati

Generalmente i valori dei parametri di un’equazione non sono conosciuti ed occorre stimarli a partire da un campione di osservazioni. Volendo, ad esempio, determinare i valori di \( \alpha \) e \( \beta \) nella funzione del consumo (1.1.1), è necessario disporre di un campione costituito dagli \( n \) consumi \( [c_1, c_2, \ldots, c_n] \) e dai corrispondenti redditi \( [y_1, y_2, \ldots, y_n] \), che possono essere temporali o sezionali a seconda delle circostanze. In generale, nel prosieguo, supporremo che i dati siano temporali, essendo relativamente facile utilizzare nel caso sezionale le tecniche sviluppate partendo da osservazioni temporali.

Il campione costituito dalle \( c_t \) e dalle \( y_t \) può essere riportato in un grafico del tipo illustrato nella figura 1.1, detto diagramma di dispersione delle coppie di valori \( (c_t, y_t) \), dal quale risulta evidente l’ovvia circostanza che in generale non esiste una retta che passi esattamente per tutti i punti individuati da questi dati, e che pertanto non esistono valori di \( \alpha \) e \( \beta \) che soddisfino perfettamente la (1.1.1) per ognuna delle coppie campionarie.

Il diagramma di dispersione di consumi e reddito - Italia 1970-1996

400,000

350,000

300,000

Y90

250,000

200,000

150,000

100,000 120,000 140,000 160,000 180,000 200,000 220,000 CF90

Figura 1.1 – Il diagramma di dispersione di consumi e reddito – dati trimestrali italiani 1970:1-1996:3. Le serie utilizzate per costruire il grafico sono quelle rappresentate nella figura I-2.2.

Modulo II – Minimi quadrati

Si può, invece, trovare una retta del tipo (1.1.1), e quindi una coppia di valori \( \alpha \) e \( \beta \), tale che attraversi la “nuvola” di punti nel diagramma di figura 1.1 con una distanza da questi punti, misurata secondo le ordinate, che obbedisca ad un particolare criterio di ottimo, scelto soggettivamente. Se il criterio fa determinare i valori \( \hat{\alpha} \) e \( \hat{\beta} \), l’equazione della retta è:

\( \hat{c}_t = \hat{\alpha} + \hat{\beta} y_t \)

definente i valori teorici per il consumo, in funzione delle \( y_t \) campionarie e di \( t \). Le differenze tra i valori osservati e quelli teorici costituiscono i residui:

\( \hat{u}_t = c_t - \hat{c}_t = c_t - \hat{\alpha} - \hat{\beta} y_t \;\; \text{per}\; t = 1, 2, \ldots, n \)

Ad ogni coppia \( (\hat{\alpha}, \hat{\beta}) \), corrisponde una serie storica di residui diversa, per cui finché a \( \alpha \) e a \( \beta \) non si danno valori determinati è possibile considerare una serie di residui non specificata ma che si suppone generata dal modello:

\( u_t = c_t - \alpha - \beta y_t \;\; \text{per}\; t = 1, 2, \ldots, n \)

Si è detto che il criterio con il quale si determinano \( \alpha \) e \( \beta \) è soggettivo; spesso si usa il criterio dei minimi quadrati, sviluppato indipendentemente dai matematici K. F. Gauss e A. M. Legendre tra la fine del diciottesimo e gli inizi del diciannovesimo secolo, mediante il quale i valori \( \hat{\alpha} \) e \( \hat{\beta} \) sono calcolati minimizzando la somma dei quadrati dei residui:

\( S = \sum_{t=1}^{n} (c_t - \alpha - \beta y_t)^2 = \sum_{t=1}^{n} u_t^2 \)

detta devianza dei residui. Questo criterio si basa sulla ricerca della retta che attraversa la nuvola di punti in modo tale da minimizzare la somma dei quadrati delle distanze tra se stessa e i punti, con tali distanze prese rispetto all’asse delle ordinate. Al posto di questo criterio se ne possono scegliere altri, ad esempio quello basato sulla minimizzazione della somma dei valori assoluti:

\( S' = \sum_{t=1}^{n} |c_t - \alpha - \beta y_t| \)

mediante il quale, ovviamente, si ricavano valori diversi, per \( \alpha \) e \( \beta \) dai precedenti \( \hat{\alpha} \) e \( \hat{\beta} \). Generalmente, con criteri differenti si ottengono diverse stime per \( \alpha \) e \( \beta \). A prescindere dal criterio utilizzato, i parametri \( \alpha \) e \( \beta \) sono supposti valere identici per ogni coppia \( (t) \) cioè per ogni periodo campionario, ovverosia che il campione sia omogeneo.

Osservazioni

1. In ambedue i criteri sopra indicati i valori negativi e quelli positivi dei \( u_t \) sono trattati alla stessa stregua (simmetricamente). Nel criterio definito dalla (1.2.2) i residui intervengono a comporre la devianza in modo non lineare, in quanto il loro contributo ad essa è proporzionale al loro quadrato. In termini geometrici questo equivale a dire che la retta dei minimi quadrati del tipo (1.1.1) è determinata in modo che sia più sensibile ai punti più “esterni” nella nuvola che non a quelli più “interni” (e vicini alla stessa retta).
2. Le distanze sono prese parallelamente all’asse delle ordinate ma potrebbero essere parimenti considerate parallelamente all’asse delle ascisse, oppure anche ortogonali alla retta che definisce i valori teorici \( \hat{c}_t \).

Modulo II – Minimi quadrati

1.3 I minimi quadrati nel modello lineare semplice

Il modello (1.2.1) può essere scritto nella forma un poco più generale:

\( u_t = y_t - \beta_1 - \beta_2 x_t \;\; \text{per}\; t = 1, 2, \ldots, n \)

dove \( y_t \) è la variabile endogena (il consumo) e \( x_t \) un’esplicativa (il reddito). In effetti, la \( x_t \) non può essere considerata generalmente un’esogena poiché talvolta rappresenta un’endogena in altre equazioni; ad esempio, la \( x_t \) che costituisce un’esogena nell'equazione singola (I-2.1.1) corrisponde all’endogena nella seconda equazione del sistema (I-2.3.1); è più conveniente, pertanto, chiamare la \( x_t \) nella (1.3.1) variabile esplicativa (di regressione). In questo caso più generale i valori teorici per le \( y_t \) sono dati da:

\( \hat{y}_t = \beta_1 + \beta_2 x_t \;\; \text{per}\; t = 1, 2, \ldots, n \)

mentre le differenze tra i valori osservati e quelli teorici costituiscono i valori dei residui:

\( \hat{u}_t = y_t - \hat{y}_t = y_t - (\beta_1 + \beta_2 x_t) \;\; \text{per}\; t = 1, 2, \ldots, n \)

Se le variabili esplicative sono \( k \), il modello (1.3.1) viene generalizzato nell’altro:

\( y_t = \beta_1 x_{1t} + \beta_2 x_{2t} + \ldots + \beta_k x_{kt} + u_t \;\; \forall t \)

che non necessariamente corrisponde ad una generica equazione della forma ridotta (I-3.4.1); in linea di principio le \( x_{it} \) sono variabili esplicative di \( y_t \) per cui la (1.3.4) può essere sia un’equazione qualsiasi del sistema (I-3.4.1), in forma ridotta, sia una del sistema (I-3.2.1), in forma strutturale, risolta rispetto ad una variabile endogena. Il modello (1.3.4) è detto lineare multiplo. La (1.3.2) è a sua volta un caso particolare della seguente:

\( u_t = g(y_t, x_{1t}, x_{2t}, \ldots, x_{kt}; a_1, a_2, \ldots, a_h) \;\; \text{per}\; t = 1, 2, \ldots, n \)

dove le \( x_{it} \) sono le variabili esplicative, le \( a_j \) sono i parametri del modello, variabili nello spazio parametrico \( A \), e \( g \) è una funzione che può essere lineare, come nella formulazione (1.3.4), oppure non lineare.

Le stime dei minimi quadrati nel modello lineare semplice

Le stime dei parametri possono essere determinate con il criterio dei minimi quadrati, per mezzo del quale si calcolano i valori per i quali si ottiene il minimo della devianza:

\( \min_{a_1, \ldots, a_h} \sum_{t=1}^{n} \left[g(y_t, x_{1t}, x_{2t}, \ldots, x_{kt}; a_1, a_2, \ldots, a_h)\right]^2 = \min_{a_1, \ldots, a_h} S(a_1, a_2, \ldots, a_h) \)

Le condizioni necessarie affinché valga la (1.3.6) impongono che siano soddisfatte le equazioni seguenti:

\( \frac{\partial S(a_1, a_2, \ldots, a_h)}{\partial a_i} = \sum_{t=1}^{n} \frac{\partial g(y_t, x_{1t}, x_{2t}, \ldots, x_{kt}; a_1, a_2, \ldots, a_h)}{\partial a_i} = 0 \;\; \text{per}\; i = 1, 2, \ldots, h \)

dette equazioni normali. Queste possono essere lineari oppure non lineari, a seconda delle (1.3.5). Nel primo caso si perviene ai minimi quadrati (ordinari) lineari (OLS: Ordinary Least Squares in lingua inglese); nel secondo caso ai minimi quadrati non lineari (NLLS: Non Linear Least Squares in inglese).

Nel caso lineare della (1.3.1) il criterio dei minimi quadrati (1.3.6) comporta la determinazione del minimo seguente:

\( \min_{\beta_1, \beta_2} \sum_{t=1}^{n} \left(y_t - \beta_1 - \beta_2 x_t\right)^2 \)

per il quale occorre trovare le derivate prime di \( S(\beta_1, \beta_2) \) ed uguagliarle a zero, ottenendosi le due equazioni normali:

\( \frac{\partial S}{\partial \beta_1} = \sum_{t=1}^{n} \left(y_t - \beta_1 - \beta_2 x_t\right) = 0 \)

\( \frac{\partial S}{\partial \beta_2} = \sum_{t=1}^{n} \left(y_t - \beta_1 - \beta_2 x_t\right)x_t = 0 \)

cioè:

\( \sum_{t=1}^{n} y_t = \beta_1 n + \beta_2 \sum_{t=1}^{n} x_t \)

\( \sum_{t=1}^{n} x_t y_t = \beta_1 \sum_{t=1}^{n} x_t + \beta_2 \sum_{t=1}^{n} x_t^2 \)

Se si pone:

• \( m_x = \frac{1}{n} \sum_{t=1}^{n} x_t \)
• \( m_y = \frac{1}{n} \sum_{t=1}^{n} y_t \)
• \( m_{xx} = \frac{1}{n} \sum_{t=1}^{n} x_t^2 \)
• \( m_{xy} = \frac{1}{n} \sum_{t=1}^{n} x_t y_t \)

dalla prima delle (1.3.7) si ricava, dividendo per \( n \):

\( m_y = \beta_1 + \beta_2 m_x \)

e dalla seconda, sostituendo il valore di \( \beta_1 \) dato dalla (1.3.9),

\( m_{xy} = \beta_1 m_x + \beta_2 m_{xx} \)

dalle quali si ottiene la stima dei minimi quadrati:

\( \beta_2 = \frac{m_{xy} - m_x m_y}{m_{xx} - m_x^2} \)

e, sostituendo nella (1.3.9), quella di \( \beta_1 \):

\( \beta_1 = m_y - \beta_2 m_x \)

Le stime \( \hat{\beta}_1 \) e \( \hat{\beta}_2 \) costituiscono effettivamente un punto di minimo per \( S(\beta_1, \beta_2) \) in quanto sono soddisfatte anche le condizioni sufficienti, date dalle:

\( \frac{\partial^2 S}{\partial \beta_1^2} > 0 \)