Appunti Econometria dei mercati finanziari

Il modello di regressione lineare

Regressione lineare

Abbiamo un dataset di N osservazioni di i=1,…,N. y x

Ora supponiamo di voler comprendere il legame tra una variabile e un’altra variabile, attraverso l’approssimazione con una retta.

Per la generica osservazione i il modello è: ϵ=β + +y x βi 1 i 2 i

Dove:

• Y: è la variabile dipendente (detta anche variabile spiegata)i
• X: è la variabile indipendente (detta anche variabile esplicativa)i
• Β: è l’intercetta della retta1
• X β: è la pendenza della retta di regressionei 2
• Β, β: sono i coefficienti (detti anche parametri) della retta da dover stimare1 2
• ϵ: è l’errore (detto anche disturbo)i

Ciò che abbiamo scritto sopra è la retta di regressione della popolazione ed esprime la relazione esistente in media tra y e x nella popolazione. +β x β

Conoscendo il valore di “x” con questa retta di regressione potremmo predire un valore pari a 1 i 2 per la variabile y.

I coefficienti non li conosciamo e misurano come ci aspettiamo che y cambi se x cambia, ma è possibile trovarli attraverso il campionamento di dati.

}β={β, β

I coefficienti possono essere determinati con il metodo dei minimi quadrati ordinari (MQO) o1 2 chiamati secondo la dicitura anglosassone ordinary Least Squares (OLS), che minimizza la somma dei quadrati degli errori.

Il metodo OLS serve a scegliere i coefficienti in modo che la regressione sia il più vicino possibile ai dati osservati.

La formula è la seguente:

N N∑ ∑2 2( )ϵ = −β −xmin Q=min y βi i 1 i 2β β i=1 i=1

−β −xy β la parte è l’errore che si commette nel predire la i-esima osservazione e per trovare talei 1 i 2 ϵparte basta isolare portandolo a sinistra del segno di equazione.

Si può anche dire che questo modo di scrivere la regressione non è altro che la generalizzazione della media =0 ¿β β perché se nella specificazione consideriamo solo l’intercetta (, allora lo stimatore OLS di è2 1y la media campionaria di .i

• I puntini sono le variabili x
• La retta rappresenta la variabile y da dover stimare
• La distanza dal punto alla retta rappresenta l’errore

→Ma perché quadrati degli errori? Perché in questo modo, errori positivi e negativi contano allo stesso modo e non si annullano a vicenda.

Per ottenere una soluzione della regressione con il metodo dei minimi quadrati ordinari è possibile calcolarne le condizioni di primo ordine (FOC= First Order Condition) della funzione obiettivo:

Ponendo la FOC della funzione obiettivo uguale a zero come sopra, si portano alle stime OLS dei coefficienti: ^

Osservando il numeratore di β si può notare che sia molto simile, ma non uguale alla covarianza fra x e2 y, osservando il denominatore invece esso è molto simile, ma non uguale alla varianza di x. Quindi possiamo^ dire che la stima β è legata alla correlazione tra y e x.2

Ma in sostanza, avendo molte variabili “x”, con la regressione stiamo indicativamente utilizzando un^ =0,β concetto di media, lo notiamo anche dalla retta che “passa in mezzo ai puntini”, infatti se allora la2 retta di regressione sarà uguale alla media.

La realtà in genere è molto più complessa di così, in quanto ogni volta ci sono più di due variabili in gioco, e misurare correlazioni tra due variabili diventa allora via via più difficile.

L’analisi di regressione consente di misurare correlazioni, tenendo artificialmente costante ogni variabile eccetto le due su cui ci vogliamo concentrare. Queste variabili (di controllo) sono aggiunte alla regressione così da eliminarne l’influenza.

yIn generale vogliamo collegare ad un insieme di K<N variabili, legando una dimensione ad altreix, x, …, xdimensioni, tipo nel modo che i,1 i,2 i, k

Per la generica osservazione i il modello è:

E viene chiamato modello di regressione multipla.

y xIl coefficiente bj misura la correlazione tra ed al netto delle altre variabili. Visto che quello chei i, j abbiamo scritto sopra può apparire abbastanza difficoltoso da ricordare, è possibile riscrivere la stessa funzione in una maniera più compatta:

K∑= +ϵy x βi i, j jj=1

Il quale si può riscrivere come:

'=x +ϵy βi i i 1,…, N

Quindi, sostanzialmente dobbiamo calcolare l’equazione per ogni osservazione i= come nel seguente modo:

Come nel caso della regressione con 2 sole variabili, dove avevamo trovato risolto il problema di ottimizzazione, lo possiamo fare anche nelle regressioni multiple, scrivendo:

E per ottenere le k condizioni del primo ordine (ossia una per ogni parametro in b) possiamo derivare la funzione appena scritta rispetto a b:

Lo stimatore del parametro b risulta essere quindi uguale a:

Quella appena scritta è la formula generale di uno stimatore OLS

Modello e stima

Notiamo che scriviamo il modello sottostante (regressione di popolazione) come

E la nostra stima (dalla popolazione quindi troviamo la regressione campionaria) come:

O si può anche scrivere come

Y cappello è la previsione mentre “e” viene chiamato residuo. In questo caso il termine di errore non è osservato, mentre il residuo è ricavato usando la stima di b cappello.

Analizziamo meglio le proiezioni e i residui

Abbiamo la funzione che avevamo trovato prima come:

Facendo delle manipolazioni algebriche possiamo arrivare a trovare

Quindi:

Per costruzione, la soluzione è tale da rispettare la FOC:

Supponiamo che la prima colonna di X sia una colonna di uno, x1 = i (cioè includiamo la costante nella specificazione):

Dal momento che l’identità X’e = 0 è valida per ogni elemento di X, vale in particolare per la prima colonna.

Interpretazione

Il modello lineare ϵy= X+ ϵ

Non ha significato a meno che formuliamo ipotesi su.

In genere, ipotizziamo che:

|( )=0ϵE X

E sotto questa ipotesi, y può essere spezzato in due parti:

[ ]|( ) =E y X X

• Ed è il valore medio di y dato Xϵ
• È qualunque errore commesso nell’approssimare y con la sua media

Effetti marginali

❑|( )=0ϵE X

Sotto l’ipotesi, il coefficiente misura il cambiamento atteso in y se la variabile jj¿x riferita all’osservazione i ( cambia di una unità, ma tutte le altre variabili in X non cambiano.i, j

Questo è ciò che chiamiamo effetto marginale. Cioè

L’affermazione che le altre variabili in X non cambiano è una condizione ceteris paribus (ossia “a parità di altre condizioni”).

Variabili dummy

La definizione dei derivata vale per le variabili continue.

Le variabili esplicative, tuttavia, sono spesso discrete e molte prendono solo due valori: 0 e 1. Queste variabili sono chiamate variabili dummy perché i numeri che possono prendere (0;1) non hanno un significato intrinseco, ma sono usati per identificare caratteristiche qualitative.

La struttura generale di una dummy è:

Per esempio:

Possiamo anche combinare diverse variabili dummy se vogliamo informazione più dettagliata. Per esempio, l’istruzione:

Cambi di intercetta

Il coefficiente della variabile dummy può essere visto come un cambio di intercetta. Per esempio, chiamiamo D una variabile dummy e consideriamo il modello:

Abbiamo che ❑

Il coefficiente quindi misura il cambio del valore medio di y quando si passa da D=0 a D=1:3

Effetto marginale di una dummy

❑In generale, l’interpretazione dei coefficienti non cambia. Il coefficiente associato alla variabilejxdummy circa l’effetto marginale della caratteristica che si ha sulla variabile dipendente quandoi, j=1x i, j

Scriviamo questo come segue:

Effetto marginale: quadrati

Quando una variabile esplicativa è funzione di un’altra variabile esplicativa, l’effetto marginale è più complicato.

Esempio: il modello è

L’effetto marginale di aumentare di un anno l’età (ceteris paribus) è dato dalla combinazione di due parametri,

Effetto marginale: interazioni

Più generalmente, possiamo considerare interazioni di variabili esplicative.

Esempio: il modello è

Quindi l’effetto marginale di aumentare di un anno l’età (ceteris paribus) è

Di conseguenza, l’effetto marginale dell’età dipende dal genere ed in modo simile, l’effetto del genere dipende dall’età.

Elasticità

Gli economisti sono spesso interessati alle elasticità più che agli effetti marginali.

L’effetto marginale misura il cambiamento assoluto nella variabile dipendente dovuto ad un cambiamento assoluto di una unità in una variabile esplicativa

L’elasticità misura il cambiamento relativo nella variabile dipendente dovuto ad un cambiamento relativo dell’1% in una variabile esplicativa

Per variabili dummy non abbiamo bisogno di definire elasticità, siccome le dummy possono prendere solo due valori (0 e 1).

Le elasticità possono essere stimate direttamente da un modello lineare, una volta che questo è stato formulato in logaritmi, cioè

Questo è chiamato modello log-log

Nel modello log-log, l’elasticità per la variabile esplicativa xi,j è

[ ]| |( ) ( )( ) ( )< [ ]E log y X log E y X

Si tratta di una approssimazione perché.

C’è anche una situazione intermedia, in cui la variabile dipendente è espressa in logaritmi, e alcune (o tutte) le variabili esplicative sono in livelli:

Questo è chiamato modello log-lineare.

In questo caso il coefficiente β misura la semi-elasticità, '( ) +ϵX

In modo simile possiamo avere elasticità con un modello lineare-log y=log¿¿…e se la variabile è negativa?

x ≤ 0Log (x) non è definito quando. In tal caso è consuetudine prendere

(x +a) x+ a>0log

• La trasformazione con a tale che, oppure
• La trasformazione nota come inverse hyperbolic sine (ihs)( ) =logsinh x x+ 1+ x

L’interpretazione dei coefficienti è la stessa che avremo con i logaritmi

Somma dei quadrati

L’espressione

implica che (ammesso che sia presente una costante nel modello)

il che significa che possiamo decomporre la variazione totale nella variazione spiegata dal modello (ESS) e nella variazione che rimane non spiegata (RSS)

TSS=ESS+ RSS

Dove:

• TSS: total sum of squares (somma totale dei quadrati)
• ESS: Explained Sum of Squares (somma spiegata dei quadrati)
• RSS: Residual Sum of Squares (somma residua dei quadrati)

Ovviamente la relazione è valida anche se dividiamo tutto per il numero di osservazioni N, nel qual caso confrontiamo varianze invece di variazioni (devianze):

Bontà di adattamento

2La qualità della relazione lineare può essere misurata con la statistica. R2

La statistica indica la proporzione di varianza in y che può essere spiegata dalla combinazione lineareR delle variabili X. È l’errore standard della regressione sono due misure della bontà con cui la retta di regressione degli OLS interpola i dati.

2 2 ^=cor ( )Cioè, misura la correlazione al quadrato tra i valori osservati e predetti di .y : R r y, yi i

Matematicamente può essere scritto come il rapporto tra la somma dei quadrati spiegata e la somma dei quadrati totale. La somma dei quadrati spiegata, o ESS, è la somma dei quadrati degli scarti dei valori predetti di Yi dalla loro media e la somma dei quadrati totale (TSS), è la somma dei quadrati degli scarti Yi dalla propria media.

( ) ( )=V ^ +V (e )V y ySe il modello contiene una intercetta (al solito), vale che e possiamo scrivere ini i i modo equivalente 2

• In questo caso la statistica prende valori tra 0 e 1e misura la frazione della varianza di Yi che èR spiegata dalla variazioni di Xi
• L’errore standard della regressione misura quanto lontano di solito è Yi dal suo valore predetto
• Ricordiamoci che lo stimatore OLS minimizza RSS

In generale, se il modello non ha costante, la somma dei residui è diversa da 0.

Questo ha conseguenze importanti, in quanto2

• Non vale più tra 0 e 1: non possiamo dare una interpretazione alla statisticaR
• Tutte le altre statistiche basate sui residui sono distorte. Questo produce analisi non valide

Per questo motivo è sempre preferibile tenere la costante!

2Infine, l’ della regressione di Y sul singolo regressore X è il quadrato del coefficiente di correlazioneR ^ X❑ =0tra Y e X. Se allora non spiega nulla della variazione di Yi, e il valore predetto di Yi basatoi1 sulla regressione è semplicemente la media campionaria di Yi.

In questo caso, la somma dei quadrati spiegata è zero e la somma dei quadrati dei residui è uguale alla2 somma dei quadrati totale; perciò, l’ è pari a zero.R

Problemi

2La statistica è usata per confrontare modelli alternativi e nidificati l’uno sull’altro e in generaleR 2 preferiamo il modello con la statistica più alta.R

Consideriamo però che

• 2Non esiste una regola generale per dire quando la statistica è grande o piccola. Dipende dalRcontesto 2Ad esempio, in dati sezionali la statistica è tipicamente bassa perché c’è molta eterogeneitàRche non siamo in grado di spiegare
• La statistica non può essere usata per confrontare modelli diversiAd esempio, modelli con variabili dipendenti diverse, oppure specificazioni non nidificate2

Per questa ragione, di solito prestiamo poca attenzione alla statistica .R

Verifica d’ipotesi

❑ =0Spesso la teoria economica implica certe restrizioni sui coefficienti, del tipo .j

Possiamo controllare se le stime deviano da queste restrizioni.

Non basta confrontare le stime con le restrizioni, perché le stime sono strettamente legate al campione di dati da cui provengono.

Dovremo infatti valutare se le restrizioni sono soddisfatte per mezzo di un test statistico

Stimatore e stima

Lo stimatore OLS deriva da un campione di dati (x, y)

Tuttavia, il campione

• È generato casualmente da una popolazione più ampia
• È generato da un processo casuale

Questa incertezza implica che le stime OLS possono cambiare a seconda del campione che consideriamo

Abbiamo bisogno di risultati più generali.

Lo stimatore OLS è una variabile aleatoria

La stima OLS è la realizzazione di una variabile aleatoria con la sua propria distribuzione.

Difatti, lo stimatore OLS è un vettore costante più una somma di variabili aleatorie:

Se il campione è sufficientemente grande, la distribuzione dello stimatore è approssimativamente normale.

Intuizione: se potessimo calcolare stime OLS da un gran numero di campioni, le stime seguirebbero una distribuzione simile a quella che segue.

Verifica d’ipotesi

Se vale una serie di ipotesi (ipotesi di Gauss-Markov), lo stimatore OLS ha queste caratteristiche (tra le altre):

Si dice che lo stimatore OLS è non distorto (la sua media coincide con il valore che si intende stimare) ed efficiente (ha varianza minima possibile).

Usiamo queste proprietà per condurre verifiche di ipotesi sui coefficienti stimati.

La verifica d’ipotesi si basa su di una proposizione relativa a uno o più specifici parametri della popolazioneH

• La proposizione è chiamata ipotesi nulla e si indica con il simbolo 0
• Definiamo inoltre un’ipotesi alternativa, vera quando l’ipotesi nulla è falsa, che indichiamo con ilHsimbolo 1

Importante: l’ipotesi si riferisce ai parametri della popolazione, e non alle particolari stime che otteniamo dal campione.

Per verificare l’ipotesi nulla abbiamo bisogno di una statistica, diciamo T. H

La statistica è una variabile aleatoria e segue una distribuzione nota sotto, ad esempio0

Un test classico

Il più comune test è il t-test. Può essere usato per verificare una singola restrizione lineare sui parametri.

❑ =qSupponiamo che l’ipotesi nulla sia per un dato valore q e consideriamo la statistica test:j

b bdove se( ) è lo standard error di, cioè,j j

In generale, la statistica t ha la forma:

stimatore−valore ipotizzatot= errore standard dello stimatore

Test su un parametro t

2Se l’errore è tale per cui allora la distribuzione della statistica è esattamente sottoϵ ( )N 0, σ I n−K(0,1)t → Nl’ipotesi nulla ma comunque quando n-K è sufficientemente grande (ossia >50).n−K 2

ϵSe l’errore non è distribuito come allora la distribuzione della statistica è(0, )N σ Iapprossimativamente N(0,1).

Per questo generalmente viene usata la distribuzione N(0,1) per il test.

Regioni di accettazione e rifiuto

Dividiamo lo spazio dei valori possibili in due regioni,

• Una regione d