Appunti Econometria

1

Università Cattolica del Sacro Cuore

Corso di ECONOMETRIA

CdL Economia dei mercati e degli intermediari finanziari

Ambito Finanza – Corporate advisory

Prof. Valentina Colombo

UNA BREVE PANORAMICA DEL MODELLO CLASSICO DI REGRESSIONE LINEARE

Regressione

La regressione è probabilmente lo strumento più importante a disposizione dell'econometrico. Si

occupa di descrivere e valutare la relazione tra una data variabile (di solito chiamata variabile

dipendente) e una o più altre variabili (solitamente note come variabili indipendenti).

Alcune notazioni

Indichiamo la variabile dipendente con y e le variabili indipendenti con x , x , ..., x dove ci

1 2 k

sono k variabili indipendenti.

Alcuni nomi alternativi per le variabili y e x:

y x

variabili dipendenti variabili indipendenti

regressand regressors

variabile effetto variabili causali

variabile spiegata variabile esplicativa

Nota che possono esserci molte variabili x, ma ci limiteremo al caso in cui ci sia solo

una variabile x con cui iniziare. Nella nostra configurazione, c'è solo una variabile y. x non ha

distribuzione di probabilità ma y si.

NB: La regressione è diversa dalla correlazione. Se diciamo che y e x sono correlati, significa che

stiamo trattando y e x in modo completamente simmetrico. Nella regressione, trattiamo la variabile

dipendente (y) e le variabili indipendenti (x 's) in modo molto diverso. Si assume che la variabile y sia

in qualche modo casuale o “stocastica”, cioè che abbia una distribuzione di probabilità. Le x variabili

sono, tuttavia, assunte come valori fissi (“non stocastici”) in campioni ripetuti.

Regressione semplice

Per semplicità, diciamo k = 1. Questa è la situazione in cui y dipende da una sola variabile x.

Esempi del tipo di relazione che potrebbe interessare includono:

In che modo i rendimenti degli asset variano con il loro livello di rischio di mercato

• Misurare la relazione a lungo termine tra i prezzi delle azioni e i dividendi.

• Costruire un rapporto di copertura ottimale

•

Regressione semplice: un esempio

Supponiamo di avere i seguenti dati sui rendimenti in eccesso sul portafoglio di un gestore di fondi

("fondo XXX") insieme ai rendimenti in eccesso su un indice di mercato: 2

Year, t Excess return Excess return on market index

= r – rf = rm - rf

XXX,t t t t

1 17.8 13.7

2 39.0 23.2

3 12.8 6.9

4 24.2 16.8

5 17.2 12.3

Abbiamo una certa intuizione che il beta di questo fondo sia positivo, e quindi vogliamo scoprire se

sembra esserci una relazione tra x e y visti i dati che abbiamo. La prima fase consiste nel formare un

grafico a dispersione delle due variabili i

o

am

luti

a

v

to

Sot y

di

ri

o

val

45

40

XXX 35 i

fund o

tiam

alu

30 v

v

ra

Sop y

on di

25 ri

o

val

return 20 i

15

Excess o

tiam

alu

10 v

o

t

Sot y

di

ri

5 o

l

a

v

0 0 5 10 15 20 25

Excess return on market portfolio

Per trovare una linea che si adatti meglio:

Possiamo usare l'equazione generale per una linea retta,

y = a + bx

per ottenere la linea che meglio si "adatta" ai dati. Cattura in modo approssimato le variazioni anche

se non perde tutti i punti.

Tuttavia, questa equazione (y = a + bx) è completamente deterministica.

È realistico? No. Quindi quello che facciamo è aggiungere un termine di disturbo

casuale, u nell'equazione. a b

yt = + xt + ut

dove t = 1,2,3,4,5

Perché includiamo un termine di disturbo? Il termine di disturbo può catturare una serie di

caratteristiche:

• Tralasciamo sempre alcune determinanti di yt

• Potrebbero esserci errori nella misurazione di yt che non possono essere modellato

• Influenze esterne casuali su yt che non possiamo modellare 3

Determinazione dei coefficienti di regressione

a b

Scegli e in modo che le distanze (verticali) dai punti dati alle linee adattate siano ridotte al

minimo (in modo che la linea si adatti il più vicino possibile ai dati):

Minimi quadrati ordinari OLS

Il metodo più comune utilizzato per adattare una linea ai dati è noto come OLS (minimi quadrati

ordinari). Quello che effettivamente facciamo è prendere ogni distanza e quadrare (cioè prendere

l'area di ciascuno dei quadrati nel diagramma) e minimizzare la somma totale dei quadrati (quindi i

minimi quadrati). Il quadrato da maggiore peso agli scarti più grandi che disturbano i nostri risultati.

Rafforzando la notazione:

• indica il punto dati effettivo t

!

• denota il valore adattato dalla retta di regressione

− $

• denota il residuo, ! !

Valore effettivo e adeguato y y

i

û i ŷ i x

x i

Come funziona l’OLS

"# ## $# %# &!'" !#

∑

min $ + $ + $ + $ $

o min

Questo è noto come la somma residua dei quadrati. È la differenza tra il punto effettivo e la linea,

− $ .

! ! &!'" !#

#

∑( ) ∑

− $ $ .

Quindi equivale a ridurre al minimo rispetto a e

! ! 4

Derivazione dello stimatore OLS #

0 0

#

∑ ( ) ∑

$ = $ + = − $ = 3$ − $ + 4

! ! ! ! ! !

, :

Si vuole minimizzare L rispetto a (wrt) e quindi differenziare L rispetto e

¶

L å ˆ

a b

= - - - =

ˆ

2 ( y x ) 0

¶

a t t

ˆ t

¶ L ˆ

a b

å

= - - - =

ˆ

2 x ( y x ) 0

ˆ t t t

¶ b t ˆ ˆ

a b a b

å å å

- - = Û - - =

ˆ ˆ

( y x ) 0 y T x 0

t t t t

t

å å

= =

y T

y x T

x

t t

ˆ

a b

- - =

ˆ

T

y T T x 0

o ˆ

a b

- - =

ˆ

y x 0

ˆ

a b

å - - =

ˆ

x ( y x ) 0

t t t

t ˆ

a b

= -

ˆ y x ˆ ˆ

b b

å - + - =

x ( y y x x ) 0

t t t

t ˆ ˆ

b b

å å å å 2

- + - =

x y y x x x x 0

t t t t t

t ˆ ˆ

b b

å å 2

- + - =

2

x y T y x T x x 0

t t t

t

ˆ

b å å

- = -

2 2

(

T

x x ) T

y

x x y

t t t

å -

x y T x y

ˆ ˆ

b a b

= = -

ˆ

t t and y x

å -

2 2

x T x

t

Che cosa usiamo e per?

Nell'esempio CAPM usato sopra, inserire le 5 osservazioni per comporre le formule fornite sopra

porterebbe alle stime

5

$

= -1,74 e = 1,64. Vorremmo scrivere la fitted line come:

= - +

ˆ

y 1

.

74 1

.

64 x

t t

Domanda: Se un analista ti dice che si aspetta che il mercato produca un rendimento superiore del

20% rispetto al tasso privo di rischio l'anno prossimo, quale ti aspetteresti che sia il rendimento del

fondo XXX?

Soluzione: possiamo dire che il valore atteso di y = "-1,74 + 1,64 * valore di x ", quindi inserisci x =

20 nell'equazione per ottenere il valore atteso per y:

= - + ´ =

ˆ

y 1

.

74 1

.

64 20 31

.

06

i 5

Precisione della stima delle intercettazioni

È necessario prestare attenzione quando si considera la stima dell'intercetta, in particolare se non ci

sono o ci sono poche osservazioni vicino all'asse y:

La popolazione e il campione

La popolazione è la raccolta totale di tutti gli oggetti o le persone da studiare, ad esempio,

Interessato alla popolazione di interesse

prevedere l'esito dell'intero elettorato

di un'elezione

Un campione è una selezione di solo alcuni articoli della popolazione. Un campione casuale è un

campione in cui è ugualmente probabile che venga estratto ogni singolo elemento della popolazione.

Il DGP e il PRF

La funzione di regressione della popolazione (PRF) è una descrizione del modello che si ritiene stia

a b

generando i dati effettivi e la vera relazione tra le variabili (cioè i valori reali di e ).

Il PRF è: a b

= + +

y x u

t t t

La SRF è: ˆ

a b

= +

ˆ ˆ

y x

t t

oppure = -

ˆ ˆ

u y y

t t t

Usiamo la SRF per dedurre i valori probabili della PRF. Vogliamo anche sapere quanto sono "buone"

a b

le nostre stime di e .

Linearità a b

Per poter utilizzare OLS, abbiamo bisogno di un modello lineare nei parametri ( e ). Non deve

essere necessariamente lineare nelle variabili (y e x). Lineare nei parametri significa che i parametri

non vengono moltiplicati insieme, divisi, al quadrato o al cubo ecc. Alcuni modelli possono essere

trasformati in modelli lineari mediante un'opportuna sostituzione o manipolazione, ad esempio il

modello di regressione esponenziale. 6

a b

a b

= Û = + +

u

Y e X e ln Y ln X u

t

t t t t t

= =

Dove e , quindi:

! ! ! !

a b

= + +

y x u

t t t

Modelli lineari e non lineari

Questo è noto come modello di regressione esponenziale. Qui, i coefficienti possono essere

interpretati come elasticità. Allo stesso modo, se la teoria suggerisce che y e x dovrebbero essere

inversamente correlati: b

a

= + +

y u

t t

x

t

quindi la regressione può essere stimata utilizzando OLS sostituendo

1

=

z t x

t

Ma alcuni modelli sono intrinsecamente non lineari, ad es:

b

a

= + +

y x u

t t t

Stimatore o stima?

Gli stimatori sono le formule utilizzate per calcolare i coefficienti

Le stime sono i valori numerici effettivi per i coefficienti.

I presupposti alla base del modello di regressione lineare classica (CLRM)

Il modello che abbiamo utilizzato è noto come modello di regressione lineare classico. Osserviamo i

dati per x , ma poiché y dipende anche da u , dobbiamo essere specifici su come vengono

t t t

generati gli u . Di solito facciamo la seguente serie di ipotesi sugli u (i termini di errore non

t t

osservabili):

Notazione tecnica Interpretazione

1. E(ut) = 0 Gli errori hanno media zero

s

2. Var(ut) = 2 La varianza degli errori è costante e finita su tutti

i valori di xt

3. Cov(ui, uj) = 0 Gli errori sono statisticamente indipendenti da

l'un l'altro

4. Cov(ut, xt) = 0 Nessuna relazione tra l'errore e

corrispondente x variata

Un'ipotesi alternativa alla 4, che è leggermente più forte, è che le xt non siano stocastiche o fissate in

campioni ripetuti. Una quinta ipotesi è necessaria se vogliamo inferenze sui parametri della

a b

popolazione (gli effettivi e ) dai parametri del campione (e)

Assunzione aggiuntiva:

5. ut è normalmente distribuito 7

Proprietà dello stimatore OLS 5

$

Se le ipotesi da 1. a 4. sono valide, gli stimatori e determinati da OLS sono noti come Best Linear

Unbiased Estimators (BLUE).

5 b

"Estimator" - è uno stimatore del valore reale di .

• 5

"Linear" - è uno stimatore lineare

• 5

$

"Unbiased" - In media, il valore effettivo di e sarà uguale ai valori veri.

• 5

"Best" - significa che lo stimatore OLS ha una varianza minima tra la classe di stimatori non

• distorti lineari. Il teorema di Gauss-Markov dimostra che lo stimatore OLS è il migliore.

5

$

Coerente: Gli stimatori dei minimi quadrati e sono coerenti. Cioè, le stime convergeranno ai

• loro valori reali man mano che la dimensione del campione aumenta all'infinito. Abbiamo bisogno

s ¥

2

delle ipotesi E(xtut) = 0 e Var(ut) = < per dimostrarlo. La coerenza implica questo

[ ]

ˆ

b b d d

- > = " >

lim Pr 0 0

®

¥

T 5 5

a b

$ E($)

Imparziale: Le stime dei minimi quadrati di e sono imparziali. Ovvero = ed E( ) =

• Quindi, in media, il valore stimato sarà uguale ai valori reali. Per provare ciò è necessario anche

supporre che E (ut) = 0. L'imparzialità è una condizione più forte della coerenza.

5 b

Efficienza: Uno stimatore del parametro si dice efficiente se è corretto e nessun altro

• stimatore corretto ha una varianza minore. Se lo stimatore è efficiente, stiamo riducendo al

b

minimo la probabilità che sia molto lontano dal valore vero di .

Precisione e standard error 5

$

Qualsiasi insieme di stime di regressione di e sono specifiche per il campione utilizzato nella

5

a b ($

loro stima. Ricorda che gli stimatori di e dai parametri campione e ) sono dati da:

å -

x y T x y

ˆ ˆ

b a b

= = -

ˆ

t t and y x

å -

2 2

x T x

t 5

($

Ciò di cui abbiamo bisogno è una certa misura dell'affidabilità o precisione degli stimatori e ). La

precisione della stima è data dal suo standard error. Date le ipotesi 1 - 4 di cui sopra, è possibile

dimostrare che gli errori standard sono forniti da: å

å 2

2 x

x

a t

= =

ˆ t

SE ( ) s s ,

å å

- -

2 2 2 2

T ( x x ) T x T x

t t

1 1

ˆ

b = =

SE ( ) s s

å å

- -

2 2 2

( x x ) x T

x

t t

dove s è la deviazione standard stimata dei residui e all’aumentare di s aumenta SE.

Stima della varianza del termine di disturbo

La varianza della variabile casuale ut è data da

2

Var(ut) = E[(ut) -E (ut)]

che si riduce a

2

Var(ut) = E(ut ) 8

Potremmo stimarlo utilizzando la media di: 1 å

=

2 2

s u t

T

Sfortunatamente questo non è realizzabile poiché ut non è osservabile. Possiamo usare la controparte

di esempio per ut, che è: 1 å

=

2 2

ˆ

s u t

T

s 2

Ma questo stimatore è uno stimatore distorto di .

s

Uno stimatore corretto di è dato da: å 2

ˆ

u t

=

s -

T 2

å 2

ˆ

u

dove è la somma residua dei quadrati e T è la dimensione del campione.

t

Alcuni commenti sugli stimatori di errore standard

5

SE($) 2 2

1. Sia che SE( ) dipendono da s (o s). Maggiore è la varianza s , più sono dispersi gli errori

rispetto al loro valore medio e quindi più disperso sarà y rispetto al suo valore medio.

2. La somma dei quadrati di x circa la loro media appare in entrambe le formule. Maggiore è la

somma dei quadrati, minori saranno le varianze dei coefficienti.

( )

å 2

-

x x

Considera cosa succede se è piccolo o grande:

t

3. Maggiore è la dimensione del campione, T, minori saranno le varianze dei coefficienti. T appare

5

SE($)

esplicitamente in e implicitamente in SE( ). T appare implicitamente poiché la somma è

( )

å 2

-

x x da t = 1 T .

t å å

2 2

x x

SE($).

4. Il termine appare in Il motivo è che misura quanto sono lontani i punti

t t

dall'asse y.

Esempio: come calcolare i parametri e gli errori standard

Supponiamo di avere i seguenti dati calcolati da una regressione di y su una singola variabile x e una

costante su 22 osservazioni. 9

Dati:

å = = = =

x y 830102

, T 22 , x 416

.

5

, y 86 .

65

,

t t

å = =

2

x 3919654

, RSS 130

.

6

t

Calcoli: -

830102 ( 22 * 416

.

5 * 86

.

65

)

!

b = = 0

.

35

2

-

3919654 22 *( 416

.

5

)

a = - = -

! 86

.

65 035

. * 4165

. 5912

.

= +

ˆ

y 59 .

12 0

.

35 x

ˆ

a b

= +

ˆ ˆ

y x t t

t t

SE (regression):

å 2

ˆ

u 130

.

6

= = =

t

s 2

.

55

-

T 2 20 3919654

a = =

SE ( ) 2

.

55 * 3

.

35

( )

( )

´ - ´ 2

22 3919654 22 416

.

5

1

b = =

SE ( ) 2

.

55 * 0

.

0079

( )

- ´ 2

3919654 22 416

.

5

La stima è abbastanza precisa perché il valore è molto piccolo.

Un'introduzione all'inferenza statistica

Vogliamo fare inferenze sui probabili valori della popolazione dai parametri di regressione.

Esempio:

Supponiamo di avere i seguenti risultati di regressione:

= +

ˆ

y 20 .

3 0 .

5091

x

t t

(

14 . 38 ) ( 0

. 2561

) b

È una stima singola (puntuale) del parametro della popolazione sconosciuta, . Quanto è "affidabile"

questa stima? L'affidabilità della stima puntuale è misurata dall'errore standard del coefficiente.

Verifica di ipotesi: alcuni concetti

Possiamo usare le informazioni nel campione per fare inferenze sulla popolazione. Avremo sempre

due ipotesi che vanno insieme, l'ipotesi nulla (indicata con H0) e l'ipotesi alternativa (indicata con

H1). L'ipotesi nulla è l'affermazione o l'ipotesi statistica che viene effettiva