Statistica per la finanza

REGRESSIONE CON 3 VARIABILI ESPLICATIVE

Si supponga di aver rilevato su una popolazione tre caratteri quantitativi; si otterranno delle terne ordinate

( )

che corrispondono alle rilevazioni svolte e riguardano l’osservazione dei tre caratteri in

1 2 3 3

corrispondenza della i-esima unità statistica. Le diverse terne rilevate costituiscono una nube di punti in . Inoltre,

si suppone che:

- sia la variabile dipendente.

1

- e sono variabili esplicative, cioè congiuntamente possono spiegare .

2 3 1

̂ ( ) ( )

= , ̂ = ,

Si cercherà il modello in grado di approssimare i valori con i valori . Lo scopo

1 2 3 1 1 2 3

del modello è di esaminare, descrivere e comprendere la relazione tra le variabili esplicative e quella spiegata.

ALCUNI MODELLI

̂ = + + → è l’equazione generica del piano, dove:

1 2 3

- è l’intercetta del piano e rappresenta quando le variabili esplicative sono nulle.

1 ̂

- è il coefficiente angolare di rispetto a e rappresenta la variazione assoluta del modello rispetto ad

1 2 1

un aumento unitario di , mantenendo fissa la variabile .

2 3 ̂

- è il coefficiente angolare di rispetto a e rappresenta la variazione assoluta del modello rispetto ad

1 3 1

un aumento unitario di , mantenendo fissa la variabile .

3 2

Altre superfici più generali sono quelle fornite dai modelli lineari nei parametri, ovvero modelli del tipo:

̂ ( ) ( )

∑

= , = ∙ , dove sono coefficienti e sono funzioni lineari nei parametri

1 2 3 2 3

=1 ( )

, = + +

Anche il piano è una funzione lineare nei parametri, perché dove:

2 3 1 2 2 3 3

( )

, = 1

- 1 2 3

( )

, =

- 2 2 3 2

( )

, =

- 3 2 3 3

Tuttavia, esistono alcuni casi particolari, tra cui il modello Cobb – Douglas che non è lineare nei parametri. Infatti, i

( )

→ , = ∙ ∙

2 3

coefficienti si trovano all’esponente 2 3 1 2 3

METODO DEI MINIMI QUADRATI , ,

Il metodo dei minimi quadrati consente di determinare i coefficienti minimizzando una specifica funzione

1 2 3

̂

di distanza tra il modello e la nube dei dati:

1 2

)

{ } ∑(

min ( , , ; , , ) = min − ̂

1 2 3 1 2 3 =1… 1 1

, , , ,

1 2 3 1 2 3 =1

Per minimizzare una funzione (distanza) si pongono uguali a zero le sue derivate parziali. Il procedimento è

agevole quando la funzione è lineare nei suoi parametri. Si deve dunque derivare:

2 2

) )

∑( ∑(

− ̂ = − − −

1 1 1 1 2 2 3 3

=1 =1

∑( )

− ̂ = 0

∑ ( ) (−1)

= 2 ∙ − − − ∙ = 0 1 1

1 1 2 2 3 3

1

∑ ( ) (− ) ∑( )

= 2 ∙ − − − ∙ = 0 − ̂ = 0

1 1 2 2 3 3 2 1 1 2

2

∑ ( ) (− )

= 2 ∙ − − − ∙ = 0 ∑( )

{ − ̂ = 0

1 1 2 2 3 3 3

{ 1 1 3

3

∑ ∑ ∑ ∑ ∑ ∑ ∑

− + + + = 0 + + =

1 1 2 2 3 3 1 2 2 3 3 1

2 2

∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑

− ∙ + + + ∙ = 0 + + ∙ = ∙

1 2 1 2 2 2 3 3 2 1 2 2 2 3 3 2 1 2

2 2

∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑

{ − ∙ + + ∙ + = 0 { + ∙ + = ∙

1 3 1 3 2 2 3 3 3 1 3 2 2 3 3 3 1 3

Si ricordi ora che la covarianza di due variabili e si calcola:

1 1

)

) ∑( )( ∑

= ( , = − − = ∙ − ∙

Se invece si considera la covarianza della stessa variabile si ottiene la varianza, poiché:

1 1

2 2

2

) ∑( ) ∑ ( )

= ( = − = −

Quindi, dividendo per ciascun termine del sistema normale si ottiene:

+ + =

1 2 2 3 3 1

1 1 1

2

∑ ∑ ∑

+ ∙ + ∙ ∙ = ∙

1 2 2 2 3 3 2 1 2

1 1 1

2

∑ ∑ ∑

+ ∙ ∙ + ∙ = ∙

1 3 2 2 3 3 3 1 3

{

2

( )

+ + =

1 2 2 2 3 2 3 1 2

1 1 1

2 2

( )

∑ ∑ ∑

0 + ∙ ( − ) + ∙ ∙ − = ∙ −

2 2 2 3 3 2 2 3 1 2 1 2

{ " "

" "

+ =

2 22 3 23 12

{ " " 2

( )

+ + =

1 3 2 2 3 3 3 1 3

" " 1 1 1

2 2

) ( )

∑ ∑( ∑

0 + ∙ ( ∙ − ) + ∙ − = ∙ −

2 2 3 2 3 3 3 3 1 3 1 3

{

Riassumendo, si ha:

+ + =

1 2 2 3 3 1

+ =

2 22 3 23 12

{ + =

2 23 3 33 13

2

∙

3 23 12 23

+ =

2 23

{ 22 22

+ =

2 23 3 33 13

2

23 12 23

0 + ( − ) = −

3 33 13

{ 22 22

" "

12 23 − −

13

12 23 13 22

22

= =

3 2 2

−

23 23 22 33

−

33

22

{ " "

Quindi, se lo stesso procedimento viene applicato alla seconda equazione, si possono ricavare i due parametri e

2

e di conseguenza ricavare esplicitandolo nella prima equazione:

3 1

= − −

1 1 2 2 3 3

−

13 23 12 33

=

2 2

−

23 22 33

−

12 23 13 22

=

3 2

{ −

23 22 33 2

− = 0,

Queste equazioni sono valide solo se il denominatore è diverso da zero. Invece quindi

23 22 33

2 2

( )( ) ( )

( , ) − = 0, , = 1,

se e solo se cioè se c’è perfetto legame lineare tra e .

2 3 2 3 2 3 2 3

(, )

Questo avviene perché, dato che è il rapporto tra la covarianza e il prodotto degli scarti quadratici medi e ha

≤ 1, 1

valore se è uguale a significa che la covarianza e il prodotto degli S.Q.M. hanno lo stesso valore e quindi la

2 2 ( )

0 , = 1

differenza tra i due dà risultato (stesso discorso se si considera ). Infine, quando significa che

2 3 2

è la trasformata lineare di , ovvero:

3

= + , ∈

con

2 3

Perciò, in questo caso, il piano interpolante sarà:

̂ ( ) ( ) ( )

= + + = + + + = + + +

1 1 2 2 3 3 1 2 3 3 3 1 2 2 3 3

PROPRIETÀ DEI RESIDUI

Prima di elencare le due proprietà dei residui, si possono effettuare alcune osservazioni:

∑ ∑( )

= − ̂ = 0

1. 1 1

I residui hanno segni discordi e si compensano perfettamente.

∑ ∑

= ̂

2. 1 1 ̂

La somma dei valori osservati in è pari alla somma dei valori forniti dal modello .

1 1

(̂

( ) )

=

3. 1 1 1 1 ̂

La media dei valori osservati in è pari alla media dei valori forniti dal modello .

1 1

1° PROPRIETÀ (, ) (, )

= = 0.

La variabile residuo è incorrelata con e , cioè

2 3 2 3

dimostrazione 1

() (, ) ∑

= 0 = −

Se è tale per cui allora ma il prodotto delle medie è uguale a zero

1

perché si è visto che la media di è uguale a 0. Quindi:

1 1 1

(, ) ∑ ∑ ∑(

= − = − 0 = − ̂ ) = 0 dalla 2° equazione del S. N.

2 2 2 2 1 1 2

1 1 1

(, ) ∑ ∑ ∑(

= − = − 0 = − ̂ ) = 0 dalla 3° equazione del S. N.

3 3 3 3 1 1 3

2° PROPRIETÀ ̂ ̂ )

(, = 0.

La variabile residuo è incorrelata con , cioè

1 1

dimostrazione

È possibile riscrivere il sistema normale nel seguente modo:

∑ ∑

= 0 moltiplicando per si ottiene ∙ = 0

1 1

∑ ∑

∙ = 0 moltiplicando per si ottiene ∙ ∙ = 0

2 2 2 2

∑ ∑

{ ∙ = 0 moltiplicando per si ottiene { ∙ ∙ = 0

3 3 3 3

Se le tre equazioni sono uguali a zero, allora anche la loro somma sarà uguale a zero, cioè:

∑ ∑ ∑ ∑(

0 = ∙ + ∙ ∙ + ∙ ∙ = ∙ + ∙ ∙ + ∙ ∙ ) =

1 2 2 3 3 1 2 2 3 3

̂

∑ ∑

( + ∙ + ∙ ) = ∙ ̂ = (, ) = 0

1 2 2 3 3 1 1

Si può quindi concludere che ogni modello lineare, i cui parametri sono stimati con il metodo dei minimi quadrati,

gode delle seguenti proprietà:

a) I residui hanno media nulla.

b) La media dei valori forniti dal modello è pari alla media dei valori osservati.

c) Vi è incorrelazione tra i residui e ciascuna variabile esplicativa.

d) Vi è incorrelazione tra i residui e il modello.

SCOMPOSIZIONE DELLA VARIANZA

2 2

( ) ) ) (̂ )]

∑( ∑[(

= − = − ̂ + − =

1 1 1 1 1 1 1

2 2

) ) )(̂ )

∑( ∑(̂ ∑(

= − ̂ + − + 2 ∙ − ̂ − = + + 0

1 1 1 1 1 1 1 1

Infatti, l’ultimo termine dell’equazione è uguale a zero. Per dimostrarlo, si ricordi che:

(̂

() ( ) )

− ̂ = = = 0 = e quindi:

1 1 1 1 1 1 1

̂ ̂

∑( )(̂ ) ∑( 0)(̂ ) )

− ̂ − = − ̂ − − = (, = 0

1 1 1 1 1 1 1 1 1

Esiste però un calcolo alternativo per ottenere la devianza spiegata:

(̂ 2

∑(̂ ) ∑(̂ ) (̂ ) ∑(̂ ) ) ( )]

[(̂

) = − = − − = − − + − =

1 1 1 1 1 1 1 1 1 1 1 1 1

(̂ (̂ (̂

∑(̂ ) (̂ ) ∑(̂ ) ( ) ) )

.. = − − + − − = , ) + , = 0 + ,

1 1 1 1 1 1 1 1 1 1 1 1 1

= − − = + +

Però, ricordandosi che e quindi , l’ultimo termine si può riscrivere:

1 1 2 2 3 3 1 1 2 2 3 3

( ) ( )

̂ − = + + − − − = − + −

1 1 1 2 2 3 3 1 2 2 3 3 2 2 2 3 3 3

̂

Quindi, la codevianza tra e può essere riscritta nel seguente modo:

1 1

(̂ ∑[ ( ) ( )] ( )

)

, = − + − − =

1 1 2 2 2 3 3 3 1 1

∑( )( ) ∑( )( ) ( )

.. = − − + − − = +

2 2 2 1 1 3 3 3 1 1 2 12 3 13

In sintesi:

(̂ (̂

( )

) )

= + = ,

1 2 12 3 13 1 1

(̂ ̂

) )

= + = ( ,

1 2 12 3 13 1 1

BONTÀ DI ADATTAMENTO ̂ = + + , ,

Per valutare se il modello dove sono i parametri ottenuti con il criterio di

1 1 2 2 3 3 1 2 3

accostamento dei minimi quadrati è idoneo a rappresentare i dati osservati occorre:

- Procedere ad ottenere l’ordine di grandezza dei residui.

- Ricavare la quota di variabilità di attribuibile al modello

1

Per fare ciò, esistono degli indici assoluti e relativi:

1

1

′

(||) |

∑|

= = . =

1 1 1 ( )

1

1

2

′

√ 2

() ∑

= = =

2 2 2 ( )

1

Un altro valore calcolabile è l’indice di determinazione multiplo, che è un rapporto di composizione e per questo

0 1:

motivo assume valori tra e (̂

2

∑(̂ ) )

,

− + 1 1

1 1 2 12 3 13

2

= = = =

1.23 2

∑( ) ( )

−

1 1 11 1

L’ultimo membro dell’equazione è stato ottenuto utilizzando il metodo indiretto per il calcolo della varianza

(̂ ̂

) ).

= + = ( ,

spiegata, secondo cui 1 2 12 3 13 1 1

1° CASO

2

= 0 = 0 ̂ = = = 0, ̂ = =

solo se e quindi ogni . Da ciò si ottiene che mentre e .

1.23 1 1 2 3 1 1 1 1

In questa situazione, il piano dei minimi quadrati non riesce ad intercettare alcun legame lineare tra le variabili

esplicative e la variabile spiegata.

2° CASO

2 2

∑( )

= 1 = − ̂ = 0 = ̂

solo se e quindi ogni . Da ciò si ottiene che i residui sono tutti nulli

1.23 1 1 1 1

e quindi i dati reali sono disposti in un piano. Perciò si può concludere che vi è perfetta regressione lineare, ovvero vi

è un ottimo adattamento del modello.

COEFFICIENTE DI CORRELAZIONE MULTIPLO

Il coefficiente di correlazione multiplo è il coefficiente di correlazione di rispetto alle due variabili esplicative e

1 2

̂ ̂

).

( ,

e si esprime come Infatti, sintetizza le esplicative nel loro legame lineare con . Questo

3 1 1 1 1

( )

,

coefficiente misura l’intensità e il segno del legame lineare tra e .

1 2 3

̂ )

( ,

1 1 2 2

= e =

1.23 1.23 1.23

)(̂

( )

1 1

dimostrazione ̂ (̂

) )

( , = = + ≥ 0.

Si ricordi che Quindi:

1 1 1 2 12 3 13

̂ (̂ (̂ (̂

2

) ) ) )

( ,

1 1 1 1 1

= = = = ≥0

1.23 )(̂ )(̂ )(̂ ( )

( ( (

) ) ) 1

1 1 1 1 1 1

̂ ̂

Ciò significa che il legame lineare tra e è un legame di concordanza (quando cresce, anche aumenta)

1 1 1 1

e il modello segue l’andamento della variabile . Inoltre:

1

(̂ (̂

2 ) )

1 1

2 2

= = = =

1.23 1.23

2 ( ) ( )

1 1

Infine, si può dimostrare che:

212 213

+ − 2 ∙ ∙ ∙

12 13 23

2

=

1.23 2

1 − 23

dimostrazione 2

Si