Appunti di Big Data Analytics

OLS

βˆ una delle sue possibili realizzazioni (un vettore di parametri stimati)

ε è una componente di disturbo e dobbiamo cercare di eliminare questo termine di errore

Definizione di residui

I residui di regressione sono dati dalla differenza tra i valori osservati di y e i suoi valori stimati, yˆ

(È la differenza tra il vettore di osservazione e i valori predetti)

e = y – yˆ = y – Xβˆ

Proprietà dei residui:

- Condizione di ortogonalità: Ogni regressore x è ortogonale al vettore dei residui (⇒ sono linearmente

j

indipendenti)

- Se X ha un termine costante x (cioè una colonna di 1 per l’intercetta):

0 - -

Questo implica che la media dei valori osservati y è uguale alla media dei valori stimati y^

Graficamente, i residui sono la distanza tra i punti del grafico e la retta

PROIEZIONE GEOMETRICA

Permette di capire come fare un modello di regressione con una o più variabili

→ −1

Partiamo dal vettore dei residui e = y – Xβˆ = y – X (X ′X) X′ y = ( I – X (X ′X) −1 X′ ) y

Quindi:

- Il residuo e è la differenza tra il valore osservato y e il valore stimato y^

- Possiamo riscrivere il residuo come una matrice che moltiplica il vettore y

- Questa matrice è (I − X (X′X)− 1 X′)

La matrice identità è una matrice quadrata (stesso numero di righe e colonne) di dimensione nXn. Sulla

diagonale principale della matrice ha tutti valori unitari (tutti 1). Tutti i valori al di fuori della diagonale

principale sono nulli (tutti 0)

Definizione di Matrice di Proiezione

−1

La matrice P = X (X ′X) X′ è definita matrice di proiezione poiché proietta il vettore y nello spazio colonna

^

di X, quando y è pre-moltiplicato per P, ad esempio P*y = yˆ = X*β

Se la matrice di proiezione viene pre-moltiplicata per vettore y, ottengo i valori fittati della y, cioè quelli che

ottengo dalla mia forma funzionale una volta stimati i parametri beta

Definizione di Matrice dei Residui −1

La matrice M = I – P = I – X (X′X) X′ è definita matrice dei residui perché quando il vettore y viene pre-

moltiplicato per M si ottiene il vettore dei residui tramite i minimi quadrati, ovvero M*y = e

→

M = I – P (ovvero I meno la matrice di proiezione) Se pre-moltiplicata per la y, ci offre i residui di regressione

Nella figura ci sono due regressori (le x)

Ci sono le y e le y predette. Ci sono anche i residui di regressione (e)

I due vettori dei due regressori vanno a creare un piano

Dobbiamo trovare le y predette, ovvero spiegare la y a partire dalle informazioni che abbiamo con le x. Per

→

farlo, proiettiamo la y sullo spazio generato dalle x Quindi y^ sta sul piano delle x

→

Per fare questo, ho un residuo (e) Il residuo la distanza ortogonale tra la y e la y predetta

→

Ottengo un triangolo rettangolo Posso risolvere tutto attraverso il teorema di pitagora

Caratteristiche: →

2 2

- M e P sono idempotenti (cioè M = M e P = P ) e simmetrici (cioè M = M′e P = P′ Matrice è uguale alla traposta)

- Dalla definizione segue che MX = 0 →

- PM = MP, poiché P e M sono ortogonali (MX = 0 e PM = MP = 0 APPUNTI TIPA)

- Questo implica che y = Py + My = Proiezione + Residuo

• Regressione multipla: k > 1, che significa che c’è più di un regressore, più eventualmente un termine

costante

• Regressione semplice: k = 1, che significa un regressore, più eventualmente un termine costante

Come scrivere il modello (SPECIFICHE DEL MODELLO)

∀i

y = Xβ + ε ≡ y = x′ β + ε (1)

i i i

Dove y è il vettore delle variabili dipendenti (o endogene), X è la matrice delle variabili determinanti (o

esogene), β è il vettore dei parametri ed ε è il vettore dei termini di errore

L’equazione (1) è nota come Equazione di regressione della popolazione: assumiamo che le relazioni in (1)

siano valide a livello di popolazione

• y: variabile dipendente o spiegata (endogena)

• x: variabile indipendente o esplicativa (esogena)

• β: vettore dei parametri (APPUNTI TIPA)

→

• ε: termini di disturbo/errore Disturbano una relazione che altrimenti sarebbe stabile (y = Xβ)

- Contiene tutte le informazioni che non siamo in grado di prendere in considerazione “esplicitamente”

nel determinare y →

- L’effetto netto, positivo o negativo, di questi fattori omessi è catturato dal termine di disturbo Tutto

ciò che finisce nel termine di errore è il risultato di fattori omessi

- Potrebbe essere la conseguenza di errori di misurazione delle variabili stesse

I residui (ε) non sono variabili casuali, ma sono la distanza tra il vettore y e il vettore y predette

QUESTE COSE SCRITTE SOPRA SONO MOLTO IMPORTANTI

Natura delle variabili:

- Variabili osservate: y, X

→ →

- Variabili stocastiche: ε y (contiene errore ε è stocastica e questo si ripercuote su y)

- Variabili deterministiche: X (considerato fisso)

Il modo in cui procederemo da qui dipende in modo cruciale da ciò che ipotizziamo riguardo al processo

stocastico che ha portato alle nostre osservazioni dei dati

Scopo: siamo interessati a valutare E (y|X)

E (y|X) = E (Xβ|X) + E (ε|X)

Quindi dobbiamo fare alcune assunzioni su E (ε|X) (Ipotesi di Gauss-Markov)

Definizione di PROCESSO STOCASTICO

Un processo stocastico o processo casuale è un insieme di variabili casuali in uno spazio di probabilità

È quella legge che va a generare i dati

→

- {ε(i)} Questa sequenza di variabili casuali ha una distribuzione di probabilità

- Non tutti i processi stocastici possono essere ben approssimati da un modello di regressione lineare

- In sostanza, l’analisi stocastica presuppone che si conoscano le proprietà del processo (ad esempio, come

nelle serie temporali) e che si possa lavorare con esse, mentre l’analisi di regressione presuppone che non

si conosca il processo di generazione dei dati e che si cerchi di recuperarne le proprietà utilizzando i dati

- Quindi, il concetto di processo stocastico è strettamente correlato al concetto di processo di generazione

dei dati (Data Generating Process, DGP)

IPOTESI DI GAUSS-MARKOV → ∀i

1) Linearità: il modello specifica una relazione lineare tra y e X y = x′ β + ε

i i i

→

Ho una forma lineare nei parametri (e nei regressori APPUNTI TIPA)

2) Rango pieno: non esiste una relazione lineare esatta tra nessuna variabile esplicativa

→ Assenza di multicollinearità perfetta

3) Esogeneità della X: il valore atteso del disturbo non è funzione delle variabili esplicative osservate

→

E (ε|X) = 0_ (il trattino sotto lo zero significa vettore nullo) Indipendenza in media

Se le X sono esogene, una volta verificate non apportano alcuna informazione al termine di errore, perché

il suo valore atteso è uguale a 0

4) Omoschedasticità e Non-autocorrelazione 2

Omoschedasticità: la varianza di ciascun termine di errore condizionato alle x, è pari a un certo σ che non

è noto a priori, per ogni osservazione

Non-autocorrelazione: la correlazione è data da covarianza/deviazioni standard delle variabili (formula).

In caso di non-autocorrelazione, la covarianza tra coppie di termini di errore è pari a 0

5) Generazione dei dati: i dati in X possono essere qualsiasi combinazione di costanti e variabili casuali

Le n osservazioni sono un campione casuale di estrazioni indipendenti e identiche (i.i.d.) da una

distribuzione congiunta di (y, X) → 2

6) Distribuzione Normale: i disturbi sono distribuiti Normalmente ∼

(per motivi di inferenza) ε|X N (0_ , σ I)

2

I è una matrice di dimensione nXn, mentre σ è uno scalare →

Matrice di varianza e covarianza (dei termini di errore) (VC oppure Σ) Nella diagonale principale ho

→

2

σ , fuori dalla diagonale ho 0 IMPORTANTE, DA RICORDARE VEDI FOTO SOPRA

Questa in realtà non fa parte delle ipotesi di Gauss-Markov

1) LINEARITÁ

y = Xβ + ε

L’ipotesi di linearità include il disturbo additivo. Ovvero, un modello lineare può essere definito come tale

sia nelle variabili originali sia dopo l’uso di una trasformazione utile

β ε

Ad esempio: y = Ax e (Cobb-Douglas) non è lineare nelle variabili originali, ma è lineare dopo la

trasformazione logaritmica di entrambi i lati dell’equazione

→ log(y) = log(A) + βlog(x) + ε (log-log model)

β

Invece, y = Ax + ε non è lineare nelle variabili originali anche dopo la trasformazione logaritmica di entrambi

i lati dell’equazione

→ β

log(y) = log(Ax + ε)

La linearità si riferisce al modo in cui i parametri e il disturbo entrano nell’equazione, non necessariamente

alla relazione tra le variabili

2) RANGO PIENO

La prof ha detto che basta quello scritto sopra (VEDI DA SLIDE 37 – PPT 2)

3) ESOGENEITÁ →

E (ε|X) = 0_ (il trattino sotto lo zero significa vettore nullo) Indipendenza in media

L’esogeneità indica che il valore atteso di e condizionato alla X sia uguale a 0, ma NON il contrario (quindi le

variazioni di ε NON sono spiegate dalle variazioni di X)

La variabilità di X proviene da fonti esterne ai processi stocastici che stiamo osservando, e quindi la variazione

di ε non è spiegata da una variazione di X

^

c) I valori predetti sono definiti da Xβ . Ottengo i valori predetti del mio valore atteso, quindi ottengo i valori

^

predetti della y (y ). Quindi quando parliamo della y stiamo parlando di qualcosa in media

VEDI SLIDE 41 (SALTATA DALLA PROF)

4) OMOSCHEDASTICITÀ E NON-AUTOCORRELAZIONE

a) E(ε) = 0 (esogeneità), quindi ottengo la parte scritta in rosso

VC = Matrice di Varianza e Covarianza. La troviamo scritta anche come Σ

Per definizione, se si hanno dei vettori, la matrice di Varianza e Covarianza è scritta

→

5) GENERAZIONE DEI DATI E 6) DISTRIBUZIONE NORMALE SALTATE

→ RIFERITO ALLE COSE SOTTO, VEDI PAG 16 APPUNTI TIPA

TEOREMA DI GAUSS-MARKOV: PROPRIETÀ PER LO STIMATORE OLS

1) Proprietà per i campioni finiti →

Le proprietà del campione finito sono indipendenti dal campione di osservazioni Non dipendono dalla

dimensione del campione osservato

2) Proprietà asintotiche

Le proprietà asintotiche sono studiate