Riassunto esame Advanced statistical models, Prof. Grilli Leonardo, libro consigliato Regression. Models, Methods and Applications. Springer., Fahrmeir, L., Kneib, T., Lang, S., Marx, B

Introduzione

Modello statistico: composizione di due parti, una deterministica (sistematica) e una aleatoria (rumore/errore). L’errore consente di passare dalla teoria all’analisi dei dati effettivi.

Si studierà solo il caso univariato.

Si dice in particolare che una variabile di risposta è funzione di una serie di variabili esplicative: = ( , ) = ( ) + 0 dove rappresenta la parte sistematica e rappresenta la parte aleatoria e non prevedibile.

La funzione più semplice che possiamo utilizzare per legare le variabili esplicative con le variabili di risposta è la funzione lineare → modello statistico lineare = 'β + → 'β = β + β + β +... + β con componente sistematica (k+1 coefficienti di regressione) e componente aleatoria (1 o più parametri della distribuzione di ).

NB: anche la parte sistematica non è direttamente osservabile, in quanto i coefficienti di regressione non sono noti!

Stimo quindi le quantità incognite tramite la definizione di un modello per la popolazione, dove il modello vale per ogni singolo elemento del campione. In particolare assumiamo anche che le osservazioni siano indipendenti tra loro.

Dobbiamo effettuare delle ipotesi riguardo gli errori, in quanto essi non sono osservabili:

• La media degli errori deve essere 0: ( ) = 0 ∀ ,
• Gli errori sono omoschedastici: omoschedasticità, ²( ) = σ²,
• Gli errori sono incorrelati: ( , ) = 0 ∨ ≠ .

Il processo quindi si realizza in: → ipotesi sugli errori → proprietà degli stimatori → inferenza.

Regressione lineare semplice

Modello più semplice: regressione lineare semplice. = γ + γ + 0 1 | dove in particolare si notano 3 incognite da stimare:

• L’intercetta: γ₀,
• Il coefficiente angolare: γ₁,
• La varianza residua, ovvero l’effetto sulla y depurato dell’effetto della x: ( ).

Poiché abbiamo assunto che si ha: ( ) = 0 ∨ = γ + γ + ⇔ (|) = γ + γ 0 1 | 0 1.

Si ha quindi che la retta di regressione è la retta delle medie condizionate di y dato x.

Il coefficiente angolare all’interno di un modello di regressione lineare indica l’effetto di una variazione unitaria della variabile esplicativa sulla variabile di risposta: γ = (| = + 1) − (| = ) 1.

Una volta stimato il modello di regressione, i residui sono dati dalla differenza tra il valore stimato e il valore vero.

Nel caso in cui vi siano k variabili esplicative il modello diventa: = β + β + β +... + β + 0 1 1 2 2 | ... 1.

In generale i parametri dei coefficienti angolari nel caso multivariato sono diversi dai parametri nel caso di regressione lineare semplice.

Ogni parametro β quindi rappresenta una variazione nel valore atteso della variabile di risposta nel caso di variazione unitaria della corrispondente variabile esplicativa, a parità di (oppure “condizionatamente a”, o “al netto di”) tutte le altre variabili esplicative.

Si ha quindi che nel caso di un modello multivariato confrontato con il modello semplice, i coefficienti dei due modelli sono diversi perché nel modello multivariato una parte dell’effetto di su è contenuto nella variabile .1 2.

Regressione lineare

La realtà è troppo complessa per essere descritta in modo completo da un modello. I modelli infatti sono approssimazioni. Un modello di solito ha due finalità: deve cogliere gli aspetti salienti del fenomeno (ruolo descrittivo) e deve aiutare a rispondere a quesiti della ricerca (ruolo strumentale). Infatti la specificazione del modello è guidata dalla conoscenza del fenomeno (teoria) e dai dati (evidenza empirica).

I modelli sono usati sia per spiegare dei fenomeni che per effettuare previsione sui fenomeni, ovvero sia per capire come le variabili esplicative x agiscono per determinare la variabile di risposta y, sia per prevedere il valore di una variabile y dato un insieme di variabili x.

Si parla infatti di due diversi obiettivi: se l’obiettivo è la spiegazione di un fenomeno si parla di statistical modelling, se l’obiettivo è la previsione si parla di statistical learning. L’obiettivo di questo corso è lo statistical modelling.

Focus sulla domanda: è vero che x è la causa e y è l’effetto? Domanda rilevante sia dal punto di vista pratico che teorico. Si può anche avere una situazione in cui y causa in parte x. In questo caso il coefficiente di regressione non esprime perfettamente la relazione che lega x a y.

Per questo diciamo che il modello di regressione può evidenziare un’associazione tra x e y, ma non consente di stabilire una relazione causa-effetto! Possono anche esistere variabili nascoste, che influenzano la relazione tra x e y, magari non essendo nota.

Un coefficiente di regressione ha due interpretazioni:

• Associativa (predittiva): considera la differenza nella variabile di risposta, in media, quando si confrontano due unità statistiche che differiscono di 1 per il regressore in questione,
• Causale (controfattuale): considera il cambiamento, in media, nella risposta di un’unità statistica causato dall’incremento di 1 del regressore in questione, lasciando invariati tutti gli altri regressori.

L’interpretazione causale è molto attendibile nel caso di studio sperimentale, ovvero di assegnazione del valore della variabile di regressione in maniera casuale! Mentre ha poco valore nel caso in cui sia osservazionale, ovvero scelto di libero arbitrio.

Supponiamo che il modello generatore dei dati sia:

y = punteggio test, z = libroB, w = abilità studente

(|, ) = β + β + β 0 1 2.

Si ha quindi che, se il libroB è difficile, il valore atteso del coefficiente dipenderà da β: 1 2.

(,)(β ) = β + β() 1 1 2.

Nel caso di studio osservazionale, z e w sono correlate tra loro positivamente, in quanto se il libroB è difficile verrà preferito dagli studenti bravi. Ciò significa che di base il valore atteso del coefficiente β viene sovrastimato. 1.

Nel caso di studio sperimentale, z è assegnato a random, il che significa che la covarianza tra z e w è 0. Ciò implica che non si ha né una sovrastima né una sottostima del coefficiente β: 10.

(β ) = β + β = β() 1 1 2 1.

Definizione del modello

Definizione del modello: = ( ,..., ) + ε 1.

Vengono fatte delle assunzioni riguardo il modello che è composto da una parte sistematica e da una parte aleatoria:

1. La parte sistematica del modello è combinazione lineare delle covariate:

( ,..., ) = β + β +... + β 1 0 1 1.

NB: posso esprimere in forma matriciale l’espressione sopra:

() = ' β [1*] [*1] = + 1 dove , e considerando gli errori additivi:

() = 'β + ε.

Passando al modello riguardante la popolazione (n individui), ogni unità statistica (individuo della popolazione) possiede un vettore di caratteristiche = ( ,..., ) e ε = (ε ,..., ε ). 1 1.

Possiamo quindi scrivere le caratteristiche come matrice:

… 11 1 … … → = β + ε X = … 1.

() = + 1 =.

Si ha che la matrice deve essere a full column rank, ovvero , ciò significa che le colonne di siano linearmente indipendenti, ovvero che non si può ottenere una colonna come combinazione lineare delle altre.

Autocorrelazione

L’autocorrelazione è un fenomeno che si ottiene quando i residui non sono incorrelati, ovvero quando: (ε ) ≠ 0.

In tale contesto il residuo dell’osservazione i+1-esima dipende dal residuo dell’osservazione i-esima. Ciò significa che, in presenza di autocorrelazione, per effettuare una previsione su un valore futuro n+1: ' = β+1 +1.

Non è sufficiente moltiplicare il valore delle covariate nell’istanza n+1 per lo stimatore dei parametri β, ma si aggiunge il termine di errore dell’osservazione precedente, ovvero ε, che è moltiplicato per il coefficiente di correlazione empirico ρ:

' = β + ρ · ε+1 +1.

Non facendo questo si perderebbe informazione utile che risiede proprio nell’autocorrelazione.

Minimi quadrati

Per poter fare inferenza sui parametri β, dobbiamo fare alcune assunzioni sugli errori:

• Non sono correlati alle variabili esplicative x → (ε) = 0.
• Ipotesi di omoschedasticità, dove σ² è un parametro che verrà stimato → (ε²) = σ².
• Assumiamo inoltre che (ε , ε ) = 0, ≠ → ciò significa che l’errore sull’unità statistica i non influenza in alcun modo l’errore sull’unità statistica j.

Ciò si concretizza in (ε) = (εε') = σ² ,..., .

• Le variabili esplicative potrebbero essere deterministiche o, nella maggior parte dei casi, stocastiche. Si dice che sono realizzazioni di variabili casuali. Nel caso in cui i regressori siano stocastici, dobbiamo riscrivere le ipotesi sopra condizionatamente ai valori delle : (ε|) = 0; (ε|) = σ².
• Specifichiamo anche, come assunzione, la distribuzione degli errori ε: ε ∼ (0, σ²).

Viene quindi, in base alle assunzioni elencate, modificata la struttura del modello:

( ) = ( 'β + ε ) = 'β = β + β +... + β 0 1 1.

( ) = ( 'β + ε ) = (ε ) = σ².

( , ) = (ε , ε ) = 0.

Se inoltre aggiungiamo l’ipotesi di normalità, allora otteniamo che anche y si distribuisce come una normale:

∼ (β, σ²).

Distinzione di notazione: β è il parametro incognito, mentre β è la stima del parametro.

La stima del valore atteso di è dato da:

( ) = β + β +... + β 0 1 1.

( ) =.

Otteniamo quindi , che è una stima del valore vero . È ottenuto moltiplicando la riga dell’i-esima unità statistica per il vettore dei β, ottenendo la stima dell’i-esimo valore della variabile di risposta .

Si ottiene quindi il concetto di residuo, ovvero la differenza tra il valore vero di e la sua stima :

ε = − = − 'β.

ε = (ε ,..., ε )' e una volta definito il vettore dei residui come si ha: 1.

ε = − β.

NB: β è un parametro fisso e ignoto. Per β si tenta di attribuire un valore ad un parametro, allora si parla di stima. Invece è una variabile aleatoria, quindi per tentare di attribuire un valore a si parla di previsione.

Stima dei minimi quadrati

Il metodo dei minimi quadrati mira a trovare il valore di β tale che la somma degli scarti al quadrato sia minima:

(β) = ∑ ( − 'β)² = ∑ ε² = ε'ε ⇒ β = (') 1* * * *1=1 =1 '.

NB: la condizione di rango pieno sulla matrice garantisce che sia invertibile, e quindi che i minimi quadrati abbiano un’unica soluzione.

Stimatori e R quadro

Appendice B.4 per la teoria degli stimatori di Massima Verosimiglianza.

Sotto ipotesi di normalità (errori distribuiti normalmente) gli stimatori di massima verosimiglianza corrispondono con gli stimatori dei minimi quadrati, in quanto nella loro espressione hanno:

− 1 / 2σ² ( − β )' ( − β ).

Da massimizzare, che equivale a minimizzare ( − β)' ( − β ), ovvero il criterio dei minimi quadrati.

Data la stima di y e dal fatto che lo stimatore di β è dato da:

β = (')⁻¹ '.

Si ha:

( ) = = β = (')⁻¹ ' = = (')⁻¹ '.

Dove *.

In particolare:

• H è simmetrica,
• H è idempotente,
• Il suo rango è uguale alla sua traccia: −.

La matrice genera le previsioni. Mentre la matrice genera i residui:

ε = − = − = ( − ).

Lo stimatore di massima verosimiglianza della varianza degli stimatori è:

σ² = ε'·ε.

Gli stimatori di massima verosimiglianza hanno proprietà asintotiche. Tende a sottostimare il valore di σ² con un campione grande si ha che la stima tende al valore vero. Si giunge quindi allo stimatore corretto e restricted per la varianza degli stimatori:

σ² = 1 · ε' · ε −.

Proprietà geometriche degli stimatori

Proprietà geometriche degli stimatori:

• I valori predetti sono ortogonali ai residui → ε ε = 0.
• Le colonne di X sono ortogonali ai residui: ε = 0.
• Il valore atteso dei residui è zero: (ε) = ∑ ε = 0, =1.

Si definisce anche il coefficiente di determinazione lineare tramite la scomposizione degli errori:

∑ ( − )² = ∑ ( − )² + ∑ ε², =1 =1 =1.

Valori osservati = valori previsti + valori residui.

Si ha quindi il valore di tramite:

R² = ∑ ( − )² / ∑ ( − )² = 1 − ∑ ε² / ∑ ( − )² ⇒ 0 ≤ R² ≤ 1.

In ogni caso si ha che l’indice di determinazione lineare è ottenuto tramite la divisione della devianza residua per la devianza totale.

NB: R² = 0 non implica assenza di correlazione!

Nel caso di regressione lineare semplice, il coefficiente di correlazione lineare corrisponde alla correlazione al quadrato: R² =.

Nel caso di regressione lineare multipla invece il coefficiente di correlazione lineare corrisponde a: R² =, ovvero la correlazione tra i valori osservati e i valori previsti.

Covariate

Covariata continua = frutto di una misurazione o di un conteggio.

Covariata discreta = categorie.

Utilizzando una trasformazione su una variabile categorica mantengo il principio di linearità, ma vado quindi a studiare la regressione secondo la trasformata della variabile, e non della variabile in sé.

Ciò significa che andiamo a stimare un modello, ad esempio:

= β + β () + ε 0 1.

Dove i parametri β₀ e β₁ sono stimati tramite i minimi quadrati.

Ad esempio se utilizzo () = allora stimo il modello utilizzando come regressore la variabile stessa.

Se invece utilizzo 1() = allora stimo il modello utilizzando l’inverso del regressore. In questo caso otterrò un modello lineare nei parametri che ha come linea di regressione un’iperbole.

Nel caso di modelli in cui si hanno trasformazioni sui regressori una buona pratica è quella di plottare il risultato per vedere la bontà di adattamento, in quanto è più difficile interpretare il coefficiente β rispetto al modello di regressione lineare senza trasformazioni, in cui β specifica il cambiamento atteso nella risposta quando l’esplicativa cambia di 1.

Regressione polinomiale: ad esempio, un modello di regressione polinomiale del second’ordine si ha quando si introduce un termine trasformato con un elevamento al quadrato:

= β + β + β + ε 0 1 2.

P