Appunti di teoria di Statistica II

DISTRIBUZIONE CONDIZIONATA DENTRO UNA NORMALE MULTIVARIATA

Prendo il vettore y e lo divido in due parti: la prima componente e poi tutte le altre e indico con z la prima componente e con x tutto il resto. Chiamo con z solo la y1, il resto lo chiamo x. Posso calcolare la media condizionata di z dato x ed è una funzione lineare delle x. All'interno della normale multivariata, la media condizionata è una funzione lineare delle x. NON BISOGNA IMPARARE LA FORMULA A MEMORIA.

Esempio di processo stocastico gaussiano:

Se yt è generato dal modello AR(1) e ho delle innovazioni gaussiane, si può dimostrare che anche la yt è gaussiana (come le innovazioni). Quindi se ε è normale ed indipendente con media zero e varianza sigma quadro allora anche la y è normale con media zero. La matrice di varianze/covarianze di y1, ..., yn ha sulla diagonale sigma quadro fratto 1- alfa quadro e fuori dalla diagonale ho qualcosa che dipende da alfa.

(così come nella prima riga della slideseguente). Dimostrazione della correlazione (ultima formula scritta nella slide): La correlazione di un AR (1) è una alfa alla h quindi va a zero in fretta; appena h cresce la correlazione va a zero subito. Alfa deve essere minore di 1 affinché valga quello che abbiamo scritto. Se alfa tende ad 1 c'è il randomwalk. Al denominatore ho il prodotto tra la deviazione standard di yt e la deviazione standard di y t-h. 22/10/2021 Una serie storica è una sequenza di osservazioni nel tempo yt con t = 0,1,2,... quindi le osservazioni sono regolari nel tempo. Le proprietà stocastiche di una serie storica sono descritte tramite processi stocastici come i processi gaussiani caratterizzati dal fatto che le serie sono congiuntamente gaussiane con un vettore delle medie μ e una matrice delle varianze/covarianze Σ (matrice n*n e descrive le relazioni tra le osservazioni del processo). I processi gaussianidalla media condizionata e dalla varianza condizionata del processo. La previsione k passi in avanti può essere ottenuta utilizzando il teorema di Bayes e la formula di previsione di Wiener-Kolmogorov. Il teorema di Bayes ci permette di calcolare la distribuzione condizionata di yt+k dato l'insieme delle osservazioni fino al tempo t. La formula di previsione di Wiener-Kolmogorov ci permette di calcolare il valore previsto di yt+k utilizzando la media condizionata e la varianza condizionata del processo. In generale, la previsione k passi in avanti sarà una combinazione lineare delle osservazioni passate, pesate in base alla loro importanza nel processo di previsione. La scelta dei pesi dipenderà dalla struttura del processo stocastico e dalla conoscenza delle sue proprietà statistiche. È importante notare che la previsione k passi in avanti sarà più accurata se il processo è gaussiano e se la varianza condizionata è costante nel tempo. In caso contrario, la previsione potrebbe essere meno precisa e potrebbe richiedere l'utilizzo di tecniche più avanzate, come ad esempio i modelli di previsione ARIMA o i modelli di previsione basati su reti neurali. In conclusione, la previsione di un processo stocastico dipende dalla sua struttura lineare, dalla distribuzione delle sue osservazioni e dalla conoscenza delle sue proprietà statistiche. Utilizzando il teorema di Bayes e la formula di previsione di Wiener-Kolmogorov, è possibile ottenere una previsione k passi in avanti basata sulle informazioni disponibili fino al tempo t.

Da quanti passi in avanti voglio fare nella previsione (orizzonte previsivo k). Indicheremo con y cappello una previsione di y. La storia del processo St, nel caso più semplice, contiene le informazioni yt stesse o può contenere anche altre informazioni e variabili sempre riferite al passato. 23

Se sto pensando ad una serie storica con varianza finita, allora possiamo chiederci quale è il previsore migliore, cioè quello che minimizza l'errore quadratico di previsione. Se osservo yt, l'errore di previsione sarà il valore previsto meno il valore vero (y cappello t meno yt). Questo errore di previsione lo indichiamo con et.

L'errore di previsione quadratico, cioè MSE sarà dato dalle medie di e al quadrato:

La teoria della previsione mi dice che la media condizionata della yt+k fissata la storia St è la quantità che minimizza l'errore quadratico medio (chiamato anche varianza). Varianza ed errore quadratico medio

sono la stessa cosa se la media dell'errore è zero cioè se il previsore è non distorto: (se il previsore è distorto il fattore e resta)

Noi ci concentreremo prevalentemente sulla previsione ad un passo quindi t+1 partendo da t.

Una casistica importante è quella dei previsori lineari: la media condizionata di yt+1 data la storia St è una funzione lineare delle osservazioni del passato. 24

Prendiamo l'esempio AR (1) dell'autoregressione del primo ordine che è dato da:

Se voglio prevedere la yt calcolo la media di yt dato tutto quanto fino a St-1, cioè: Innovazione che non dipende dal passato, infatti la sua media condizionata sarà zero

Il modello AR(1) mi dice che per la previsione ad un passo mi basta eliminare εt.

Se voglio fare una previsione a due passi avrò:

Con l'autoregressivo se faccio più passi mi trovo α alla k per yt.

I modelli autoregressivi sono modelli a memoria

breve quindi è adatto a fare previsioni a breve e non a lungotermine. 25L'errore di previsione è dato dalla differenza tra l'errore previsto e quello osservato e ha media nulla (almeno nel caso della previsione ottima. Se uso un previsore non lineare non è detto che sia non distorto). Questa condizione, di media nulla, è soddisfatta per i modelli lineari invece per i modelli non lineari bisogna fare delle considerazioni.L'errore di previsione è incorrelato con il passato cioè la correlazione (la covarianza) tra l'errore al tempo t e le osservazioni precedenti è zero. L'innovazione e l'errore di previsione sono la stessa cosa (questo succede spesso ma non sempre).La precisione della stima è data dalla radice della varianza, dall'errore std di previsione.Nelle situazioni più semplici abbiamo omoschedasticità: la varianza è costante nel tempo e non dipende dal passato.

Il processo è stazionario in senso forte quando la sua distribuzione è costante nel tempo. Quindi la distribuzione al tempo t è costante e non dipende da t. Se la distribuzione del processo cambia con t non vale la stazionarietà. Un processo si dice stazionario in senso debole se la media è costante e la varianza/covarianza tra due valori a distanza h non dipendono da t. Se un processo è stazionario in senso forte ed esistono dei momenti allora, essendo costanti le distribuzioni congiunte, saranno costanti anche i momenti.

Se il processo è stazionario in senso forte ed esistono i momenti, allora essendo costanti le distribuzioni congiunte saranno costanti anche i momenti. Se il processo è gaussiano stazionarietà in senso forte e in senso debole sono la stessa cosa.

Esempi di non stazionarietà:

• La media non è costante.
• Spesso la stazionarietà ci interessa dopo aver eliminato il trend, dopo aver eliminato una

componente deterministica facile da stimare. Ho dei repressori che catturano la non stazionarietà, tolgo la componente deterministica e calcolo gli errori in base a questo modello.

- Non stazionarietà in varianza.

- Non stazionarietà in covarianza.

Se ho una singola serie storica posso considerare le varianze e le correlazioni di yt con se stesso a distanza h sull'asse dei tempi. Chiamo γt (h) la covarianza a ritardo h quando il processo non è stazionario perché può dipendere sia da t che da h. Si chiama autocovarianza perché è la varianza di y con se stesso. Se il processo è stazionario almeno in senso debole, l'autocovarianza non dipende da t ma solo da h. In questo caso se calcolo l'autocovarianza con h positivo o con h negativo è la stessa cosa.

Se il processo è stazionario allora l'autocovarianza è simmetrica, allora graficamente avremo che: la parte di sinistra possiamo

è stazionario, allora la media campionaria sarà uguale alla media teorica del processo. L'autocorrelazione campionaria si calcola come il rapporto tra la covarianza a ritardo h delle yt e il prodotto delle deviazioni standard di yt e yt+h. Se il processo è stazionario, questo rapporto sarà uguale all'autocorrelazione teorica al ritardo h. Per calcolare l'autocorrelazione campionaria, si utilizza la formula: ρ(h) = cov(yt, yt+h) / (σt * σt+h) dove ρ(h) rappresenta l'autocorrelazione campionaria al ritardo h, cov(yt, yt+h) è la covarianza a ritardo h delle yt, σt è la deviazione standard di yt e σt+h è la deviazione standard di yt+h. È importante notare che l'autocorrelazione campionaria viene calcolata solo per valori di h positivi, poiché per un processo stazionario l'autocorrelazione non dipende dal tempo t.

è stazionario la media dovrebbe essere costante e quindi ha senso stimare la media del processo usando tutti i dati; se non è stazionario si potrebbe mettere in discussione questa affermazione.

N.B: WHITE NOISE vuol dire IID in statistica cioè auto incorrelazione. Inoltre se abbiamo una n grande l’autocorrelazione va automaticamente; se è piccolo bisogna fare attenzione.

Quando le osservazioni sono indipendenti allora l’auto correlazione oscilla intorno a zero; quando una singola correlazione è zero ma il processo che l’ha generata non è un white noise, dove il segnale è chiaro funziona bene ma dove il segnale non è molto chiaro è meglio non guardarla. Quindi non posso pretendere che l’autocorrelazione empirica riproduca completamente quella teorica quando n ha una certa limitatezza.

28 Se ho n osservazioni indipendenti, nello specifico consideriamo questa simulazione di n=200 dati e della relativa funzione di autocorrelazione.

Ipallini blu rappresentano le autocorrelazioni dei 200 dati simulati, mentre la curva arancione rappresenta quella teorica. Essendo le osservazioni IID l'autocorrelazione è fatta in modo tale che in zero valga sempre 1 (autocorrelazione di un fenomeno con se stesso è sempre 1), poi essendo indipendenti tutte le autocorrelazioni valgono zero.

Se il processo è così fatto, allora avremo:

Nel caso IID la previsione ad un passo si farà così:

Teniamo presente che in statistica white noise (WN) significa autoincorrelazione. A parole diremo che se l'autocorrelazione teorica vale zero per ogni h diverso da zero, allora l'autocorrelazione empirica non vale propriamente zero, ma bensì ha media zero e una certa varianza 1/n.

Se alfa è negativo, come nel seguente esempio, la formula dell'autocorrelazione vale ancora ma ha segni alterni.

Quando l'autocorrelazione teorica è abbastanza diversa da zero quella campionaria la segue.

diminuire. Questo fenomeno è noto come "effetto di finestra". L'effetto di finestra si verifica quando si calcola l'autocorrelazione di un segnale utilizzando una finestra di campionamento finita. Quando la finestra di campionamento è abbastanza grande, l'autocorrelazione campionaria approssima l'autocorrelazione teorica. Tuttavia, quando la finestra di campionamento è piccola, l'autocorrelazione campionaria può essere influenzata da piccole variazioni nel segnale, portando a un valore non nullo anche quando l'autocorrelazione teorica è zero. Questo fenomeno può essere mitigato utilizzando finestre di campionamento più grandi o utilizzando tecniche di correzione dell'effetto di finestra.