Analisi dei dati spaziali e temporali - SGI, secondo anno

Settimana 1

Lezione 1 - 9/5 (video 1-2-3-4) - Analisi delle serie storiche, dati temporali

Ci occuperemo principalmente delle serie storiche univariate. Una serie storica è una successione equispaziata di osservazioni discrete, temporalmente ordinata. Questa si indica con Y1, Y2, …, Yt. La serie storica è una mappa che associa ad un intervallo di tempo le sue osservazioni. Un esempio può essere l’andamento dei turisti mensili in Australia per un tot di anni. Le serie storiche si rappresentano mettendo sull’asse x il tempo e sull’asse y l’unità di misura.

Il primo scopo che ci si pone sulle serie storiche è la previsione (sia oltre l’ultima osservazione, quindi nel futuro, oppure il back-casting, ovvero la ricostruzione di dati precedenti alla prima osservazione). Ovviamente la previsione è sia puntuale che intervallare. Le previsioni sono rappresentate nei grafici con delle linee rosse.

Un altro tema importante è che l’andamento delle serie storiche può dipendere da una variabile ciclica (come il turismo per le stagioni). In particolare, a volte è necessario anche scomporre le serie rispetto ad elementi di rumore. Questo approccio è molto importante soprattutto in ambito economico. Quindi prendiamo in input una serie storica completa e la decomponiamo in più serie storiche in base alle componenti stagionali e di rumore. La componente di rumore viene chiamata semplicemente caso. Questo processo è la decomposizione di una seria storica: ci permette di infraleggere le informazioni.

Dunque, i principali obiettivi che avremo sono 2: imparare a prevedere ed imparare a decomporre serie storiche. Vediamo che questi due obiettivi sono molto interconnessi tra loro perchè a volte dovremo usarli entrambi. Vedremo gli approcci più moderni: la teoria è molto vasta ma grazie ai software, le funzioni vanno a sintetizzare i processi e rendendo veloci le analisi. Vediamo 3 approcci:

• Approccio tramite modelli ARIMA: questi modelli (e nella loro estensione SARIMA) sono molto profondi, eleganti ed interessanti ma poco intuitivi sulle dinamiche che sottostanno alla serie storica. È un approccio math-driven;
• Modelli strutturali, UCM: la mia serie storica è composta da una somma di componenti, ognuna con il suo andamento. Da questi andamenti singoli, riesco a trovare la struttura della serie totale. Questi modelli sono più intuitivi perché schematizzano fortemente la dinamica dell’oggetto di interesse. Se lo schema è corretto, questi schemi sono molto informativi. In questo concetto vedremo 2 approcci -> ETS e G-UCM. Questi modelli sono simili come logica ma il secondo è più generico.

Questi due modelli sono inferenziali, con un problema di tipo parametrico che andremo a studiare con la massima verosimiglianza. In particolare, questi dati non sono indipendenti.

• Strumenti di Deep-Learning - algoritmo LSTM: costruzione di una rete neurale (caso particolare di Machine Learning). Una rete neurale è un sistema computazionale composto da unità che svolgono calcoli semplici che messi in rete sono in grado di approssimare e riprodurre il legame tra i dati. È un approccio data-driven. Ciò che otteniamo non sono modelli ma estraiamo dal dato un’informazione capace di evitare l’overfitting.

Serie storiche - previsioni

Dobbiamo collegare la serie storica con elementi stocastici e di probabilità. Introduciamo la nozione di processo stocastico e, in particolare, il processo stocastico a tempi discreti.

Un processo stocastico a tempi discreti è una successione infinita e discreta di variabili casuali, è una collezione di variabili casuali Y_t, dove t appartiene a Z (insieme degli interi relativi e va da + a - infinito). Ad esempio, la temperatura di una stanza definita per ogni unità temporale, dove la temperatura è la nostra variabile casuale. Quando realizzo questo processo, ottengo una realizzazione campionaria di un processo a tempi discreti che è una successione infinita di numeri, indicata con y_t. La sequenza di valori ordinata sul tipico grafico è detta traiettoria del processo Y_t. Allora, una serie storica è una traiettoria in una certa finestra temporale, una parte finita di una sola traiettoria del processo. Dire ciò, significa porci un problema di tipo inferenziale avendo a disposizione un’informazione molto parziale: per fare bene inferenza avremmo bisogno di n traiettorie, invece noi ne abbiamo una sola, una sola realizzazione campionaria e nemmeno intera.

Prima di specificare i tipi di processo, cerchiamo di intuire qual è la prospettiva che ci interessa del processo stocastico, in ambito previsivo. Noi osserviamo una serie storica, osservata nel tempo 1-t e ci interessa cosa succede nel tempo t+h. Devo assumere che ciò che accade in passato nella serie storica, abbia qualcosa da dirmi del suo futuro.

Per sapere cosa succede nel tempo t+h, dunque, dobbiamo assumere che ci sia una dipendenza, un legame con ciò che succede nel tempo 1-t. Piuttosto che studiare la la distribuzione di Y_t+h dato il suo passato, devo esprimere Y_t+h, come una funzione del passato di Y, in questo modo:

∧ β β βY Y Y…· ·+ + +=h 0+ 1 1t t t

Dunque, semplifichiamo il problema di previsione, da un problema di distribuzione condizionata ad una regressione del futuro sul passato, proiettare il futuro su passato.

Fare queste operazioni ha un costo ed è limitante, ma entreremo più nel dettaglio. Però è un tipo di costo che siamo disposti a pagare perchè ci semplifica la teoria e ci fa ottenere risultati più semplici. In particolare, noi ci poniamo in un contesto gaussiano (assunzione di normalità delle variabili casuali) in cui la (**) regressione è pari al condizionamento. In particolare, se noi costruiamo il tentativo di prevedere tramite la regressione, noi abbiamo bisogno di sapere la correlazione tra presente, passato e futuro. Tutto quello che vedremo nella prima parte è un modo per cercare di ottenere questa informazione: la correlazione tra le variabili che compongono il processo. Per avere un’informazione affidabile sull’oggetto “covarianza” e riuscire ad avere una combinazione lineare, dobbiamo percorrere una strada piuttosto lunga.

Processi stazionari

Per poter prevedere mediante una regressione, dobbiamo ipotizzare che ciò che vale per la serie storica, valga anche per il tempo successivo: quello che posso inferire nella finestra temporale, che io osservo della struttura della serie storica, deve valere anche oltre. Quindi, la covarianza della serie storica non deve dipendere dal tempo. Diamo due definizioni di processo stazionario, che ci serviranno per ottenere questa condizione:

• Processo stazionario in senso forte: sia Y_t un processo stazionario a tempi discreti e ⎛ ⎞ sia k un intero qualunque e prendiamo k tempi. Inoltre, prendiamo h un intero. Si chiama processo in senso forte, se vale la proprietà: ⎝ ⎠ Condizione molto forte, non sempre ((P Y Y P Y Y, …, , …,= = = = =y y y y verificabile.) )k k k kh h+ +1 1 1t t t t1
• Processo stazionario in senso debole: proprietà più debole che sarà fondamentale. Abbiamo le seguenti proprietà:

( )YE ∞, ∀µ <= tt

( ) ( ) hY Y Y Y Z, , , ∈=v ovc co h h+ +s sh→ = - s | |

( ) fY Y, = -v sc o 0- s

( )Y Y,→ = = =v γ γ γc o l l l k-s s s

Media costante e la covarianza è invariante per traslazioni temporali. ⎜⎟ℓ Per indicare la varianza del processo si usa gamma_0, che è pari a sigma quadro Y. Quindi abbiamo media e varianza costante nel tempo e covarianza invariata per traslazione nel tempo.

Dalla covarianza, possiamo ottenere la correlazione:

Covarianze e correlazioni sono in funzione della distanza γ k= -p temporale tra le unità. k γ 0

L’assunzione che facciamo è che il processo Y_t abbia una distribuzione normale di media mu e varianza pari a sigma quadro.

Diciamo che anche la matrice sigma è invariante per traslazione ( )2NY ,µ∼ σ temporale. Quindi, se assumiamo una distribuzione normale, il yt processo è sia stazionario forte che stazionario debole perché le due nozioni sono equivalenti. Normalmente, però, possiamo avere uno forte che non è debole.

Non è senza costo questo processo: infatti, le osservazioni reali non derivano quasi mai da processi stazionari. Nell’esempio dei turisti in Australia, dove il trend è crescente, il valore atteso oscilla tra alcuni valori ma questi non sono costanti nel tempo. Quindi, teoricamente, ci stiamo restringendo a serie storiche che non sembrano produrre un particolare trend. Ma tramite una teoria, riusciremo a ricondurre i casi più interessanti nella realtà, ai casi stazionari e riusciremo a fare previsioni per serie storiche non stazionarie.

Stazionarietà debole e matrici di Toeplitz

In un processo stazionario in senso debole la covarianza è funzione soltanto della distanza temporale delle variabili (gamma_k dove k = l-s, e l ed s sono gli indici temporali del processo). Stessa cosa vale anche per la correlazione indicata con rho e con l’acronimo ACF (auto correlation function). ⎣ ⎦

Ora vediamo le conseguenze sulla forma della regressione che utilizzeremo per la previsione. Quando impostiamo una regressione, scriviamo:

∧ β β β…+ + += y yy h 0+ 1 1t t t

Ammettiamo che il valore atteso delle variabili casuali in gioco sia 0, così possiamo eliminare beta_0. Inoltre, possiamo scrivere in forma compatta:

β y∧ = --y k+t

Dove il vettore beta è ottenuto da:

β -1( )t ( )E E=- y y y y h+t

La quantità tra parentesi quadre è la matrice di varianze e covarianze che di solito viene chiamata sigma ma noi la chiameremo gamma, dove gli elementi sono dati da:

Γ E= =y y γ( )i i ij j j-

Quindi gli elementi di gamma dipendono solo dalla differenza sugli ⎢⎥ indici. Questi tipi di matrice vengono chiamate matrici di Toeplitz. Scrivendo gamma per intero otteniamo:

Le matrici di Toeplitz si dicono costanti per diagonali. Questa è la proprietà fondamentale per un processo stocastico a tempi discreti in stazionarietà per covarianza.

Il secondo valore atteso (nella parentesi tonda), non è altro che la covarianza tra ogni y_i e y_t+h. Ovvero:

Vediamo, dunque, che la previsione dipende fortemente dalla covarianza. In particolare, dobbiamo essere in grado di riempire la matrice gamma con dei numeri. Per fare ciò dobbiamo dedurre dai dati il modello a cui appartiene questa struttura.

Dimostrazione sulla normale

Dimostrazione sulla normale: prendiamo y1, y2, … , yn congiuntamente normali. Allora, ogni combinazione lineare di questi elementi è normale*. Prendiamo ora la distribuzione di Y condizionata agli y_i:

⎛ ⎞ ⎛ ⎞| …y y y ⎝ ⎠1 n ⎝ ⎠

∑∧ β ·→ =y yi ii

∑ β iY ,· ⊥→ → ∀-y yi ii

→ il residuo è incorrelato a tutti i regressori per ogni y. Inoltre, è gaussiano per * e quindi se è incorrelato è anche indipendente.

Da questa osservazione ricaviamo che:

|∑ ∑ **( )( )β β βE E EE … 0 0 0· · ·= = = =- - - -y y y y y y y yi i i i i i1 ni i

La parte in viola scompare per l’indipendenza evidenziata al punto precedente e la media di y è pari a 0 per assunzione. Questa equazione può essere riscritta in modo diverso per arrivare a dire che la media di Y condizionata agli yn equivale alla sommatoria dei beta_i per gli y_i:

⎜⎟ |∑ ∑ **| |β βE E E… … … 0· ·= = =- -y y y y y y y y y yi i i i1 1 1n n ni i

∑| βE … ·→ =y y y yi i1 n i

Lezione 2 - 10/5 (presenza)

Nel caso gaussiano il previsore ottimo è quello lineare. Ieri abbiamo detto che la serie storica viene vista come porzione di traiettoria finta del nostro processo. Il nostro scopo è la previsione. Dobbiamo, dunque, studiare la dipendenza delle variabili casuali e ci limitiamo alla previsione ottimale. Ricordiamo che facciamo un’assunzione di normalità sul processo. Inoltre, per poter pensare di ottenere osservazioni, dobbiamo assumere la stazionarietà, ovvero ciò che verifichiamo per la finestra temporale, deve valere sempre: media e struttura di dipendenza deve essere uguale per traslazione. La stazionarietà che ci interessa è quella debole. Alla luce dell’assunzione di normalità, le due condizioni sono uguali. La conseguenza è che la matrice di varianze e covarianze ha la struttura comoda di Toeplitz.

Modelli MA

Fondamentalmente devo stimare la media e la gamma senza campioni: ho solo una realizzazione di un pezzo. Il trucco sarà usare il tempo e non il campione. L’altro problema è anche che devo prevedere y_t+h per qualsiasi sia h. Per fare questo abbiamo bisogno di un modello, una struttura parametrica che ci permette di agganciare alla serie storica, l’intero processo Y. Il prossimo passo logico è capire come si dà una forma parametrica ai processi. Prima di tutto costruiamo qualche esempio di processo stazionario.

Esempio 1 - White noise

Def:

⎜⎟ ε{ }t Z∈t La scrittura in azzurro sta a significare che ho 1 se l e s sono uguali e 0 se sono diversi.

( ) 2E ,0; ·= =v γε ε εc o σ( ) l lεs st Da ciò traiamo che la varianza sarà pari a ⎧ sigma quadro epsilon, mentre i processi l0 → ≠ s ⎨→ = diversi sono tutti incorrelati tra loro γ l s l1→ = s (covarianza = 0) ⎩ ( )2V ,; 0→ = =vε ε εar c oσ( ) lε st

In questo caso tutte le variabili hanno media e varianza uguale e sono tutte incorrelate. Noi assumiamo che Epsilon_t sia gaussiana di media 0 e varianza sigma quadro epsilon. Partendo da questo processo, andiamo a costruire esempi con strutture di varianza non banali.

Esempio 2 - MA(1)

Ψ+=y ε ε1 1-t t t

W N. .→ =ε t

⎪ Da un processo Epsilon_t ottengo un processo Y_t. Tutto il nostro problema sarà invertire la freccia, ovvero espilon_t <- y_t. Cerchiamo di capire se questo processo è stazionario, calcolando media e varianza del processo.

( )ΨE E E E· ·0 0 0+ + += = = =y ε ε ε ε( ) ( ) ( )ψ ψ1 1 1 1 1- -t t t t t

( )2Ψ Ψ+V V V ,+ += = =ε ε v vy ε ε ε εar ar ar ar c o( ) ( ) ( )1 1- 1 1 1- -t tt t t t t

( )2 12 2 12 2Ψ Ψ0+ + +1= = = γσ σ σ 0ε ε ε

La media è pari a 0 e la varianza non dipende dal tempo e quindi è costante. Per calcolare la covarianza dobbiamo fare un passaggio in più: siccome è bilaterale, dobbiamo fare tutti gli accoppiamenti possibili tra gli epsilon è sopravvivono solo gli accoppiamenti in cui ho gli epsilon con gli indici uguali. Allora otteniamo:

( ) ( ) 2Ψ Ψ Ψ, ,+ += = =v ovy y γε ε ε εc co σ+ +1 1 1 1 1 1 1- εt t t t t t

( ) ( )Ψ Ψ, , 0+ += = =y yv ov γε ε ε εc co + + +1 1 1 12 2 2-t t t t t t

Tutti i calcoli ci dimostrano che il processo è stazionario ma ha una memoria breve perchè dura solo un tempo (ovvero per k = 1 perchè se k è maggiore non ho più incroci e le covarianze scompaiono. Infatti, si chiama MA (1) perchè coinvolge solo un passo.

Le gamma e le correlazioni di questo processo sono date da:

⎜⎟ k =0

( )2 2Ψ ;+1 1= =γ pσ0 01 ε

k =1 ψ 12Ψ ;= =-γ pσ1 1 1ε 2Ψ+1 1

k ≥2, 0=γ pk k

Esempio 3 - MA(2)

Questo processo ha una memoria maggiore, perchè dura 2 tempi, quindi Y_t e Y_t+2 sono collegati. Invece, Y_t è incorrelato con i leg maggiori di 2.

Ψ Ψ+ +=y ε ε ε1 1 2 2- -t t t t

W N. .→ =ε t

( )E Y 0=t

( )2 2 2Ψ Ψ+ +1= =