Processi stocastici

|X

x = x ) invece nel continuo essendo un processo con n che va ad infinito non numerabile, per

n+1 n n

rappresentarlo attraverso il teorema di Kolomogorov, dovremmo supporre che dati un estrazione di

|X

tempi k ordino le t > ... > t allora posso scrivere come P (X = x = x , ...X = x ) = P (X =

k i t t t t t t t

1 1

k k

|X

x = x ).

t t t

k k

4 Catena di Markov

E’ il caso di un processo markoviano a tempo discreto con spazio degli stati discreto esso è caratteriz-

zato dalla matrice di transizione. Si può scrivere come P (X = j|X = i, ...X = i ) = P (X =

n+1 n 0 0 n+1

j|X = i) = P (i, j) la matrice di transazione è l’insieme di tutte le P (i, j) probabilità.

n n n

Si dice che una catena è omogenea se il valore è indipendente da n quindi la posizione della traiettoria

e si scrive che P (X = j|X = i) = P (i, j). Notiamo che lo spazio degli stati ha la cardinalità di n

n+1 n

quindi numerabile.

La catena di Markov può essere descritta da due elementi:

• ∈

Stato iniziale della catena che è il valore P (X = i) = µ dove i S (spazio degli stati) dove

0 i

≥

µ 0 la sua sommatoria su S da ovviamente 1, essendo funzione di probabilità.

i

• Matrice di transizione cioè una matrice che contiene tutti i valori di P (i, j), essendo matrice di

n

probabilità ha le righe che sommano ad 1, infatti è detta anche matrice stocastica.

Ora verifichiamo se tale processo è descrivibile da un numero finito di variabili attraverso il teorema

∗ |X

di Kolmogorov, scriviamo tale processo come P (X = i , ..., X = i ) = P (X = i ) P (X = i =

0 0 n n 0 0 1 1 0

∗ ∗ |X

i ) ... P (X = i = i , ..., X = i ), visto che dipende solo dal presente è possiamo vederlo

0 n n n−1 n−1 0 0

∗ ∗ ∗

scritto come µ P (i , i ) ... P (i , i ).

0 1 0 n n−1

Notiamo subito che essendo una produttoria la prima restrizione del teorema è rispettata, verifichiamo

la seconda e marginalizziamo rispetto a n + 1, essendo una variabile discreta usiamo la sommatoria e

P P

∗P

otteniamo quindi P (X = i , ..., X = i ) = µ (i , i )∗...∗P (i , i )∗ P (i , i )

0 0 n n 0 1 0 n n−1 n+1 n

∈S ∈S

i i

n+1 n+1

dove la sommatoria essendo sul dominio di probabilità fa 1 e quindi è rispettata anche la seconda

condizione di Kolmogorov. L’esempio del white noise è un caso di catena di markow omogenea.

4.1 Struttura e proprietà delle catene di Markov omogenee discrete

Sia X il punto di partenza della catena sia Y variabile I.I.D e indipendente rispetto ad X allora un

0 i

processo markoviano può essere scritto come X = f (x , y ) abbiamo una componente determinista

n+1 n n

data da x e una aleatoria data da y , se il processo ha tale struttura è un processo markoviano

n n

omogeneo e vale anche il viceversa. Se mancasse la componente y avremmo un processo totalmente

n

deterministico.

Dimostriamo che tale scrittura è corretta sappiamo che P (X = J|X = i , ..., X = i ) =

n+1 n n 0 0

P (f (x , y ) = j|X = i , ..., X = i ) sappiamo che le Y sono I.I.D. quindi P (f (i , y ) = j) =

n n n n 0 0 n n n

P (X = j|X = i ) cioè la marginale dato X quindi vale la proprietà del processo markoviano che

n+1 n n n

|X |X

X , ..., X = X .

n+1 n 0 n+1 n 4 |X

Ora dobbiamo dimostrare che l’intero futuro non dipende dal passato cioè X , ..., X =

n+m n 0

P (X =i ,...,X =i )

|X |X n+m n+m 0 0

X questo perchè P (X = i , ..., X = i = i , ..., X = i ) =

n+m n n+m n+m n+1 n+1 n n 0 0 P (X =i ,...,X =i )

n n 0 0

∗ ∗

i termini della moltiplicazione si elidono ed otteniamo P (i , i ) ... P (i , i ) = P (X =

n n+1 m+n n+m n+m

|X

i , ..., X = i = i ) cioè la tesi.

n+m n+1 n+1 n n

Infine notiamo la proprietà di assenza di memoria nella catena ovvero che il futuro non dipende

dalla traiettorie del processo questo è immediato dalla scrittura precedente infatti se X = X allora

n 0

|X |X

X = X .

n+m n n+m 0

4.2 Trasformazioni in catene markoviane

Un processo può non essere markoviano ma possiamo renderlo tale, infatti possiamo creare un nuovo

processo in qui l’osservazione sia indipendente dal passato.

Per esempio se una variabile dipende anche dall’istante precedente oltre che quello presente posso

creare tutte le combinazioni dei risultati dei due istanti e numerarle, cosı̀ facendo accoppio i valori

dipendenti man mano creando un processo dipendente solo dal presente.

4.2.1 Esempio rovina del giocatore

Se due giocatori hanno capitale iniziale C e C e ogni volta scommettono un’euro avranno come spazio

a b

degli stati (0, ..., C + C ) e se ci mettiamo nella posizione di A, esso ha p come probabilità di vincita

a b

e 1-p come probabilità di perdita.

Tale processo formerà una catena di Markov dove l’osservazione X = I avra come evoluzione

n n

−

X = I + 1 o X = I 1, notiamo quindi che X dipende si da X ma esclusivamente

n+1 n n+1 n n+1 n

della posizione in cui si trova, infatti avrà +1 o -1 indifferentemente dal percorso fatto in precedenza

per raggiungere X .

n

Tale processo markoviano avrà come matrice di transizione: 

 0 1 2 C + C

a b

0 1 0 ... 0 

 

 − (1)

A = 1 1 p 0 p 0 

 

 −

2 0 1 p 0 p 



C + C 0 0 0 1

a b

Vediamo che in in 0 e in C + C la probabilità è uno ed è detta barriera assorbente cioè se il processo

a b

arriva in quel punto il gioco finisce.

4.3 Equazione di Champan-Kolomogorv

Se prendo una catena di Markov omogenea con un numero finito di stati ed ho µ e la matrice di

(1)

(1)

transizione P , allora P = P (X = j|X = i) e la matrice di transizione m-esima è indicata

n+1 n

ij

(m)

come P = P (X = j|X = i).

n+m n

ij (m)

Se X = i allora possiamo scrivere P = P (X = j|X = i) visto che essendo processo marko-

0 n+m 0

ij

viano omogeneo il processo non dipende dal tempo dello stato ma solo dallo stato in se.

Se il processo è omogeneo operativamente posso anche moltiplicare la matrice delle transizione n-

n

volte e prendere P nella cella (i,j).

(2) P

Se voglio trovare P esso è uguale a P (X = j|X = i) = P (X = j, X = h|X = i)

2 0 2 1 0

ij h∈S

P ∗

dove S spazio degli stati, che è uguale a P (X = j|X = h, X = i) P (X = h|X = i)

2 1 0 1 0

h∈S

P P

∗ ∗

= P (X = j|X = h) P (X = h|X = i) = P (i, h) P (h, j). Quindi in questo modo

2 1 1 0

h∈S h∈S

passo da i a j e ne calcolo la probabilità sommando le probabilità di ogni traiettoria.

5

4.3.1 Prima equazione

(m+n) (m) (n)

P ∗

Si ha che P = P (i, h) P (h, j) dove h è il valore in m. In questo modo calcolo la

h∈S

probabilità di tutte le traiettorie da 0 a m che partono da i, e le moltiplico per tutte le probabilità da

m a n che partono da un generico h e arrivano a j, mentre i e j sono fissi h varia in tutto S.

P ∗

Vale la seguente: P (X = j|X = i) = P (X = j|X = h) P (X = h|X = i).

n+m 0 n+m m m 0

h∈S (m+n) (m) (n)

∗

Tale calcolo si può scrivere in formula matriciale come P = P P quindi è semplice ma ci

sono moltissime moltiplicazioni matriciali. (0)

Per far quadrare le formule precedenti è necessario dire che P = I ciò indice che la transazione dallo

stato 0 non è possibile infatti come visto precedentemente a 0 si ferma il gioco.

4.3.2 Seconda equazione:

Se conosco P (X = j|X = i) posso ottenere P (X = j) marginalizzando cioè:

m 0 m (m)

P P

∗ ∗

P (X = j) = P (X = j|X = i) P (X = i) = P (i, j) µ(i) tale scrittura può essere

m m 0 0

i∈S i∈S

′ m

∗

trasformata in maniera matriciale come P (X = j) = µ P . E’ facile notare che più m è grande

m

più il potere previsivo sulla posizione del punto si abbassa.

4.4 Classificazione degli stati

Gli stati possono essere:

• Stati transitori: uno stato destinato a non essere più percorso con il crescere del tempo

• Stati ricorrenti: uno stato percorso infinite volte con il passare del tempo.

4.4.1 Proprietà degli stati

• Accessibilità: Si dice che lo stato j è accessibile da i se esiste almeno un valore di n tale che

(n) ⇒

P (i, j) > 0 e si indica come i j

• ⇒ ⇒

Comunicabilità: Se i j e j i allora si ha una relazione biunivoca della comunicabilità e si

−−

scrive come i < > j.

• Riflessività: Se i è comunicabile con se stesso.

• −− −−

Simmetria: Cioè se i < > j vale anche il vice versa j < > i

• −− −− −−

Transitività: se i < > j e i < > k allora i < > k.

• Assorbente: Se ha solo accessibilità da uno stato ad esso ed e riflessivo.

Date queste proprietà si possono creare delle ripartizioni spaziali.

4.4.2 Partizioni degli stati

• ∈ ∈

Chiusura un sotto insieme di stati C si dice chiuso se dato i C e j / C allora non esiste

alcuna P (i, j) > 0

• Irriducibilità Un insieme formato solo da stati comunicanti

4.5 Stati transitori e ricorrenti n

Se scriviamo che f = P (tornare in i prima o poi|X = i), che è uguale a P (i, i), e f (n) = P (tornare

i n i

̸ ̸

in i prima per la prima volta al tempo n|X = i) = P (X = i, X = i, ..., X = i|X = i) questa

n n n 1 0

probabilità descrive tutto il percorso del processo ed è diversa da quella precedente.

P

Allora per trovare f = f (n) è una sommatoria perchè la probabilità sono disgiunte visto che

i i

n=1

essendoci assenza di memoria una volta toccato i si azzera tutto.

Se f = 1 allora lo stato i è uno stato ricorrente quindi si ritornerà sempre a quello stato, e visto

i

che il processo è infinito si passerà infinite volte allo stato i.

6

Se indichiamo il passaggio dal punto i come una funzione indicatrice, quindi se passa in i è 1, avremmo

P ∞

che se N = I = quindi è una variabile casuale degenere.

n

Se invece f < 1 allora lo stato i è transitorio, ciò significa che non tutti le traiettorie passano in

i

i e che con il crescere dei passi nessuna traiettoria attraverserà più lo stato i.

Se indichiamo il passaggio dal punto i come una funzione indicatrice, quindi se passa in i è 1, avremmo

P

che se N = I = N quindi è una variabile casuale.

n

La variabile in questione è la geometrica infatti la probabilità che il percorso non passi più nello stato

n−1 1

∗ − .

i è scrivibile come Z(n) = f (1 f ) e quindi ha valore atteso

i

i 1−f