Processi stocastici m

Un modo equivalente di definire una catena di Markov omogenea fornisce anche

! "

un’interpretazione costruttiva del processo. Sia una variabile casuale con distribuzione e

!

($ ) ! !

sia una successione di variabili casuali i.i.d, indipendenti anche da . Si dice che è una

" "#! !

catena di Markov omogenea se ! = '(! , $ ),per ) ≥ 0.

ogni

"$% " " $

In questa forma ricorsiva, lo stato futuro dipende dallo stato presente e da un impulso casuale .

"

Se la funzione fosse del tipo ! = '(! ),

"$% "

!

il processo sarebbe deterministico: noto , tutta la traiettoria futura sarebbe determinata. Nella

! $

catena di Markov, invece, l’impulso aleatorio rende il processo non deterministico.

"

Vale anche il viceversa: ogni catena di Markov omogenea può essere scritta in questa forma

ricorsiva, e questa rappresentazione caratterizza l’omogeneità del processo.

Un esempio fondamentale è ! = ! + $ ,

"$% " " $

che definisce una passeggiata aleatoria. A ogni istante il processo compie un salto casuale ,

"

indipendente dal passato, e l’evoluzione è governata dalla somma dello stato attuale e dell’impulso

casuale. ! = {! }

Consideriamo una catena di Markov omogenea . Essa soddisfa due proprietà

" "#!

fondamentali.

La prima proprietà è la proprietà di Markov: ciò che accade al tempo successivo dipende dal

!

presente e non dal passato. In termini probabilistici, la distribuzione di , condizionata a tutto il

"$%

! , ! , … , ! !

passato , dipende solo da . Formalmente,

" "&% ! "

2(! = 3 ∣ ! = 5, ! = 5 , … , ! = 5 ) = 2(! = 3 ∣ ! = 5).

"$% " "&% "&% ! ! "$% "

Questo significa che, per prevedere il futuro immediato, basta conoscere il presente.

La seconda proprietà è l’assenza di memoria (memoryless property), che caratterizza in modo

distintivo le catene di Markov omogenee. Se la catena, dopo un certo tempo, ritorna in uno stesso

5,

stato allora il suo comportamento futuro, dal punto di vista probabilistico, è lo stesso di quando

era partita da quello stato inizialmente. In altre parole, il processo “riparte” come se nulla fosse

successo prima. 5 6,

Formalmente, fissato uno stato e un tempo la distribuzione del futuro a partire

6 ! = 5

da condizionata a coincide con la distribuzione del processo a partire dal tempo zero

'

! = 5.

condizionata a Scrivendo:

! 7! ∣ ! = 5 } = {! , ∣ ! = 5, … , ! = 5}.

"$', ' "$' "#% ' !

!"#

Questa uguaglianza in distribuzione esprime il fatto che l’intero futuro dipende solo dallo stato

presente e non dal percorso passato che ha portato a quello stato.

Un esempio classico è il problema della rovina del giocatore. Un giocatore parte con 100 euro e

punta 1 euro sul rosso alla roulette. La probabilità che dopo 5 giocate il capitale sia ancora 100 euro

è la stessa probabilità che, dopo 10 giocate, ritornato a 100 euro, il capitale sia 100 euro dopo altre 5

giocate. Dal momento in cui il processo torna nello stato “100 euro”, il comportamento futuro è

identico in distribuzione: il processo non conserva memoria del passato.

In sintesi, per una catena di Markov omogenea vale che:

{! , ∣ ! = 5} = {! , ∣ ! = 5} in distribuzione.

"$' "#% ' " "#% !

Questa proprietà formalizza l’idea che la catena sia un processo stocastico senza memoria.

Abbiamo mostrato che le diverse formulazioni della proprietà di Markov sono equivalenti: la

dipendenza dal passato, l’assenza di memoria e l’uguaglianza delle distribuzioni condizionate. Le

distribuzioni condizionate dell’intero futuro risultano uguali e non dipendono dal passato, ma solo

dal presente.

Per calcolare la distribuzione dell’intero futuro utilizziamo il teorema di Kolmogorov applicato al

)

processo condizionatamente al presente e al passato. La distribuzione delle prime variabili

),

casuali, per ogni caratterizza in modo univoco l’intero processo stocastico.

6.

Ora non partiamo più dall’istante iniziale 0, ma da un istante generico Scriviamo quindi la

)

probabilità congiunta delle successive variabili condizionatamente al presente e al passato:

2(! = 5 , … , ! = 5 ∣ ! = 5 , ! = 5 , … , ! = 5 ).

"$' "$' ' ' ' ' '&% '&% ! !

)

Questa rappresenta la distribuzione delle successive variabili casuali, dato il presente e tutto il

passato. Vogliamo mostrare che tale distribuzione dipende solo dal valore presente.

Usando la definizione di probabilità condizionata, scriviamo:

2(! = 5 , … , ! = 5 , … , ! = 5 )

"$' "$' "$% "$% ! ! .

2(! = 5 , ! = 5 , … , ! = 5 )

' ' '&% '&% ! !

La probabilità congiunta al numeratore si fattorizza come prodotto delle probabilità di transizione

grazie alla proprietà di Markov, e analogamente il denominatore si semplifica. Tutti i termini che

dipendono dal passato si cancellano, e rimane:

285 5 9 … 2(5 5 ).

, '$% "$'&%, "$',

Nel risultato finale non compare più il passato, ma solo il valore presente e le probabilità di

6,

transizione. Questo mostra che la distribuzione dell’intero futuro, a partire dall’istante dipende

!

solo dallo stato presente e non dalla storia precedente.

'

5.

Quindi dipende solo da Facciamo comunque la dimostrazione. Consideriamo

P(Xn+m=in+m,…,Xm+1=im+1Xm=i)=P(Xn+m=in+mXn+m−1=in+m−1,Xm=i)×P(Xn+m−1

=in+m−1Xn+m−2=in+m−2,Xm=i)×⋯×P(Xm+1=im+1Xm=i) 6,

Questa è la distribuzione dell’intero futuro a partire dal tempo scritta come prodotto di

! = 5.

probabilità condizionate, tutte condizionate al presente '

È la formula chiave per dimostrare che il futuro dipende solo dal presente (proprietà di Markov) e

prepara direttamente l’assenza di memoria.

Dimostrazione dell’assenza di memoria 0:

Calcoliamo la probabilità del futuro a partire dall’istante

ℙ(! = 5 , ! = 5 , … , ! = 5 ∣ ! = 5).

" "$' "&% "$'&% % '$% !

Usando la fattorizzazione tramite le probabilità di transizione di una catena di Markov omogenea,

otteniamo: ℙ(! = 5 , … , ! = 5 ∣ ! = 5) = < < ⋯ < .

" "$' % '$% ! ), ) ) , ) ) , )

$%# $%# $%& !%$'# !%$

5

Questa espressione dipende solo dallo stato iniziale e dalla sequenza di transizioni, ma non

dall’istante di partenza. 6

In particolare, la distribuzione del futuro a partire da un qualunque istante è la stessa della

0.

distribuzione del futuro a partire da 6

Quindi, il futuro rispetto a qualunque istante ha sempre la stessa distribuzione: la