Probabilità di ritorno

Probabilità di ritorno e classificazione degli stati

!

Sia uno stato di una catena di Markov e definiamo

" = ℙ(ritornare ! ∣ ' = !)

prima o poi in

! "

! = #

Caso 1: → stato ricorrente

! !, !

Partendo da il processo ritorna in con probabilità 1.

Definiamo: '

* = + , ' !

! # &

=

$

$()

!.

cioè il numero totale di visite future allo stato

Allora: ℙ(* = ∞ ∣ ' = !) = 1

! "

!,

Quindi ogni traiettoria ritorna infinite volte in quasi certamente.

! < #

Caso 2: → stato transitorio

! !.

Qui esiste una probabilità positiva di non tornare mai più in

!,

Dopo ogni visita a il processo riparte “da capo” grazie alla proprietà di Markov.

"

Ogni tentativo di ritorno ha probabilità di successo.

!

Quindi il numero di ritorni ha distribuzione geometrica:

$*)

ℙ(* = / ∣ ' = !) = " (1 − " ), / = 1,2, …

! " !

!

/

(in cui conta il numero totale di visite includendo quella iniziale).

Il valor medio è finito: 1

4[* ∣ ' = !] = <∞

! " 1 − "

!

Classi comunicanti, insiemi chiusi e ricorrenza

8.

Consideriamo una catena di Markov con spazio degli stati

1) Stati comunicanti → stesso tipo

9 : ↔ :)

Se due stati e comunicano (9 allora:

9 ⇒ :

se è ricorrente anche è ricorrente

• 9 ⇒ :

se è transitorio anche è transitorio

•

Quindi ogni classe comunicante è interamente ricorrente oppure interamente transitoria.

2) Insiemi chiusi e ricorrenza

= ⊂ 8 =.

Un sottoinsieme è chiuso se dalla catena non si può uscire da

! %

Se è chiuso e finito

=

Allora tutti gli stati in sono ricorrenti.

Motivo: in un insieme finito chiuso non puoi fuggire all’infinito → prima o poi devi tornare in

qualche stato già visitato → ricorrenza.

! %

Se è chiuso e infinito

Qui possono accadere due casi:

Tutti gli stati ricorrenti

• ℤ)

(es. passeggiata aleatoria simmetrica su

Tutti gli stati transitori

• +

ℤ

(es. passeggiata aleatoria su )

Quindi un insieme chiuso infinito può essere o tutto ricorrente o tutto transitorio.

3) Le classi comunicanti chiuse

Una classe comunicante chiusa è detta anche classe essenziale o ricorrente.

Proprietà fondamentale:

Ogni classe comunicante chiusa finita è ricorrente.

4) Un insieme di stati ricorrenti è sempre chiuso?

Sì. 9 9

Se è