Esercizi - Catene di Markov

Catene di Markov

1.1 Consideriamo CM su E: {1, 2, 3, 4}

Consideriamo CM su E: {1, 2, 3, 4} associata a

P = ⌈ 1/2 1/3 0 0 0 1/2 0 1/2 0 1/6 1/3 1/2 1/2 0 2/3 0 ⌉

• Qual è la P partendo da 2 di essere in 2 dopo 2 passi? E partendo da 3.
• Qual è la P di essere in 2 partendo da 2 dopo 12 passi?

Per rispondere a entrambe le domande serve calcolare:

P¹² = PP = P² = ⌈ 1/4 1/3 0 1/6 1/8 1/4 1/4 3/8 1/8 7/36 1/9 1/3 1/3 1/9 1/2 1/9 ⌉

⌈ 1/6 1/3 0 0 0 1/6 1/3 1/6 1/3 1/3 0 1/6 0 1/9 1/2 0 ⌉

P₂₂ # passi: (2) parto da 2 e arrivo in 2 = 1/4

P₃₂ # passi: (2) parto da 3 e arrivo in 2 = 0

• Una soluzione è calcolare Pⁿ ... ma: n vale troppo. Disegnare il grafo.

⌈ ⌉ → ←

Nota che {1, 3} classe chiusa irriducibile.

Partendo da 2 posso rimanere in 2 (P₁₂) o entrare in 3 (P₁₃) o 1 (P₁₄) quindi: entrare nella classe chiusa 1, 3.

Quindi, per essere in 2 dopo 12 passi devo rimanerci sempre per ogni passo.

P¹²₁₂ = (1/2)¹¹

Catene di Markov

1.1 Consideriamo CM su E: {1, 2, 3, 4}

Consideriamo CM su E: {1, 2, 3, 4} associata a

P = 1/2, 1/3, 1/6, 0 1/3, 1/2, 1/6, 0 1/3, 1/3, 1/3, 0 1/3, 1/3, 1/3, 0

• A) Qual è la P partendo da 2 di essere in 2 dopo 2 passi? E partendo da 3.
• B) Qual è la P di essere in 2 partendo da 2 dopo 12 passi?

→ Per rispondere a entrambe le domande serve calcolare: P¹² = PP = P²

1/2, 1/3, 1/6, 0 1/3, 1/2, 1/6, 0 1/3, 1/3, 1/3, 0 1/3, 1/3, 1/3, 0

P₂₂ # passi: 1(2): parto da 2 e arrivo in 2 = 1/2

P₃₂ # passi: 1(2): parto da 3 e arrivo in 2 = 0

B) Una soluzione è calcolare P^k ma ci vuole troppo. Disegnare il grafo.

Nota che {1, 3} classe chiusa irriducibile.

Partendo da 2 posso rimanere in 2 (P₁₁) o entrare in 3 (P₁₂) o 1 (P₂₁); quindi entrare nella classe chiusa {1, 3}.

Quindi: per essere in 2 dopo 12 passi devo rimanerci sempre per ogni passo.

P¹²₂₂ = (1/2)¹²

Stati transienti e ricorrenti

Consideriamo la CM su E = {1, 2, 3, 4} associata a

• A) Quali sono gli stati transienti e quelli ricorrenti?
• B) Quali sono le classi transitive e ricorrenti? Vedi la matrice.

1: 1 ➝ 8 ➝ 3 ➝ 3 ➝ 4

Quindi 4 è transiente (anche perché la 4ª colonna di p⁰ è di tipo (0 ₃ 3⁄1).

2: 2 ➝ 1 ➝ 2

Quindi 2 è transiente.

Quindi 1, 3 formano una classe chiusa irriducibile.

B) 2 ➝ 1 ➝ 3 ➝ 4 ➝ 2

Quindi con l'unica classe chiusa e irriducibile è {1, 2, 3, 4}.

2.3 Considero CM su E = {1,2,3,4,5}

Considero CM su E = {1,2,3,4,5} associata a

0 | a | 0 | 0 | 0

b | 0 | h | 0 | 0

1/2 | 1/2 | 0 | 0 | 0

0 | 0 | 0 | 0 | 1

0 | 0 | 0 | 1/2 | 1/2

• A) Determinare stati transienti e ricorrenti.
• Determinare tutte le distribuzioni invarianti.
• Probabilità che partendo da 1 posso prima o poi in {4,5}.

Nota d'avere un blocco in 4,5: _| |

Quindi 4 e 5 comunicano tra di loro e in 1 non si può uscire ma si può entrare (2→4).

Allora {4,5} è classe chiusa e irriducibile.

Nella prima colonna hai tutti 0 quindi da nessuno stato posso arrivare in 1.

Nota un blocco in 1,3 che mi dice che 2 e 3 comunicano tra loro e non vanno in nessuna parte se non in 1 o da 2 con P.

In tal caso {4,5} in 4 → {4,5} è classe chiusa e irriducibile: 6,5 ricorrenti.

Tutti gli stati che comunicano con una classe chiusa e irriducibile sono transitori.

Quindi 4,2,3 in 4 → 4,2,3 transitano.

B) Se ho tante classi chiuse e irriducibili la catena atomica può finire in ognuna di queste quindi ho più distribuzione asintotiche ma in una classe chiusa e irriducibile mi aspetto che una distribuzione invariante che distribuisca massa zero offre stati transitori.

• La probabilità è perché M è transitiva 13.55% è l’unica legge chiamata irriducibile.

Triangolo equilatero e distribuzione stazionaria

Considero i 3 vertici di un triangolo equilatero definito delle seguenti regole: ad ogni istante un m.s. può spostare da un vertice a quello adiacente in senso orario con probabilità p oppure con 1-p.

• Mostra che la catena rappresenta determiniamo la distribuzione stazionaria.
• Calcola per grande P(X_n+1, X