Esercizi - Catene di Markov

Catene di Markov

1.1 Consideriamo CM su E = {1,2,3,4} associata a

a) Qual è la P partendo da 2 di essere in 2 dopo 2 passi? E partendo da 3?

b) Qual è la P di essere in 2 partendo da 2 dopo 12 passi?

Per rispondere a entrambe le domande serve calcolare

P₂₂⁽¹²⁾ # passi (12) part. da 2 e arrivo in 2 = 1/2

P₃₂⁽¹²⁾ # passi (12) part. da 3 e arrivo in 2 = 0

b) Una soluzione è calcolare P¹² ma ci vuole troppo. Disegnare il grafo.

Nota che {1,3} classe chiusa irriducibile.

Partendo da 2 posso rimanere in 2 (P₂₂) o entrare in 3 (P₂₃) o 4 (P₂₄), quindi entrare nella classe chiusa {1,3}.

Quindi, per essere in 2 dopo 12 passi devo rimanerci sempre per ogni passo.

21. Consideriamo la CM su E = {1,2,3,4} associata a:

(P) <math formula>

1. Quali sono gli stati transienci e quelli ricorrenti?
2. Quali sorinberisitli transienci e ricorrerriti ne la matrice...
3. <diagramma 1>
4. <diagramma 2>
5. Quindi 4 è ricorrente (anche perché la 4^a colonna...
6. Quindi 2 &egrV; transiente
7. <diagramma 3>
8. Quindi 1,4,3 formas una ... chius irreducihfe
9. <diagramma 4>
10. Quindi... una erre... classica irreddicibile è {1,2,3,4}

Usiamo la formula.

^dinamometro_all'inizio = P₁

^{alla fine}_uguale:

P_a: P₀ = P₁

1/9: 8 xP₀ P₁1/3 2/3 1/3 1/6 1/2

π₃ = π₈ π_aπ = 3/8 π = 1/8

3.2 Giocando con 1000€ alla roulette, punta 1€ ogni volta sul rosso (p_v = 18/37).a) Si ferma quando ha 1001€ o quando perde tutto

2) P che vinca:

b) Sia X il capitale a fine partita. E(Y)?

1. S motilazzata come DM (X)_n su {0,..., 1000}, Z_o

P di transizione doma P₀ 1

m_n permanenza permanenzaP_m0 P_m1

1/3 2/3 1/3 1/3 2/3 1/3

X_n = 1001 per qualche n = 1000

In 1000 siamo con 1000 equazioni e incognite:

2/3 = 2_nn 2_nnn

1. P_i 13:7 P_n+1
2. 2p_n 1x:37 2/3

2/3 2:1 P_n 13/32/3 1/3 P_n+1 = P_n

2_n = 13/3 2_n+1verifico che P_n soddisfino il sistema lineare

Es. 28

(M sul grafo)

1. a) Qual è la distribuzione invariante della catena? È unica? (Regolare)
2. b) Tempo medio per giungere in 1 partendo da uno degli stati 2, 5, 10

c) Prob con trofo (5 camini):

• prima col formaggio (3) che al gatto (7)

Grafo connesso → Catena irriducibile (Tutti comunicano tra loro)

K₁ = K₂ = K₆ = K₉ ≠ K₈ ≠ K₁₀ = 3

X₁ : X₄ : X₅ = k₁ … 5

X = 3 : 1 : 1 S = 3 . 36

π = [³/₃₆ ... ⁵/₃₆ ... ³/₃₆ ... ⁵/₃₆ ... ⁵/₃₆ ... ³/₃₆

Ripetizioni K_i {[6,1] [2,5,7] , [3,4]→(...)} (0,1)(10)

No trovato candidato m=3

100 x 10

b) δ_i : 1 ≠ Σ

{¹/₉X = 0

{_{³15 + 1} . 5 …}

plan di submatrice

c) λ₁ = P_i = Σ 2 P_ij

con D stabiliti da comunicare con σ

λ₃ = 4 , λ₂ = 0

20/09/23

Urna con N palline bianche e rosse. Moneta (prob. p, testa bianca).

1) Polinomiale di T: pallina varra a caso e sostituisci con biancaS: C → pallina scelta a caso e sostituisci con rossa

2) X_m = # palline bianche al tempo m

1. Giustificare l'uso delle C.M. per modellizzare (X_m)
2. Supponiamo 0 < p < 1
1. Mostrare che C.M. e determinare q_i, X, P.
2. Classificare gli stati. Ricorrenti?
3. Determinare per 1 ≤ p ≤ 1 se m grande qual è la frazione di tempo in cui "l'urna è solo composta di sole palline bianche" e "solo rosse"
3. Supponiamo p = 1
1. Classificare gli stati
2. Se il mesco della rossa, quante iterazioni in media per averla più bianca?

Malcolm derivato:

q_i=P(X_m+1=i|X_m=i)=P(X_m+1=A|X_m=j,Y=i-1)P(Y=i+1)

N-i = P(X_m=i|X_m=i)

P(X_m+1=k|X_m=i)=P (Y=i