Processi stocastici

PROCESSI STOCASTICI

Appunti del corso del prof. Guido Tiana

a cura di Matteo Tajana

2021 Pagina lasciata intenzionalmente vuota.

Questi appunti sono stati presi dal sottoscritto durante il corso di Processi Stocastici tenuto dal prof. Guido

Tiana nell’Anno Accademico 2020-2021 (ultimo aggiornamento 15 giugno 2021), con il solo scopo di utilizzarli

come materiale di studio personale e riassunto dei contenuti trattati nel corso. Sicuramente ci saranno sviste,

typo ed errori vari (uomo avvisato non si salva proprio!), che invito chi li trovasse a segnalarmeli all’indirizzo

visto che (per esperienza personale) le dispense girano tra studenti, e se

matteo.tajana@studenti.unimi.it

girassero corrette sarebbe meglio. L’invito è ovviamente studiare sui riferimenti bibliografici “seri”, sui veri libri

di testo. Ma sapendo il loro prezzo medio, avere una risorsa è un valore in più per ogni studente che

gratis

intende studiare ed approfondire i processi stocastici. Suggerimenti, immagini (possibilmente fatte con Tik z o

meme di Peppo Pepe) e consigli sono ben accetti. Spero questi appunti possano servire a chi si avvicina per la

prima volta allo studio della materia.

Buono studio! Matteo Tajana

È il primo anno che si tiene questo corso, e quindi il è tutto un po’ da costruire.

È un corso di processi stocastici, cioè detti grossolanamente sono serie temporali

di variabili stocastiche dipendenti dal tempo e da qualche elemento Un

casuale.

esempio inflazionato di processo stocastico è il moto della particella browniana:

lo scienziato Brown osservando i pollini in moto disordinato sulla superficie di

un bacino d’acqua seguivano leggi statistiche precise. La posizione di questi

granelli sulla superficie sembrava casuale, e Einstein diede poi una descrizione

statistica corretta e ben definita di questo tipo di moto.

Più in generale molecole in moto nell’acqua sono processi stocastici, così

come l’RNA nel nucleo, i prezzi delle azioni e dei derivati possono essere visti

come processi stocastici. Venendo a temi più attuali, la diffusione di un virus

è molto legata a processi stocastici di una qualche quantità come il numero di

persone infette, e la serie temporale di infetti in funzione del tempo può essere studiata in funzione del tempo.

Il campo dei processi stocastici è un ramo della fisica statistica multidisciplinare, ma si congiunge bene con

la matematica, con l’epidemiologia, economia e così via. Il taglio dato al corso sarà ovviamente più “fisico”, non

particolarmente Faremo esempi di diversi discipline (modelli SIR) ma la maggior parte degli esempi

matematico.

verranno dal mondo della fisica. Alcuni dettagli matematici verranno dati dietro (come esistenza e unicità delle

equazioni viste). Tutte le volte che la matematica non sarà fondamentale elegantemente.

glisseremo

Spesso sconfineremo nel campo della termodinamica di non equilibrio. In meccanica statistica solitamente si

studiano problemi all’equilibrio, in cui non c’è dipendenza dal tempo. In questo caso studieremo come processi

complicati a molti gradi di libertà possa essere seguito temporalmente fino al suo stato di equilibrio. Questa è

la termodinamica di non equilibrio. Il corso è concentrato sui processi stocastici, ma sconfineremo spesso sulla

termodinamica di non equilibrio.

Non esiste un singolo libro che descriva tutti gli argomenti da trattare. I libri di riferimento sono diversi [1,

2, 3], e si salterà un po’ da un libro all’altro. Il problema è che libri diversi hanno notazioni diverse, e quindi ci

potrebbe essere un pochino di notazione ma cercheremo di mantenere sempre con la stessa notazione.

Il corso si divide in tre grosse parti, e in tutte ci si occupa di processi stocastici con tre approcci (che dimo-

streremo equivalenti) diversi: (i) master equation, che descrivono le catene di Markov. Molte volte però queste

non bastano, e si utilizza per esempio la (ii) equazione di Langevin, equazione differenziale stocastica con un

termine che descrive il rumore. Dal punto di vista matematico questo rumore è un termine rognoso, e bisognerà

discutere le problematiche connesse a questo termine. L’equazione di Langevin permette di studiare processi

stocastici in caso di risoluzioni numeriche. La terza parte del corso ha a che fare con la (iii) equazione di Fokker-

Planck, approssimazione della master equation e simile all’equazione del Calore o di Liouville. Quest’ultima è

l’equazione che permette una trattazione probabilistica delle equazioni di Hamilton. Una cosa equivalente può

essere fatta per un processo stocastico e dissipativo (anziché hamiloniano) e abbiamo una distribuzione per i

gradi di libertà del sistema descritta da un’equazione alle derivate parziali. Riassumendo, queste tre parti del

corso sono concentrate su tre equazioni: master equation, Langevin e Fokker-Planck.

Pagina lasciata intenzionalmente vuota.

Indice

I Le Master Equation 1

1 I processi stocastici 1

1.1 Random walk a tempi discreti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Funzione generatrice e momenti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3 Cosa è un processo stocastico? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.4 Processo di Galton-Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.5 Processi di Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.5.1 Proprietà . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.5.2 Stazionarietà . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.6 Catene di Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2 La master equation 17

2.1 Bilancio dettagliato . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.2 Metodi approssimati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.3 Espansione in autofunzioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.4 Backward equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.5 Processi di nascita-morte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.5.1 Proprietà generali dei processi nascita-morte . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.6 Boundaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.6.1 Bordi artificiali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

2.7 Modi normali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.8 Processi non lineari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

2.9 Distribuzioni di probabilità multivariate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.10 Tempo medio di primo passaggio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

2.10.1 Condizioni al bordo assorbenti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

2.10.2 Equazione aggiunta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2.10.3 Renewal approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

II Dinamica 44

3 L’equazione di Langevin 44

3.1 Moto Browniano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

3.2 Risposta lineare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

3.3 Contatto con un bagno termico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3.4 Equazioni di Langevin generali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

3.5 Equazione di Langevin sovrasmorzata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

3.6 Equazioni differenziali stocastiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

3.6.1 Integrale di Itô . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.6.2 Integrale di Stratonovich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.7 Teorema di Fluttuazione-Dissipazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

4 L’equazione di Fokker-Planck 61

4.1 Equazione di Smoluchowski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

4.2 Processo di Wiener . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.3 Espansione in autofunzioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

4.4 Problema di Kramers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

4.5 Backward expansion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

4.5.1 Problemi di primo passaggio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

4.6 Relazioni con l’equazione di Fokker-Planck . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

4.7 Distribuzioni multivariate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

4.8 Riduzione dimensionale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

4.8.1 Proiettori di Zwanzig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

Pagina lasciata intenzionalmente vuota.

Processi Stocastici 1

Parte I

Le Master Equation

1 I processi stocastici

Prima di dare le definizioni, iniziamo con un esempio di processo stocastico per chiarirci meglio le idee. Comin-

ciamo l’aromento dal fondamentale concetto di random walk a tempi discreti, che è un po’ l’atomo di idrogeno

dei processi stocastici, il livello zero.

1.1 Random walk a tempi discreti

Un random walk è un cammino (prendiamo per semplicità in questo caso monodimensionale) in un sistema di

riferimento che parte dall’origine. Questo oggetto puntiforme ad ogni istante discreto si può muovere con pari

probabilità a destra o a sinistra. È a tempi discreti perché per noi il tempo sarà una certa quantità t = n ∆t

con Chiamando lo spostamento al tempo indicizzando con il tempo, abbiamo che

∈ ±1

n x i-esimo, x =

N. i i

a seconda del verso dello spostamento. Il problema del random walk è rispondere alla domanda: dove ci si

N , avremo lo spostamento totale dopo passi. è una variabile

trova dopo istanti? Chiamando P x N y

N y = i

i=0

stocastica, che assume diversi valori con diverse probabilità. Qual è la probabilità che il sistema assuma un

certo valore di y?

Sappiamo che se abbiamo percorso passi, nient’altro. L’esempio classico è il guadagno

∈ ∩

N y [−N, N ] Z,

acquisito nel gioco d’azzardo con il lancio della moneta. Notare che non abbiamo messo valori limitati, in

questo caso nel gioco d’azzardo ci si può indebitare “all’infinito”. Vedremo che in realtà il random walk descrive

tantissimi processi diversi tra loro, tantissimi sistemi: se la particella browniana si muovesse in moto 1D tale

cammino aleatorio sarebbe un’approssimazione a livello zero.

Come si può studiare un sistema di questo tipo? Vogliamo cercare di ottenere che la probabilità assuma

un certo valore dopo step. Possiamo vedere come il numero di volte in cui è uscito l’esito meno il

N y x = 1

numero di volte in cui perché per ottenere un certo valore di non conta l’ordine in cui sono usciti i vari

−1,

x = y

esiti, ma solo i loro valori. Facendo 10 passi in avanti e 3 indietro, si può prendere una qualunque combinazione

e arrivare alla stessa Equivalentemente si può scrivere che il numero di non è che uguale a meno il

−1

y. N

numero totale di 1, per cui −

y = 2k N,

dove è il numero di passi fatti verso destra. Abbiamo quindi una stringa binaria di e e in un random

−1,

k 1

walk tutte le stringhe che portano allo stesso sono equiprobabili, e sono in totale traiettorie. Data una

N

y 2

stringa come questa, in quanti modi possibili è possibile ottenere lo stesso In quanti modi è possibile ottenere

k? N

uno spostamento netto pari a dati passi positivi su totali? Questo è dato dal coefficiente binomiale .

y k N k

Quindi la probabilità di avere ? Questo sarà uguale al numero di modi in cui è

−

y = M = 2k N

esattamente

possibile avere passi positivi nella sequenza diviso il numero totale di sequenze

k

N N

−N −N ,

p(M ) = 2 =2 N +M

k 2

probabilità di essere a una distanza dall’origine dopo steps. Ovviamente questa probabilità è pari a zero

M N

se , poiché in steps non è possibile andare oltre . Il valore di aspettazione di è

|M | > N N N y

N N

!

X X

= x = ) = 0.

E(y) E E(x

i i

i=0 i=0

La media del punto è nulla: esiste una simmetria intrinseca del sistema dovuta al fatto che il sistema ha pari

y

probabilità di spostarsi in entrambe le direzioni: la quantità non è self-averaging. La varianza tuttavia non è

nulla: funzione di correlazione

 ! 

  

N N N z }| {

X X X X X

2 2

) = x x = x + x x = ) + x ) = ) = N,

E(y E E E(N E(x E(N

i j i j i j

i

  

  

i=1 j=1 i=0 i6 =

j i6 =

j

comportamento tipico del random walk, la varianza scala col tempo (o col numero di passi). Questo è dovuto

al fatto che la funzione di correlazione di variabili scorrelate è (per definizione) nulla. Quindi

√

p 2 ) = N ,

E(y

2 Processi Stocastici

Gaussiana

0.4

2π

√

/

/2 0.2

2

−x

e 0

−3 −2 −1 0 1 2 3

x

Distribuzione gaussiana normalizzata di media nulla e varianza unitaria.

Figura 1:

comportamento diffusivo. Vogliamo dimostrare ora che nel limite la probabilità tende ad una Gaussiana.

→ ∞

N

Prendiamo il logaritmo di questa probabilità e sfruttiamo l’approssimazione di Stirling:

N !

−N

ln p(M ) = ln 2 + ln N +M N +M

−

! N !

2 2 − − −

N + M N + M N M N M

N + M N M

− −

≈ −N − N ln + ln +

ln 2 + N ln N

2 2 2 2 2 2

− −

N N + M N + M N M N M

− −

ln ln

= N ln 2 2 2 2 2

2

±

N M N M M

ma per

≈ ± −

ln ln N M

2

2 2 N 2N 2 2 2

N N N N M N M M M M M N N N M N M

≈ − − − − −

N ln ln + ln + +

2 2 2

2 2 2 2 N 2 2N 2 N 2 2N 2 2 2 N 2 2N

2

M M M

M −

− 2

2 N 2 2N

2

M

−

= .

N

Notare che non abbiamo usato il limite matematico ma il paragone tra grandezze diverse,

→ ∞

N

propriamente

non usiamo oggetti divergenti perché in fisica non esistono. Osserviamo quindi che nel limite otteniamo

N M

una distribuzione di probabilità gaussiana (Fig. 1) 2

M

∝ − ,

p(M ) exp 2N

da normalizzare opportunamente. Quindi e , ma questo si poteva ricavare semplicemente

2

) = 0 ) = N

E(M E(M

e “immediatamente” sfruttando il teorema del limite centrale.

Alternativamente si poteva sfruttare la funzione caratteristica. Ogni PDF ha una funzione caratteristica

corrispondente, definita dalla propria trasformata (o serie nel caso discreto) di Fourier:

Z −iky −iky

e

G (k) = dy p(y) = ),

E(e

y

perché per definizione la trasformata di Fourier è un valore di aspettazione, si pensi al paragone matematico

con la termodinamica. Sfruttando il fatto che e e

−ik ik

+

G (k) = = cos k

x 2

e possiamo sfruttare il fatto che per RV indipendenti la funzione caratteristica della somma è il prodotto delle

singole funzioni caratteristiche, Y N N

G (k) = G (k) = [G (k)] = cos k.

y x x

i

i

Antitrasformando si ottiene

2π 2π

N

Z Z

N N −N

e i

iky · ·

p(y) = dk cos k = dk (cos ky + sin ky) cos k = [· ] = 2 .

N +M

0 0 2

Processi Stocastici 3

Questo esempio del random walk monodimensionale è il caso più semplice di processo stocastico.

Possiamo introdurre i personaggi di questo dramma a tinte fosche che seguiremo nei prossimi capitoli.

Iniziamo a sfruttare un linguaggio un po’ più matematico, trattandosi di definizioni matematiche.

(Evento).

Definizione 1.1 Chiameremo evento uno dei possibili risultati che un sistema dinamico può mostrare

(come ad esempio un esito del lancio di un dado).

Sia l’insieme di tutti i possibili risultati, e sia la di tutti i possibili eventi, tutti gli eventi a

Ω A σ-algebra

cui si può assegnare la probabilità. A questi insiemi si può associare una probabilità che deve avere tre

p(A)

caratteristiche:

• positività;

≥

p(A) 0

• normalizzazione;

p(Ω) = 1

• se per insiemi disgiunti.

∩ ∅ ∪

A B = =⇒ p(A B) = p(A) + p(B)

(Variabile Stocastica). n

7→

x : Ω

Definizione 1.2 Una variabile stocastica è una mappa .

R

Perché è una mappa e non l’evento che può accadere nello