Probabilità e processi stocastici

Introduzione

Prima di illustrare cos'è un processo stocastico, parlerò brevemente del calcolo delle probabilità, se non altro perché esso consente di chiarire alcuni punti fisici fondamentali di meccanica statistica (ad es. sui gradi di libertà di un oggetto macroscopico e sul principio dell'aumento dell'entropia) e pervenire, poi, alla modellazione di sistemi dinamici complessi (e quindi alla teoria del caos).

È stata proprio la fisica, attraverso la meccanica statistica di Maxwell e di Boltzmann e il moto browniano di Einstein ed altri, a dare l'avvio allo sviluppo della moderna teoria dei processi stocastici.

La definizione di probabilità era già chiara a Galileo (e ripresa, in seguito, da Pascal) ma il primo trattato serio (in cui si parla della "legge dei grandi numeri") è dovuto a Bernoulli con l'opera (pubblicata postuma) "Ars conjectandi", ovvero "L'arte del congetturare".

La definizione classica di probabilità è dovuta a Laplace, il quale, nella sua opera "Theorie analytique des probabilité", afferma: "... in fondo, la teoria della probabilità è soltanto senso comune espresso in numeri".

Nel 1919, Richard von Mises introdusse una nuova definizione di probabilità, intesa in senso "frequentista". Nel 1931 Ramsey e De Finetti, in modo indipendente l'uno dall'altro, sostennero la necessità di introdurre il concetto di probabilità inteso in senso "soggettivo". Nel 1933, infine, Kolmogorov formulò la cosiddetta "teoria assiomatica" del calcolo delle probabilità, in cui la definizione di probabilità risulta sganciata dal problema della misura della probabilità stessa.

Probabilità classica

La definizione di probabilità classica, introdotta da De Moivre nel 1716, stabilisce che la probabilità di un certo evento è il rapporto tra il numero dei casi favorevoli v e il numero dei casi possibili n, supponendo che tutti gli eventi siano equiprobabili: p=v/n.

Laplace, nel suo "Saggio sulle probabilità" del 1814, esprime la sua concezione deterministica della realtà: "Dobbiamo dunque considerare lo stato presente dell'universo come effetto del suo stato anteriore e come causa del suo stato futuro".

La contraddizione tra la sua visione deterministica e il concetto di probabilità viene così spiegata: "La curva descritta da una semplice molecola d'aria o di vapore è regolata con la stessa certezza delle orbite planetarie: non vi è alcuna differenza tra di esse, se non quella che vi pone la nostra ignoranza. La probabilità è relativa in parte a questa ignoranza, in parte alle nostre conoscenze".

In altre parole, la casualità di un evento dipende dalle inadeguate informazioni che abbiamo riguardo a quell'evento ed è in base alla quantità e alla qualità di tali informazioni che quell'evento può essere considerato più o meno probabile.

P.S. La probabilità classica si basa su eventi discreti; nel caso di variabili casuali continue si espone a diverse difficoltà.

La legge empirica del caso (o "legge dei grandi numeri")

Il concetto di frequenza è legato a quello di evento ripetibile. Supponendo di effettuare n prove, nelle stesse condizioni, un evento può verificarsi, per ciascuna prova, o meno. Si definisce frequenza il rapporto tra il numero di successi s (il numero di volte in cui l'evento si verifica) e il numero di prove effettuate n, cioè f=s/n.

Sia la frequenza che la probabilità possono assumere valori compresi tra 0 e 1 ma i due concetti sono molto differenti. La probabilità viene calcolata "a priori" (cioè in base alla conoscenza dei casi favorevoli e dei casi possibili) mentre la frequenza si calcola "a posteriori" (ovvero dopo una serie sufficiente di prove).

La legge empirica del caso consente di assumere la frequenza, su un grande numero di prove, come misura approssimata della probabilità nel caso in cui quest'ultima non possa essere ricavata tramite la definizione (perché non è possibile individuare i casi favorevoli rispetto a quelli possibili).

In altre parole, a partire dai presupposti appena citati, assumiamo la probabilità di un evento come la sua frequenza calcolata "al limite" (in effetti si tratta di un vero e proprio limite) di un numero sufficientemente alto di prove: questa è la definizione "frequentista".

Tale definizione (frequentista) non è scevra di difetti: ad esempio, quanto deve essere grande il numero di prove? Come si fa a decidere il grado di approssimazione più o meno buono? Non è semplice rispondere a tali domande, perlomeno in modo elementare.

P.S. In realtà, la legge empirica del caso e la legge dei grandi numeri rappresentano le due facce della stessa medaglia ma non sono la stessa cosa: la legge empirica del caso è una constatazione basata unicamente sull'esperienza pratica (è una semplice osservazione), mentre la legge dei grandi numeri è un teorema matematico (formulato da Bernoulli) che utilizza gli assiomi della probabilità.

Introduzione alla teoria assiomatica

Prima di accennare alla teoria assiomatica di Kolmogorov, è importante richiamare alcuni concetti da tenere ben presenti al fine di proseguire nella spiegazione di questi argomenti.

Innanzitutto, un qualsiasi fenomeno fisico reale al quale possiamo associare una situazione di incertezza costituisce un "esperimento" (o "prova") casuale (o "aleatorio"). Ad esempio, il lancio di un dado è un esperimento casuale.

L'insieme dei possibili esiti (incompatibili tra loro), cioè dei risultati, di un esperimento casuale forma lo "spazio campionario" (detto anche Ω "spazio dei risultati" o "universo ambiente"), di solito indicato con la lettera Omega maiuscola (Ω). Ad esempio, nel lancio di un dado lo spazio campionario è Ω = {1,2,3,4,5,6}.

Per "evento casuale" s'intende una proposizione logica (per la quale è possibile, come tale, costruire un'algebra apposita) relativa ad un esperimento casuale di cui non conosciamo il valore di verità (non possiamo dire se è vero oppure falso); esso costituisce un sottoinsieme di Ω.

Nel caso del lancio di un dado, per esempio, la frase "esce un numero pari" è un evento casuale (e si tratta del sottoinsieme {2,4,6} dello spazio campionario). Di solito un evento casuale si indica con una lettera maiuscola dell'alfabeto, ad es. A.

Se l'insieme definito da un evento casuale coincide con uno degli elementi dello spazio campionario, si parla di "evento elementare" (in pratica si tratta dei singoli esiti dell'esperimento). Ad esempio, nel caso dell'estrazione di una carta da un mazzo di carte da Poker, la frase "esce l'Asso di Picche" è un evento elementare.

Se l'evento casuale definisce l'intero spazio campionario, esso si dirà "certo", mentre se l'evento definisce l'insieme vuoto esso si dirà "impossibile". Ad esempio, nel lancio di un dado l'evento A: "esce un numero inferiore a 7" è un evento certo, mentre l'evento B: "esce un numero superiore a 6" è impossibile.

A questo punto si pone il problema di determinare una procedura che consenta di effettuare una misura di quanto è grande la possibilità che un evento si verifichi.

P.S. Come si è visto, gli eventi possono essere trattati come insiemi per cui è possibile eseguire le tipiche operazioni di unione (OR), intersezione (AND) e negazione (NOT). Si fa notare, tra l'altro, che l'intersezione tra due eventi incompatibili è un evento impossibile.

P.P.S. Gli eventi casuali non necessariamente sono legati ad eventi futuri, anche un evento passato può essere casuale, se non se ne conosce il risultato. Una partita di calcio già giocata può essere un evento casuale, se non si conosce l'esito.

Il paradosso di Bertrand

Nella teoria assiomatica della probabilità, un esperimento deve essere "casuale e ripetibile". Il paradosso di Bertrand nasce proprio da una critica all'ambiguità del concetto di aleatorietà (o "casualità").

L'enunciazione del problema è: "Dato un cerchio di raggio unitario, si disegni una corda a caso, calcolare la probabilità che la lunghezza della corda sia maggiore del lato del triangolo equilatero inscritto." (ovvero maggiore di sqrt(3)).

Ci sono diversi modi di tracciare una corda a caso, che portano a differenti stime della probabilità riguardo allo stesso evento: vediamo i 3 casi più importanti.

Col primo metodo, chiamato degli "estremi casuali" (vedere immagine sopra), si ottiene la probabilità di 1/3 (cioè la probabilità che la corda tracciata a caso sia più lunga del lato del triangolo equilatero inscritto è pari a 1/3); col secondo metodo, detto del "raggio casuale" (non mi soffermo sulla procedura, che è piuttosto semplice), si ha la probabilità di 1/2; col terzo metodo, denominato del "punto medio casuale", si ottiene una probabilità di 1/4.

Nei tre casi appena visti, i procedimenti sono ineccepibili ma la risposta dovrebbe essere univoca. Qual è quella giusta? Non c'è una soluzione univoca, a seconda del procedimento utilizzato, la risposta trovata è quella giusta.

Quindi l'errore sta nel fatto che il problema è stato formulato male, "disegnare una corda a caso" è un concetto troppo ambiguo e le risposte trovate contemplano delle assunzioni arbitrarie sulla distribuzione di probabilità. Non ha alcun senso parlare di probabilità di un evento, senza ulteriori argomentazioni di natura fisica o di altro tipo, né tantomeno assumere una "distribuzione di probabilità" uniforme.

La scuola soggettivistica

Cosa succede nel caso in cui un evento casuale non sia ripetibile? Per certi eventi, non è possibile parlare di casi favorevoli e di casi possibili, come richiesto dalla definizione classica, né è possibile disporre di statistiche, come voluto dalla definizione frequentista, in quanto tali eventi non sono effettivamente ripetibili.

Ad esempio, l'evento "il candidato C vince le elezioni" non è ripetibile, non si può parlare di probabilità in questo caso, al limite si potrebbe parlare di "plausibilità" ma la plausibilità di un evento non si può misurare quantitativamente (a meno di fare un uso scorretto dei vari metodi).

Il problema viene risolto ricorrendo ad una nuova definizione che al contenuto oggettivo delle altre definizioni (classica, frequentistica e assiomatica) sostituisce un contenuto soggettivo: la probabilità di un certo evento E non è altro che la misura del grado di fiducia che un individuo coerente, in base alle proprie opinioni e alle informazioni di cui dispone, è in grado di attribuire al verificarsi di quel dato evento.

In altre parole, la stima sulla probabilità di un evento (solitamente differente da individuo a individuo) dipende dalle opinioni e dalle informazioni che si hanno su di esso ma ciò non toglie che si possano avere stime anche molto vicine tra loro (nel caso limite di due individui che hanno le stesse opinioni e dispongono delle stesse informazioni, le stime coincidono).

La stima soggettiva di una probabilità non è arbitraria proprio perché si fa riferimento al "principio di coerenza": la coerenza implica che ad un evento impossibile corrisponda probabilità 0, ad un evento certo corrisponda probabilità 1 e a tutti gli altri casi corrisponda una probabilità compresa tra 0 e 1.

Come si giustifica tale asserzione? Bruno De Finetti fornisce la seguente interpretazione: la probabilità di un certo evento E può essere interpretata come il prezzo p che un individuo "coerente" reputa equo pagare per ricevere la somma di 1€ al verificarsi dell'evento E.

In parole povere, se un individuo reputa che un evento è impossibile, egli non sarà disposto a pagare alcuna somma (cioè p=0); se reputa che l'evento è certo, sarà disposto a pagare 1 (cioè p=1); negli altri casi sarà disposto a pagare un prezzo p compreso tra 0 e 1.

La coerenza sta nel fatto che, a seguito di una scommessa che prevede il pagamento di un prezzo p per ottenere 1€ al verificarsi di un evento, l'individuo si comporta allo stesso modo sia come scommettitore che come banco. Ciò significa che quell'individuo è disposto a pagare, ad esempio, 0.6€ per ottenere 1€ (se l'evento si verifica) ma deve essere disposto anche a ricevere 0.6€ a fronte del pagamento di 1€ (sempre se l'evento si verifica).

P.S. È ovvio che il controllo sulla validità delle assunzioni fatte va fatto a posteriori, ossia l'ultima parola spetta sempre all'analisi statistica ma questo vale a prescindere dal metodo utilizzato, il confronto delle previsioni con le osservazioni future rimane in ogni caso necessario.

La teoria assiomatica

Dando per scontato che si conosca la teoria elementare sugli insiemi, consideriamo l'insieme Ω (lo spazio campionario degli eventi elementari) e una collezione I di sottoinsiemi di Ω: I si definisce "algebra di insiemi" se Ω appartiene ad I e se A e B sono due sottoinsiemi di Ω (cioè sia A che B appartenenti a I), allora anche (A and B), (A or B) e (A-negato = Ω-A) sono contenuti in I.

Ciò vuol dire che un'algebra è una famiglia di sottoinsiemi di Ω, in relazione ad un certo esperimento casuale, su cui è possibile eseguire le operazioni di unione, intersezione e complemento senza uscire dalla famiglia stessa (si dice che I è "chiuso" rispetto a quelle operazioni).

Sostanzialmente gli elementi di I rappresentano tutti gli eventi relativi all'esperimento e quindi si può parlare indifferentemente di eventi e di insiemi dell'algebra I.

A questo punto possiamo fornire una definizione "assiomatica" della probabilità: dato uno spazio campionario Ω e un'algebra I di sottoinsiemi di Ω, si definisce probabilità elementare di un evento (ricordo che a ciascun elemento A di I si può associare un numero reale non negativo che rappresenta la probabilità P(A)) una funzione P, definita in I e che assume valori compresi nell'intervallo [0,1], tale che P(Ω)=1 (ossia la probabilità di un evento certo è pari a 1) e P(A v B) = P(A)+P(B) (se (A and B)={}, cioè i due insiemi A e B sono disgiunti).

Quest'ultimo assioma (P(A)+P(B)), in particolare, denominato di "additività finita", ci dice che per calcolare la probabilità dell'unione di due eventi incompatibili è sufficiente sommare le probabilità dei singoli eventi.

In ultima analisi, per valutare la probabilità di un qualsiasi evento, relativo ad un esperimento casuale, occorre conoscere tre oggetti: lo spazio campionario, l'algebra I e la probabilità P. Questi tre elementi, ovvero la terna (Ω, I, P), formano uno "spazio di probabilità elementare", in cui P(A-negato)=1-P(A), P({})=0 e 0<=P(A)<=1 (con {} ho indicato l'insieme vuoto).

Da questo tipo di approccio, possiamo renderci conto facilmente che ci troviamo di fronte ad una vera e propria "teoria della misura" della probabilità, in cui il concetto stesso di probabilità è diventato "primitivo" (come accade, nella geometria euclidea, per i concetti di punto, retta e piano) e descritto implicitamente mediante gli assiomi fondamentali della teoria.

Posto che tutti i teoremi sul calcolo delle probabilità possono essere dimostrati a partire dagli assiomi di Kolmogorov, nel momento in cui dobbiamo attribuire un valore numerico (cioè la probabilità) ai singoli eventi, possiamo applicare il metodo (classico, frequentista o soggettivo) più adatto al caso in esame, a patto che gli assiomi non vengano violati.

P.S. In verità c'è un altro assioma, detto "dell'additività numerabile" (che nella teoria della misura corrisponde alla "sigma-additività"), che stabilisce che la probabilità dell'unione di una collezione finita o infinita (ma numerabile) di eventi disgiunti (cioè incompatibili a due a due) è pari alla somma delle corrispondenti probabilità.

Teorema sulla probabilità contraria

Consideriamo un evento A e l'evento contrario A-negato. Se lo spazio campionario comprende m risultati possibili e tra questi n sono favorevoli ad A, allora i rimanenti (m-n) saranno favorevoli ad A-negato, di conseguenza possiamo affermare che la probabilità dell'evento A-negato, contrario ad A, è il complemento a 1 della probabilità di A (cioè p(A-negato) = 1-p(A)).

Teorema sulla probabilità totale

Consideriamo due eventi A1 e A2 e il loro evento unione (A1 v A2). Se i due eventi A1 e A2 sono incompatibili tra loro (cioè non possono verificarsi contemporaneamente), la probabilità unione p(A1 v A2) è pari alla somma delle probabilità dei due singoli eventi (cioè p(A1 v A2) = p(A1)+p(A2)). Se, d'altro canto, i due eventi sono compatibili tra loro, si hanno dei risultati che verificano contemporaneamente A1 e