Esame Probabilità - teoria

Teoria della probabilità

Somme infinite

Per definire la somma di una famiglia di numeri reali \(a_i\) indicizzata da un insieme finito \(I\), anche senza un ordinamento, nel caso di \(a_i \geq 0\) \(\forall i \in I\), la somma è sempre ben definita come l’estremo superiore di tutte le possibili somme finite degli \(a_i\):

\( \sum_{i \in I} a_i := \sup_{A \subseteq I, |A|<+\infty} \sum_{i \in A} a_i \in [0, +\infty] \). Si noti che \( \sum_{i \in I} a_i \) può assumere valore \(+\infty\).

Nel caso \(a_i\) non necessariamente positivi, diremo che ammette somma se almeno una delle due somme parziali è finita. In tal caso:

\( \sum_{i \in I} a_i := \sum_{i \in I} a_i^+ - \sum_{i \in I} a_i^- \in [-\infty, +\infty] \) se \( \sum_{i \in I} |a_i| < +\infty \).

Proprietà

• Linearità: \(\sum_{i \in I} (\alpha a_i + \beta b_i) = \alpha \sum_{i \in I} a_i + \beta \sum_{i \in I} b_i\)
• Monotonia: Se \(a_i \leq b_i \forall i \in I\) allora \(\sum_{i \in I} a_i \leq \sum_{i \in I} b_i\)
• Somma a blocchi: Sia \((I_j)_{j \in J}\) una partizione di \(I\), allora la sottofamiglia \((a_i)_{i \in I_j}\) ammette somma. Ponendo \(s_j := \sum_{i \in I_j} a_i\), anche \((s_j)_{j \in J}\) ammette somma e si ha:

\( \sum_{i \in I} a_i = \sum_{j \in J} s_j = \sum_{j \in J} \sum_{i \in I_j} a_i \)

Come caso particolare vale la versione discreta del Teorema di Fubini-Tonelli:

\( \sum_{x \in E} \sum_{y \in F} a_{x,y} = \sum_{(x,y) \in E \times F} a_{x,y} \)

Questa relazione si estende al caso in cui \(I = E_1 \times ... \times E_n\) sia il prodotto cartesiano di un numero infinito di insiemi.

Spazi di probabilità discreti

Modelli probabilistici discreti

Esperimento aleatorio: osservazione relativa ad un qualunque fenomeno il cui esito non sia determinabile con certezza a priori. L’obiettivo è quello di fornire una descrizione matematica di un esperimento aleatorio definendo un modello probabilistico costituito da un insieme \(\Omega\), detto spazio campionario, che contiene tutti gli esiti possibili dell’esperimento. Il secondo elemento di un modello probabilistico è costituito dagli eventi, intesi come sottoinsiemi dello spazio campionario \(\Omega\): ogni affermazione è identificata con il sottoinsieme costituito da tutti e soli gli esiti dell’esperimento per cui l’affermazione si verifica.

Spazio di probabilità

Spazio campionario

Lo spazio campionario \(\Omega\) è l’insieme di tutti i possibili esiti dell’esperimento aleatorio di interesse.

Eventi

Un evento è un’affermazione sull’esito dell’esperimento e viene identificato con il sottoinsieme di \(\Omega\) che contiene gli esiti favorevoli a tale affermazione.

Definizioni

• Evento impossibile: se l’affermazione che descrive l’evento non si può verificare (\(\emptyset\)).
• Evento certo: se l’affermazione che descrive l’evento si verifica sempre (\(\Omega\)).

Operazioni logiche

• \(A \cap B\): Si verifica sia A che B
• \(A \cup B\): Almeno uno tra A e B si verifica
• \(A^C\): Non si verifica A
• \(A \subseteq B\): A implica B

Definizione di probabilità

Una probabilità \(P: \mathcal{P}(\Omega) \rightarrow [0, 1]\) si dice tale se soddisfa:

• Normalizzazione: \(P(\Omega) = 1\)
• \(\sigma\)-additività: Se \((A_n)_{n \in \mathbb{N}}\) è una successione di eventi a due a due disgiunti (\(A_i \cap A_j = \emptyset\) per \(i \neq j\)), allora:

\(P(\bigcup_{n=1}^{+\infty} A_n) = \sum_{n=1}^{+\infty} P(A_n)\)

La coppia \((\Omega, P)\) si chiama spazio delle probabilità.

Proprietà delle probabilità

• \(P(\emptyset) = 0\): l’insieme vuoto è disgiunto da sé stesso.
• Additività finita: Sia \(m\) fissato, prendo una successione di eventi \(A_n\) con \(A_i \cap A_j = \emptyset\) per \(i \neq j\) e \(n \leq m\). Allora:

\(P\left(\bigcup_{n=1}^{m} A_n\right) = \sum_{n=1}^{m} P(A_n)\)

• Monotonia: Se \(A \subseteq B\) allora \(P(A) \leq P(B)\)
• Sub-additività: Sia \((A_n)_{n \in \mathbb{N}}\) una successione di eventi, allora:

\(P\left(\bigcup_{n=1}^{+\infty} A_n\right) \leq \sum_{n=1}^{+\infty} P(A_n)\)

• Continuità dal basso: Se \((A_n)_{n \in \mathbb{N}}\) è una successione di eventi crescenti, allora:

\(P\left(\bigcup_{n=1}^{+\infty} A_n\right) = \lim_{n \rightarrow +\infty} P(A_n)\)

Analogamente vale per \((A_n)_{n \in \mathbb{N}}\) decrescente (continuità dall’alto).

Spazi di probabilità discreti

Sia \(\Omega\) un insieme non vuoto. Una probabilità su \(\Omega\) si dice discreta se esiste un sottoinsieme \(\Omega'\subseteq \Omega\) finito o numerabile tale che \(P(\Omega') = 1\). In tal caso \((\Omega, P)\) è uno spazio di probabilità discreto. In particolare, se \(\Omega\) è finito o numerabile, ogni probabilità è discreta.

Proposizione: Caratteristiche della probabilità discreta

• \(P\) è una probabilità discreta
• Per ogni evento \(A \subseteq \Omega\) si ha \(P(A) = \sum_{\omega \in A} P(\{\omega\})\)
• Si ha \(\sum_{\omega \in \Omega} P(\{\omega\}) = 1\)

Se vale una di queste condizioni, si può scegliere \(\Omega' = \{\omega \in \Omega | P(\{\omega\}) > 0\}\). La relazione mostra che in uno spazio di probabilità discreto la probabilità di un evento è determinata dalla probabilità dei singoletti che lo compongono.

Densità discreta

Sia \(\Omega\) un insieme arbitrario e non vuoto. Si dice densità discreta su \(\Omega\) ogni funzione \(p: \Omega \rightarrow \mathbb{R}\) che soddisfa:

• Positività: \(p(\omega) \geq 0 \, \forall \omega \in \Omega\)
• Normalizzazione: \(\sum_{\omega \in \Omega} p(\omega) = 1\)

Probabilità e densità discreta

Sia \(p\) una densità discreta su \(\Omega\). La funzione \(P: \mathcal{P}(\Omega) \rightarrow [0, 1]\) definita come \(P(A) := \sum_{\omega \in A} p(\omega)\) \(\forall A \subseteq \Omega\) è una probabilità discreta su \(\Omega\) e vale \(P(\{\omega\}) = p(\omega)\) \(\forall \omega \in \Omega\).

Una probabilità è discreta se e solo se esiste una densità discreta \(p\) tale per cui valga la relazione; in tal caso la densità discreta è data da \(p(\omega) = P(\{\omega\})\).

Spazio di probabilità uniforme

\((\Omega, P)\) si dice spazio di probabilità uniforme se:

• \(\Omega\) è finito
• \(\forall A \subseteq \Omega\), \(P(A) = \frac{|A|}{|\Omega|}\)

Dato \(n\) si dice che un insieme ha cardinalità \(n\) e si scrive \(|A| = n\) se \(A\) è in corrispondenza biunivoca con \(\{1...n\}\), ovvero ha \(n\) elementi.

Fatti:

• Se \(A\) e \(B\) sono in corrispondenza biunivoca, \(|A| = |B|\)
• Se \(A_1,...,A_k\) sono sottoinsiemi a due a due disgiunti:

\(|\bigcup_{i=1}^k A_i| = \sum_{i=1}^k |A_i|\)

• Se \(A_1,...,A_k\) sono insiemi e \(A_1 \times ... \times A_k\) è il prodotto cartesiano, allora:

\(|A_1 \times ... \times A_k| = \prod_{i=1}^k |A_i|\)

Teorema: Principio fondamentale del conteggio

Supponiamo che gli elementi di un insieme \(A\) finito possano essere determinati mediante \(k\) scelte successive in cui ogni scelta ha un numero fissato di esiti possibili: avremo \(n_1...n_k\) esiti possibili. Se sequenze distinte di esiti delle scelte individuano elementi distinti di \(A\), ovvero non si può ottenere uno stesso elemento di \(A\) con due sequenze diverse di esiti delle scelte, allora \(|A| = n_1 n_2 ... n_k\).

Disposizioni con ripetizione

Dati \(k\) e un insieme finito \(A\), si dicono disposizioni con ripetizione di \(k\) elementi scelti da \(A\) le funzioni \(f: \{1...k\} \rightarrow A\). Per definire una funzione \(f\) devo assegnare i valori \(f(1)...f(k)\) e li devo scegliere nell’insieme \(A\). Le disposizioni con ripetizione sono in corrispondenza biunivoca con gli elementi di \(|A|^k = |A| \times ... \times |A|\) (k volte). Quindi una disposizione con ripetizione può essere vista come una \(k\)-upla ordinata \((x_1 ... x_k)\) di elementi di \(A\). Poiché \(|A| = n\), si ha \(|D_{n,k}| = n^k\), otteniamo il numero di disposizioni con ripetizione di \(k\) elementi scelti da un insieme di \(n\) elementi.

Disposizioni semplici e permutazioni

Dati \(k\) e un insieme finito \(A\), si dicono disposizioni semplici (o senza ripetizione) di \(k\) elementi estratti da \(A\) le funzioni \(f: \{1...k\} \rightarrow A\) iniettive. Le disposizioni semplici sono in corrispondenza biunivoca con gli elementi di \(|A|^k\) che hanno entrate distinte. Quindi una disposizione semplice può essere vista come una sequenza ordinata \((x_1 ... x_k)\) di elementi distinti di \(A\). Per il principio fondamentale del conteggio, se \(|A| = n\), otteniamo:

\(D_{n,k} = \frac{n!}{(n-k)!}\)

Se l’insieme \(A\) è finito, le funzioni \(f: \{1...n\} \rightarrow A\) iniettive, sono necessariamente biunivoche e sono dette permutazioni di \(A\). Possiamo prendere \(A = \{1...n\}\); il gruppo delle sue permutazioni si denota con \(\{ \sigma: \{1...n\} \rightarrow \{1...n\} | \sigma \text{ biunivoche} \}\) ed è detto gruppo simmetrico e \(|S_n| = n!\).

Combinazioni

Dati \(k\) e \(A\) finito, si dicono combinazioni di \(k\) elementi scelti da \(A\) i sottoinsiemi di \(A\) di cardinalità \(k\). Mentre una disposizione corrisponde ad una sequenza ordinata, una combinazione può essere vista come una collezione non ordinata di elementi distinti di \(A\). Vogliamo determinare \(C_{n,k}\), il numero di combinazioni di \(k\) elementi scelti da \(A\) che ne contiene \(n\).

\(C_{n,0} = 1\) (\(\emptyset\))
\(C_{n,k} = \frac{D_{n,k}}{k!} = \frac{n!}{k!(n-k)!}\) con \(n\) elementi totali e \(k\) elementi scelti.

Estrazione di palline da un’urna

• Con reinserimento: \(N\) palline totali, \(M\) rosse, \(N-M\) verdi, \(k\) scelte rosse da avere alla fine.

\(\Omega = \{ f: \{1..n\} \rightarrow \{1...N\} \}\)
\(A= \text{insieme di } n \text{ oggetti da } N \text{ palline che contengono } k \text{ palline rosse}\)
\(|A| = \binom{N}{k}\)
\(P(A) = \frac{|A|}{|\Omega|}\)

• Senza reinserimento: \(|\Omega| = D_{N,n}\), \(|A| = D_{M,k}\).

\(P(A) = \frac{D_{M,k}}{D_{N,n}}\)

Probabilità condizionale o condizionata

Siano \((\Omega, P)\) uno spazio di probabilità e \(B\) un evento tale che \(P(B) > 0\). Allora per ogni \(A\):

\(P(A|B) = \frac{P(A \cap B)}{P(B)}\) è la probabilità condizionale di \(A\) dato \(B\).

Proprietà

• Fissato \(B \subseteq \Omega\), \(P(B) > 0\), allora la funzione \(P(\cdot|B): \mathcal{P}(\Omega) \rightarrow [0, 1]\) è una probabilità discreta su \(\Omega\).

Per questa funzione valgono le proprietà delle probabilità. In particolare:

• \(P(\Omega|B) = 1\)

Regola della catena

Fissiamo un numero naturale \(n \geq 2\) e consideriamo gli eventi \(A_1, ..., A_n\) tali che \(P(A_1 \cap ... \cap A_{n-1}) > 0\). Allora vale la seguente:

\(P(A_1 \cap A_2 \cap ... \cap A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1 \cap A_2)...P(A_n|A_1 \cap ... \cap A_{n-1})\)

Formula delle probabilità totali

Sia \((\Omega, P)\) e sia \((A_i)_{i \in I}\) una partizione (\(A_i \cap A_j = \emptyset\) per \(i \neq j\), \(\bigcup_{i \in I} A_i = \Omega\)) di \(\Omega\). Allora:

• Se \(B \subseteq \Omega\), vale la seguente formula di disintegrazione sulla partizione:

\(P(B) = \sum_{i \in I} P(B \cap A_i)\)

• Se \(P(B) > 0\), vale la seguente formula delle probabilità totali:

\(P(B) = \sum_{i \in I} P(A_i)P(B|A_i)\)

Formula di Bayes

Sia \((\Omega, P)\) e \((A_i)_{i \in I}\) partizione finita o numerabile di \(\Omega\). Allora se \(P(A_i) > 0 \forall i \in I\), vale:

\(P(A_i|B) = \frac{P(B|A_i)P(A_i)}{P(B)}\) con \(B \subseteq \Omega\) tale che \(P(B) > 0\).

Indipendenza di eventi

La probabilità che viene assegnata all’evento \(A\) non viene influenzata dall’informazione che si è verificata \(B\), e viceversa:

\(P(A|B) = P(A)\) e \(P(B|A) = P(B)\) se \(P(B) > 0\).

Otteniamo la seguente definizione:

\(A\) e \(B\) si dicono indipendenti rispetto a \(P\) se \(P(A \cap B) = P(A)P(B)\).

• In generale, per una famiglia \((A_i)_{i \in I}\) di eventi, si dice indipendente se per ogni sottoinsieme finito \(J \subseteq I\), si ha:

\(P\left(\bigcap_{j \in J} A_j\right) = \prod_{j \in J} P(A_j)\)

Proposizione

Sia \((\Omega, P)\), \(I\) un insieme di indici. Sia inoltre \((A_i)_{i \in I}\) una famiglia di eventi indipendenti. Consideriamo \(I' \subseteq I\) e definiamo:

• \(B_i = A_i\) se \(i \in I'\); \(B_i = \Omega\) altrimenti

Allora \((B_i)_{i \in I}\) è una famiglia di eventi indipendenti.

Schema di prove ripetute indipendenti ed equiprobabili

Molti esperimenti aleatori costituiti da \(n\) prove ripetute identiche, che possono avere due soli esiti possibili, detti successo/insuccesso. Siamo interessati al caso in cui ciascuna prova ha successo con probabilità \(p \in (0, 1)\) e i risultati delle prove distinte siano tra loro indipendenti. Questa situazione è detta schema di prove ripetute indipendenti ed equiprobabili e può essere formalizzata come una famiglia di eventi indipendenti e con la stessa \(p \in (0, 1)\) in \((\Omega, P)\).

Caso finito

• Probabilità di successo alla k-esima prova: \((1-p)^{k-1}p\)
• Probabilità che \(k\) su \(n\) eventi abbiano successo: \(\binom{n}{k}p^k(1-p)^{n-k}\)

\(\Omega = \{\omega = (\omega_1...\omega_n) | \omega_i \in \{0,1\} \forall i = 1,...,n\}\)

Consideriamo la densità discreta \(q_n,p: \Omega \rightarrow [0, 1]\) tale che \(q_n,p(\omega) = p^{\sum \omega_i}(1-p)^{n-\sum \omega_i}\).

La \(P\) è la probabilità indotta dalla densità discreta \(q_n,p\).

\(P(A) = \sum_{\omega \in A} q_n,p(\omega)\) per ogni \(A \subseteq \Omega\).

Se \(p = \frac{1}{2}\), \(P\) è la probabilità uniforme su \(\Omega\).

Variabili aleatorie discrete

Si dice variabile aleatoria una funzione \(X: \Omega \rightarrow E\) da uno spazio di probabilità \((\Omega, P)\) a un insieme \(E\) arbitrario. Per ogni sottoinsieme \(A \subseteq E\) definiamo:

\(X^{-1}(A) = \{\omega \in \Omega | X(\omega) \in A\}\)

\(X^{-1}(A)\) è l’evento costituito da tutti e soli gli esiti \(\omega \in \Omega\) dell’esperimento aleatorio. Sono detti eventi generati da \(X\).

Chiamiamo distribuzione o legge di \(X\):

\(\mu_X: \mathcal{P}(E) \rightarrow [0, 1]\) definita come \(\mu_X(A) = P(X^{-1}(A))\).

\(X\) e \(X'\) sono v.a. definite su \((\Omega, P)\) e a valori nello stesso insieme \(E\). Si dicono quasi certamente uguali se \(P(\{\omega \in \Omega | X(\omega) = X'(\omega)\}) = 1\), cioè se differiscono, lo fanno su un insieme di probabilità nulla.

Fatti:

• \(\mu_X = \mu_{X'}\) se e solo se \(X\) e \(X'\) sono quasi certamente uguali
• \(X\) e \(X'\) a valori in \(E\), \(\mu_X = \mu_{X'}\), \(F\) insieme arbitrario e \(f: E \rightarrow F\) una funzione. Allora \(\mu_{f(X)} = \mu_{f(X')}\)

Una v.a. \(X\), definita su \((\Omega, P)\) a valori in \(E\) è detta discreta se esiste \(\tilde{E} \subseteq E\) finito o numerabile tale che \(\mu_X(\tilde{E}) = 1\). In altre parole sse la sua distribuzione \(\mu_X\) è una probabilità discreta su \(E\).

Proposizione: caratterizzazione di una v.a. discreta

Consideriamo \(X: \Omega \rightarrow E\) v.a., le seguenti condizioni sono equivalenti:

• \(X\) è una v.a. discreta
• Per ogni \(A \subseteq E\) si ha \(\mu_X(A) = \sum_{x \in A} \mu_X(\{x\})\)
• Si ha \(\sum_{x \in E} \mu_X(\{x\}) = 1\)

Se vale una di queste (quindi tutte), si ottiene \(\tilde{E} = \{x \in E | \mu_X(\{x\}) > 0\}\).

Ad ogni v.a. discreta \(X: \Omega \rightarrow E\) possiamo associare una densità discreta \(p: E \rightarrow \mathbb{R}\) tale che:

• Positività: \(p(x) \geq 0 \, \forall x \in E\)
• Normalizzazione: \(\sum_{x \in E} p(x) = 1\)

Proposizione

Una v.a. \(X: \Omega \rightarrow E\) è detta discreta se e solo se esiste una densità discreta \(p\) su \(E\) tale che:

\(P(X \in A) = \mu_X(A) = \sum_{x \in A} p(x) \, \forall A \subseteq E\)

In questo caso diremo che \(p\) è la densità discreta di \(X\).

\(p(x) = \mu_X(\{x\}) = P(X = x) \, \forall x \in E\).

Data una v.a. \(X: \Omega \rightarrow E\), indichiamo con \(X(\Omega)\) l'insieme dei valori effettivamente assunti da \(X\).