Appunti completi di Elementi di probabilità e statistica

Elementi di Probabilità e Statistica

Parte I · Probabilità — appunti riorganizzati · Informatica, UniTo

Questa dispensa raccoglie la parte di Probabilità del corso. Si parte da un ripasso degli strumenti

matematici che servono (calcolo combinatorio e integrali), poi si costruisce il modello probabilistico, si

passa alle variabili aleatorie discrete e infine a quelle continue. La parte di Statistica sarà in un file a

parte.

0. Ripasso di matematica

0.1 Calcolo combinatorio

Il calcolo combinatorio studia i raggruppamenti che si possono ottenere con un certo numero n di

oggetti disposti su k posti. Serve in probabilità per contare i casi favorevoli e i casi totali quando tutti

gli esiti sono equiprobabili. Per capire quale formula usare bisogna porsi tre domande:

• gli oggetti sono tutti diversi o ce ne sono di ripetuti (con ripetizione)?

• il numero di oggetti n coincide con il numero di posti k? Se sì si parla di permutazioni,

altrimenti di disposizioni o combinazioni.

• conta l'ordine con cui gli oggetti vengono disposti? Se conta → disposizioni, se non conta →

combinazioni.

Prima di tutto il principio moltiplicativo: se una scelta si fa in n modi, una seconda in n modi, …,

1 2

allora il numero totale di scelte combinate è n ·n ·…. Il fattoriale è n! = n(n−1)…2·1, con 0! = 1.

1 2

Tabella delle formule

n = n° oggetti, k = n° posti senza ripetizione di oggetti con ripetizione di oggetti

Permutazioni

Disposizioni (n ≠ k, conta

l'ordine)

Combinazioni (n ≠ k, non

conta l'ordine)

Nelle permutazioni con ripetizione r , r , … sono i numeri di volte in cui compare ciascun oggetto

1 2

ripetuto. Per le combinazioni vale C = C(n,k), il coefficiente binomiale, che conta anche i

n,k

sottoinsiemi di taglia k di un insieme con n elementi. Proprietà utili:

Esempi

Esempio. Permutazioni senza ripetizione. Anagrammi (anche senza senso) di LIBRO: 5 lettere distinte,

conta l'ordine, n = k = 5 → 5! = 120.

Esempio. Permutazioni con ripetizione. Anagrammi di MAMMA: 5 lettere, M compare 3 volte e A 2 volte

→ 5!/(3!·2!) = 10.

Esempio. Disposizioni senza ripetizione. 5 alunni su 3 sedie numerate (conta l'ordine, alunni tutti

diversi): 5!/(5−3)! = 5·4·3 = 60.

Elementi di Probabilità e Statistica · Parte di Probabilità 1

Esempio. Disposizioni con ripetizione. Numeri di 4 cifre con le cifre 1, 2, 3: n = 3, k = 4, ogni cifra può

4

ripetersi → 3 = 81.

Esempio. Combinazioni senza ripetizione. 4 paia di scarpe scelte tra 10 modelli (l'ordine in vetrina non

conta): 10!/(4!·6!) = 210.

Esempio. Combinazioni con ripetizione. Mescolando 5 gocce scelte tra 2 colori (bianco e nero): n = 2, k

= 5 → (2+5−1)!/(5!·1!) = 6!/5! = 6 colori diversi (bianco, nero e 4 sfumature di grigio).

Attenzione. nelle combinazioni con ripetizione bisogna individuare con cura quali sono gli oggetti (qui i 2

colori) e quali i posti (le 5 gocce).

Esempi tipici in probabilità: il problema dei compleanni, in cui n persone hanno ciascuna 365 date

n

possibili (#Ω = 365 ) e la probabilità che nessuno abbia lo stesso compleanno è

n

365·364·…·(365−n+1)/365 (≈ 0,59 per n = 20); oppure l'estrazione di una giuria di 5 persone da 6

uomini e 9 donne, dove i casi si contano con C(6,3)·C(9,2) e i casi totali con C(15,5).

0.2 Integrali

In probabilità gli integrali servono per le variabili aleatorie continue: la probabilità è un'area sotto una

funzione (la densità) e valore atteso e varianza si calcolano con integrali. Conviene quindi ripassare le

primitive di base. Una primitiva di f è una funzione F con F′ = f; l'integrale indefinito ∫f(x)dx = F(x) +

c indica tutte le primitive (c costante).

Integrali immediati

Formula Esempi

∫3 dx = 3x + c · ∫(1/2) dx = x/2 + c · ∫π dx = πx + c

−4 −3

∫x dx = x²/2 + c · ∫x⁵ dx = x⁶/6 + c · ∫x dx = −x /3 + c · ∫√x

1/2 3/2

dx = ∫x dx = (2/3)x + c

∫2^x dx = 2^x·log₂e + c = 2^x/ln 2 + c

Integrali immediati generalizzati

Un integrale generalizzato si ottiene da uno immediato sostituendo x con una funzione f(x) e

moltiplicando per la sua derivata f′(x): l'integrale di una funzione composta moltiplicata per la

derivata della funzione interna è la primitiva della funzione esterna calcolata in f(x).

Formula Esempio

Elementi di Probabilità e Statistica · Parte di Probabilità 2

Formula Esempio

Controllo. Per verificare un integrale basta derivare il risultato e controllare che si ottenga l'integranda.

Ad esempio D(arctan x⁴ + c) = 4x³/(1+x⁸), che è proprio la funzione integranda.

Metodi di integrazione

Costante moltiplicativa. Una costante esce dall'integrale:

Decomposizione in somma. L'integrale di una somma è la somma degli integrali:

Integrazione per parti. Se F è una primitiva di f:

Si integra il fattore più comodo da integrare e si deriva l'altro, in modo che il nuovo integrale sia più

semplice.

Esempio. ∫x·sin x dx: integro sin x (primitiva −cos x) e derivo x. Si ottiene (−cos x)·x − ∫(−cos x)·1 dx = −x

cos x + ∫cos x dx = −x cos x + sin x + c.

x x x x x x

Esempio. ∫x²·e dx: integro e e derivo x². Si ottiene e x² − ∫e ·2x dx = e x² − 2∫x e dx. Applico di nuovo

x x x x x x x x x x x

le parti: ∫x e dx = x e − ∫e dx = x e − e . Risultato: e x² − 2(x e − e ) = e x² − 2x e + 2e + c.

Integrali definiti e impropri

L'integrale definito tra a e b è l'area (con segno) sotto la funzione e si calcola con una primitiva; se

un estremo è infinito si parla di integrale improprio e si usa un limite.

Se la funzione è definita a tratti, l'integrale si spezza sugli intervalli corrispondenti. Quattro integrali

che ritorneranno spesso (esponenziale e normale):

k k

Serie utili: la serie geometrica ∑ q = 1/(1−q) per |q| < 1 e la serie esponenziale ∑ λ /k! =

k≥0 k≥0

λ

e (servono per verificare che le PMF geometrica e di Poisson sommino a 1).

Elementi di Probabilità e Statistica · Parte di Probabilità 3

PARTE I — PROBABILITÀ

1. Teoria degli insiemi

Un insieme è una collezione di oggetti detti elementi. Può essere finito, numerabile (come ℕ o ℤ)

oppure non numerabile (come ℝ). Dato un insieme S, T è un sottoinsieme (T ⊆ S) se ogni elemento

di T appartiene a S. In probabilità l'insieme ambiente è lo spazio campionario Ω, cioè l'insieme di

tutti i possibili esiti dell'esperimento casuale; i suoi sottoinsiemi sono gli eventi.

Operazioni c

• Complementare: A = {x : x ∉ A}

• Unione: A ∪ B = {x : x ∈ A oppure x ∈ B} · Intersezione: A ∩ B = {x : x ∈ A e x ∈ B}

• Unione e intersezione numerabili: ∪ A = {x : ∃i, x ∈ A } e ∩ A = {x : x ∈ A ∀i}

i≥1 i i i≥1 i i

• A e B sono disgiunti se A ∩ B = ∅ (nei diagrammi di Venn non si sovrappongono).

• Insieme delle parti ℘(Ω): l'insieme di tutti i sottoinsiemi di Ω, compresi ∅ e Ω. Se Ω ha n elementi,

n

℘(Ω) ne ha 2 . Per un dado Ω = {1,…,6} gli eventi sono quindi 2⁶ = 64.

Partizione

Una collezione di insiemi (A ) con A ⊆ S è una partizione di S se è formata da insiemi a due a due

i i

disgiunti (A ∩ A = ∅ per ogni i ≠ j) che ricoprono S (∪A = S). Per ogni evento A e ogni evento B vale

i j i

c c

la scomposizione A = (A∩B) ∪ (A∩B ), perché {B, B } è una partizione di Ω.

Leggi di De Morgan

A parole: il complementare di un'unione è l'intersezione dei complementari e viceversa. Vale anche la

distributività A ∩ (B ∪ C) = (A∩B) ∪ (A∩C).

2. Modello probabilistico

Un modello probabilistico è un oggetto matematico che rappresenta un esperimento casuale ed è

composto da due elementi: lo spazio campionario Ω (tutti gli esiti elementari possibili, ad esempio Ω

= {T, C} per una moneta e Ω = {1,…,6} per un dado) e una legge di probabilità P, cioè una

funzione definita sull'insieme delle parti di Ω a valori reali:

Ad ogni evento A ⊆ Ω si associa un numero P(A) che si può visualizzare come l'area di A rispetto a

quella di Ω. Perché P sia una probabilità deve soddisfare tre proprietà (assiomi):

1) Positività: P(A) ≥ 0 per ogni A ⊆ Ω

2) Normalizzazione: P(Ω) = 1

3) Additività: se A ∩ B = ∅ allora P(A ∪ B) = P(A) + P(B). Deve valere anche per unioni numerabili: se (A )

i

sono a due a due disgiunti, P(∪A ) = ∑P(A ).

i i

Proprietà dedotte dagli assiomi

Dagli assiomi si ricava tutto il resto. Per esempio, Ω ∩ ∅ = ∅ e Ω ∪ ∅ = Ω, quindi 1 = P(Ω) = P(Ω) +

P(∅), da cui P(∅) = 0. Si ricavano anche:

c

• Complementare: P(A ) = 1 − P(A), e quindi 0 ≤ P(A) ≤ 1.

• Monotonia: se A ⊆ B allora P(A) ≤ P(B) (l'area di A è più piccola di quella di B).

• Unione: P(A ∪ B) = P(A) + P(B) − P(A ∩ B) (si sottrae l'intersezione, contata due volte).

• Subadditività: P(A ∪ B) ≤ P(A) + P(B).

Elementi di Probabilità e Statistica · Parte di Probabilità 4

• Tre eventi: P(A∪B∪C) = P(A)+P(B)+P(C) − P(A∩B) − P(A∩C) − P(B∩C) + P(A∩B∩C).

• Se Ω è finito o numerabile, P(A) è la somma delle probabilità dei singoli esiti di A: P(A) = ∑ ω∈A

P({ω}).

Attenzione. se A ∩ B ≠ ∅ l'additività non vale: P(A ∪ B) ≠ P(A) + P(B).

Probabilità uniforme discreta

Se Ω è finito e tutti gli esiti elementari (i singoletti) hanno la stessa probabilità, allora, poiché i

singoletti sono disgiunti e la loro unione è Ω, si ha 1 = P(Ω) = #Ω · P({ω}) e quindi P({ω}) = 1/#Ω. Per

un evento qualsiasi:

Questa formula si usa per dadi equi, monete eque, estrazioni casuali con reimbussolamento e in

generale quando per ragioni di simmetria gli esiti sono equiprobabili. Non si può usare se Ω è

infinito (per esempio un dado lanciato finché non esce un numero pari: Ω ha infiniti esiti).

Esempio. Tre lanci di una moneta equa. Ω = {TTT, TTC, TCT, TCC, CTT, CTC, CCT, CCC}, #Ω = 2³ = 8,

ogni esito ha probabilità 1/8. Evento A = «il primo lancio è testa» = {TTT,TTC,TCT,TCC}: P(A) = 4/8 = 1/2.

Evento B = «esattamente 2 teste»: P(B) = 3/8. «Almeno 2 teste»: 4/8 = 1/2. «Più di 2 teste»: 1/8.

Esempio. Giuria. Da un gruppo di 6 uomini e 9 donne si sceglie a caso una giuria di 5 persone. #Ω =

C(15,5) = 3003 (sottoinsiemi di taglia 5). Giuria con 3 uomini e 2 donne: C(6,3)·C(9,2) = 20·36 = 720 casi

favorevoli, P = 720/3003 ≈ 0,24.

Esempio. Posizioni in fila. 15 persone (5 ragazzi e 10 ragazze) in fila casuale: #Ω = 15!. La persona in 4ª

posizione è un ragazzo con probabilità 5·14!/15! = 5/15 = 1/3; una persona specifica in 3ª posizione con

probabilità 14!/15! = 1/15.

3. Probabilità condizionata

A volte si hanno informazioni parziali sull'esito dell'esperimento e si vuole calcolare una probabilità

che ne tenga conto. Se so che si è verificato l'evento B, la probabilità che si verifichi anche A è la

probabilità condizionata: c

È la frazione dell'area di B occupata da A∩B. Anche P(·|B) è una probabilità, quindi P(A |B) = 1 −

P(A|B).

Esempio. Lancio due dadi equi in sequenza: Ω = {(i,j)}, #Ω = 36. Voglio P(somma = 9) sapendo che il 1°

lancio ha dato 6: A = «somma 9», B = «1° lancio = 6». A∩B = {(6,3)}, quindi P(A|B) = (1/36)/(6/36) = 1/6,

mentre P(A) = 4/36 = 1/9.

Regola della moltiplicazione

Invertendo la definizione si ottiene la probabilità di una intersezione, che si estende a più eventi:

Con un diagramma ad albero la probabilità di un cammino è il prodotto delle probabilità lungo i

rami, e la probabilità di un evento è la somma dei cammini favorevoli.

Formula delle probabilità totali

Sia (B ,…,B ) una partizione di Ω con P(B ) > 0. Poiché A = ∪(A∩B ) con pezzi disgiunti, si ha per

1 n i i

additività e moltiplicazione:

Elementi di Probabilità e Statistica · Parte di Probabilità 5

Si usa quando è facile calcolare P(A) dentro ciascun caso B ma non in generale.

i

Teorema di Bayes

Permette di invertire il condizionamento: da P(A|B) si passa a P(B|A). Segue da P(A∩B) scritto in due

modi e dalla formula delle probabilità totali al denominatore:

Esempio. Test diagnostico. Un test è positivo con probabilità 0,99 se il soggetto è malato (P(T|M) = 0,99)

c

e dà un falso positivo con probabilità 0,02 (P(T|M ) = 0,02). La malattia è presente nel 5% della popolazione

(P(M) = 0,05). Se il test è positivo, qual è la probabilità di essere malato?

P(M|T) = 0,99·0,05 / (0,99·0,05 + 0,02·0,95) = 0,0495/0,0685 ≈ 0,7226.

c

Attenzione. in generale P(A|B ) non è 1 − P(A|B): a complementare va l'evento A, non la condizione B.

4. Indipendenza di eventi

Due eventi sono indipendenti se sapere che uno si è verificato non cambia la probabilità dell'altro.

Le tre condizioni seguenti sono equivalenti (le ultime due se la condizione ha probabilità positiva):

• Eventi disgiunti con probabilità positive non sono indipendenti: se si verifica A, B è impossibile.

(∅ e Ω sono indipendenti da qualsiasi evento.) c c c c

• Se A e B sono indipendenti lo sono anche le coppie (A, B ), (A , B) e (A , B ).

Esempio. Due lanci di un dado equo. A = «il 1° lancio dà 1», B = «il 2° lancio dà 1»: P(A∩B) = 1/36 =

1/6·1/6, indipendenti. Se invece C = «la somma è 7» e A = «1° lancio = 1»: P(A∩C) = 1/36 = 1/6·1/6, ancora

indipendenti; mentre D = «massimo = 2» ed E = «minimo = 2» non lo sono (P(D∩E) = 1/36 ≠ P(D)P(E)).

Indipendenza di collezioni di eventi

Per più di due eventi A ,…,A esistono due nozioni diverse:

1 n

• A due a due indipendenti: P(A ∩A ) = P(A )P(A ) per ogni coppia i ≠ j.

i j i j

• Mutuamente indipendenti: per ogni sottoinsieme di indici I ⊆ {1,…,n} con almeno 2 elementi,

P(∩ A ) = ∏ P(A ). Per n = 3 bisogna controllare le 3 coppie e anche P(A ∩A ∩A ) =

i∈I i i∈I i 1 2 3

P(A )P(A )P(A ).

1 2 3

Attenzione. mutuamente indipendenti ⇒ a due a due indipendenti, ma non vale il viceversa.

Per eventi mutuamente indipendenti la probabilità che se ne verifichi almeno uno è P(∪A ) = 1 − ∏(1

i

− P(A )), molto comoda con le prove ripetute (lanci ripetuti, estrazioni con reimbussolamento).

i

5. Variabili aleatorie

Una variabile aleatoria (v.a.) associa un numero reale all'esito di un esperimento: è una funzione

X : Ω → ℝ. Per esempio, lanciando 5 volte una moneta, X = «numero di teste» assegna 3 all'esito

TTCTC e 5 a TTTTT. L'insieme dei valori assunti è Im(X). Una v.a. è discreta se Im(X) è finito o

numerabile (somma di due dadi, numero di teste), continua se Im(X) è continuo (velocità,

temperatura). Si scrive {X = x} per l'evento {ω ∈ Ω : X(ω) = x}.

Variabili discrete e PMF

La funzione di massa di probabilità (PMF) di una v.a. discreta X è

Elementi di Probabilità e Statistica · Parte di Probabilità 6

Proprietà: p (x) ≥ 0 e ∑ p (x) = 1. Per ogni A ⊆ ℝ: P(X ∈ A) = ∑ p (x). I valori {X = x}

X x∈Im(X) X x∈A X

formano una partizione di Ω. Una v.a. costante X ≡ c ha p (c) = 1.

X

Alcune v.a. discrete compaiono così spesso da avere un nome. Per tutte vale Im(X) e PMF come

indicato (i parametri di media e varianza sono nel paragrafo 6).

Bernoulli(p)

Esperimento con esito dicotomico (successo/insuccesso): X = 1 se successo (probabilità p), 0

altrimenti.

Binomiale(n, p)

Si ripetono n prove di Bernoulli indipendenti e identiche (stesso p) e si conta il numero di