Appunti schematici - Calcolo della probabilità

σ-algebra

Famiglia di tutti gli eventi di interesse.

B ⊆ P(Ω)

∅ ∈ B

∀ A ∈ B: A = {ω ∈ Ω, ω ∉ A} ∈ B

∀ A_m ⊆ B: ∪ A_m = {ω ∈ Ω, ∃ m : ω ∈ A_m} ∈ B

Kolmogorov

P : B ➔ R

P(Ω) = 1

∀ A ∈ B, P(A) > 0

fam_m∈N ⊆ B famiglia di B discreta e disgiuntiva, ∀ i, j i ≠ j : A_i ∩ A_j = ∅

⇒ P(∪_m A_m) = ∑_m P(A_m)

Formule

A ∩ B = A ∪ B e A ∪ B = A ∩ B Leggi di de Morgan

P(A − B) = P(A) − P(A ∩ B) = P(A ∩ B)

P(A ∪ B) = P(A) + P(B) − P(A ∩ B) ≤ P(A) + P(B)

P(B) = 1 − P(B)

P(A ∩ B) = P(A) − P(A − B) ≥ P(A) + P(B) − 1

Incompatibilità ⇔ A ∩ B = ∅ = P(A ∩ B) = 0 ⎫⊎ P(A), P(B) > 0 ⊎ ↤ o l'uno o l'altro

Indipendenza ⇔ P(A ∩ B) = P(A) P(B) ⎭

Legge probabilità composta

P(A ∩ B) = P(A | B) · P(B) ➔ P(A | B) = P(A ∩ B) / P(B)

Legge delle alternative

Evento E ∈ B, {C_m | C_m B famiglia discreta e disgiuntiva

P(C_m) > 0 e E ∈ ∪ C_m effetto ricondurre ad almeno 1 delle cause ⎤

⇒ P(E) = ∑_m P(E | C_m) P(C_m) ⎵ E = E ∩ (∪ C_m) = ∪ (E ∩ C_m)

P(∪_m(E ∩ C_m)) = K3, LPC

Teorema di Bayes

Stesse ipotesi scritte sopra + P(E) > 0 x trovare la causa + probabile che ha generato quell'effetto

⇒ ∀ m P(C_m | E) = P(E | C_m) P(C_m) / ∑_m P(E | C_m) P(C_m)

Dimostrato applicando LPC, L.A.

σ-algebra

Famiglia di tutti gli eventi di interesse ⊆ (Ω) ・Ω∈∀A∈: Ā={ω∈Ω, ω∉A}∈∀ Am⊆: ⋃Am={ω∈Ω,∃m: ω∈Am}∈

Kolmogorov

: →ℝ(Ω) = 1∀A∈ , (A) > 0 ⇒ famiglia di B discreta e disgi.

∀ Am∩Am∩ ⊆ ∀i,j i≠j: Ai∩Aj = ∅⇒( ⋃mAm) = ∑m(Am)

Formule

A∩B = A̅∪B̅ e A∪B = A̅∩B̅ Leggi di de Morgan

(A−B) = (A)−(A∩B) = (A∩B̅)

(A∪B) = (A) + (B) − (A∩B) ≤ (A)+(B)

(B̅) = 1−(B)

(A∩B̅) = (A)−(A−B) ≥ (A)+(B)−1

Incompatibilità ⇔ A∩B = ∅ =⇒ (A∩B) = 0

Il indipendenza (A∩B) = (A)(B)

Legge probabilità composta

(A∩B) = (A|B)・(B) ⇒ (A|B) = (A∩B)/(B)

Legge delle alternative

Evento E∈ , {Cm}⊆ famiglia discreta e disgiunta

(Cm) >0 E∈ ⋃Cm effetto riacchusc. ad almeno 1 delle cause

⇒(E) = ∑m(E|Cm)(Cm)

E = E∩( ⋃ Cm) = ⋃ (E∩Cm)

( ⋃ (E∩Cm)) = K3, LPC

Teorema di Bayes

Stesse ipotesi scritte sopra +(E)>0

⇒ ∀m (Cm|E) = (E|Cm)(Cm)/∑m(E|Cm)(Cm)

Per trovare la causa + probabile che ha generato quell’effetto

Dimostrato applicando LPC, L.A.

Variabili casuali: generale

F_X(x) = P(X ≤ x) a -∞ = 0 a +∞ = 1

P(a ≤ x ≤ b) = F_X(b) - F_X(a)

Quantile di ordine x: P(X α) ≤ x ≤ P(X ≤ x_α)

Discrete

f_X(x) = P(x = x) > 0 x ∈ S_X = 0 x ∉ S_X

S_X finito

P(X) = 1 x ∈ S_X

F_X(x) = P(X ≤ x) = ∑_k≤x f_X(k)

E(g(x)) = ∑_SX g(x) f_X(x)

Continue

P(X = x) = 0 ∀x∈ℝ

f_X(x) = F'_X(x)

F_X(x) = P(X ≤ x) = ∫_-∞^x f_X(t)dt

S_X = {x∈ℝ, f_X(x)>0}

Quantile : P(X ≤ x_α) = α = F_X(x_α)

E(g(x)) = ∫_-∞^∞ g(x)f_X(x) dx

Varianza in generale: Var (X) = E[(x-μ_X)²]

Proprietà valore atteso/varianza: E(ax+b) = aE(x) + b Var (ax+b) = a² Var (x)

2 variabili: varianza e covarianza

Cov(X,Y) = E[(x-μ_X)(y-μ_Y)] = E (XY) - E(X)E(Y)

Bilinearità Cov(ax + bY, z) = a Cov(X, Z) + b Cov(Y,Z)

Dimostrato con le proprietà del valore atteso

Var (ax + bY) = a² Var (X) + 2ab Cov (X,Y) + b² Var (Y)

X⊥Y → Cov(X,Y) = 0 incorrelazione

E(XY) = E(X)E(Y)

Var (aX + bY) = a² Var (X) + b² Var (Y)

Variabili casuali bidimensionali

F_XY(x,y) = P(X ≤ x, Y ≤ y)

X ~ Y → F_XY(x) = F_Y(x)

X ⊥⊥ Y → F_XY(x,y) = F_X · F_Y

F_X(x) = lim _x→∞ F_XY(x,y)

F_Y(y) = lim _y→∞ F_XY(x,y)

Discrete

F_XY(x,y) = ∑_{s≤x, t≤y} f_XY(s,t)

f_XY(x,y) = P(x=X, y=Y) > 0

marginali: f_X(x) = ∑_t∈SY f_XY(x,t)

f_Y(y) = ∑_s∈SX f_XY(x,t)

condizionate: f_Y|X=x = ^f_XY(x,y)/_fX(x)

f_X|Y=y = ^f_XY(x,y)/_fY(y)

E(g(x,y)) = ∑_x ∑_y g(x,y)f_XY

E(ax + bY) = a E(x) + b E(y)

X ⊥⊥ Y → F_XY = F_X(x) F_Y(y)

f_XY(x,y) = f_X(x) f_Y(y)

f_Y|X = f_Y(y)

f_X|Y = f_X(x)

Continue

F_XY(x,y) = ∫∫ f_XY(s,t) ds dt

f_xy(x,y) > 0

∫∫ f_XY(s,t) dsdt = 1

marginali: f_X(x) = ∫_-∞^∞ f_XY(s,t) dt

F_X(x) = ∫_-∞^∞ f_X(·) ds...

condizionate:

E(g(x,y)) = ∫_-∞^∞∫_-∞^∞ g(x,y)f_xy dxdy

Retta di regressione

legame X̅ Y̅

E(X) = μ_X E(Y) = μ_Y var(X) = σ_χ² var(Y) = σ_Y² Cov(x, y) = σ_xy

L = λX + K richiesta de l'errore di approssimazione in media sia 0

E(Y - L) = 0 ⟹ E(Y) = E(L)

E(Y) = E(L) = λE(X) + K ⟹ K = μ_Y - λμ_X ⟹ L = λX - λμ_X + μ_Y

minimizzare errore quadrattico medio

e(λ) = E[(Y - L)²](≥ 0) = λ²σ_χ² - 2 λ σ_xy + σ_Y²

ricavo λ* per cui e'(λ*) = 0 ⟹ λ* = ^σ_xy/_σχ² è un minimo e non un max perché e''(λ) > 0

⟹ L = ^σ_xy/_σχ² (X - μ_X) + μ_Y

Var(L) = ^σ_xy2/_σχ² varianza spiegata

Disuguaglianza di Cauchy-Schwarz

Essendo e(λ*) > 0 ⟹ σ_xy² ≤ σ_χ² σ_Y²

|σ_xy| ≤ σ_χσ_Y

dimostrazione

e(λ*) = (^σ_xy/_σχ²)²σ_χ² - 2 (^σ_xy/_σχ²)σ_xy + σ_Y² == σ_y² - ^σ_xy2/_σχ² > 0 ...

Coefficienti

correlazione lineare ρ_xy = ^σ_xy/_σχσY misura depend. lineare x, y

determinazione lineare ρ_xy² = ^σ_xy2/_σχ²σY² indice normalizzato

_Var(L)/_{Var (Y)} = 0 incorrelazione σ_xy = 0

= 1 dipend. lin. perf e(λ*)= 0 Y= L

Regressione

Riscavo L = ρ_XY^σ_Y/_σχ (X - μ_X) + μ_Y ⟹ se c'è dip. lin perf.:

ρ_xy = ±1 ⟹ ρ_xy = +1 ⟹ L = Ỹ ⟹ |Y - μ_Y| ≤ |_{X - μX}|- σ_Y² ≤ σ_χ²

Riduzione varianza da Y a X

Riduizione scostamento V.C. dalle medie ⟹ regress. verso la media

Bernoulli

Bern()

fᵪ(x) = ˣ (1-)¹ ⁻ ˣ

Sₓ = {0,1}

E(x) = Var(x) = (1-)

Gₓ(t) = 1 + (eᵗ-1)

Binomiale

Bin(m,)

fᵪ(x) = (m ᵧ̄ )(ˣ(1-)ᵐ⁻ˣ)

Sₓ = {0,...,m}

E(x) = m Var(x) = m(1-)

Gₓ(t) = [1 + (eᵗ-1)]ᵐ

Poisson

Poiss(λ)

fᵪ(x) = e⁻ˡ λˣ/x!

Sₓ = {0,...,m}

E(x) = λ Var(x) = λ

Gₓ(t) = e^(λ(eᵗ-1))

Geometrica

Geom()

fᵪ(x) = (1-)ˣ

Sₓ = ℕ

E(x) = 1- / Var(x) = 1- / ²

P(X > m/m) = (1-)ᵐ

Ipergeometrica

Iperg(m,N,K)

fᵪ(x) = ((k ᵧ̄ )(N-K x) / (M m) )

E(x) = mθ Var(x) = mθ(1-θ) N-m / N-1

Trinomiale

Tri(m,₁,₂)

fᵪᵧ(x,y) = (m g x g m-x-y) θ₁̆ θ₂̆(1-₁-₂)ᵐ⁻ˣ⁻ʸ

Cov(x,y) = -m₁₂

Gamma

Gamma(,)

fᵪ(x) = ˣ / Γ() xᵅ⁻¹ eˣ\\

E(x) = Var(x) = / ²

Exp neg

Gamma(1,)∼Ex()

P(x > x) = eˣ\\

fᵪ(x) = eˣˉᵃ

Chi-quadrato

χ²∼Gamma( / 2, 1/2)

Uniforme cont

UC(0,1) a x

fᵪ(x) = 1 / b-a

Normale stz

∼N(0,1)

fᵪ(z) = 1 / 2π e(ˍⁱ⁻²/²)

Normale gene

X∼N(μ,σ²)

Φ (z) = ∫ e(dxˉμ²/2σ²)

Assenza di memoria

Geometrica

x ∼ Geom(θ)

P(X > m + n | X > m) = P(X > n)

Esp negativa

x ∼ Expeq (θ) ∼ Gamma (1,θ)

P(X > τ + u | X > τ) = P(X > u)

P(X > a) = ∫_t^∞ e^-θa

Funzione generatrice

G_X(t) = E[e^tx] ∀ t ∈ ]-δ,δ[ δ > 0

Momento r-esimo: derivo r volte, t = 0 G_X^(r)(0) = E(x^r)

Discrete → G_x(t) = Σ_x∊Sn e^tx f_x(x)

Continue → G_x(t) = ∫_-∞^+∞ e^tx f_x(x) dx

x⊞y

G_x+y(t) = G_x(t) G_y(t)

Y = a + bX → G_a+bx(t) = e^at G_x(bt)

Proprietà riproduttive

Bin(m,θ) + Bin(m,θ) ∼ Bin(m+m,θ)

Pois(λ) + Pois(μ) ∼ Pois(λ + μ)

Somma di m Poisson S_m = Σ^m_i=1 X_i : ∼ Pois (Σ^m_i=1 λ_i)

Gamma (x,θ) + Gamma (β,θ) ∼ Gamma (x+β,θ)

x²_g + x²_h ∼ x²_g+h

a⋅N(μ,σ²) + b⋅N(ν,ε²) ∼ N(aμ+bν, a²σ² + b²ε²)

Somma di m v.c. normali S_m = Σ^m_i=1 a_i⋅X_i

S_m ∼ N (Σ^m_i=1 a_iμ_i, Σ^m_i=1 a²_iσ²_i)

(a,b) ≠ (0,0)

Legge degli eventi rari: bin → Poisson

X_m ∼ Binomiale (m, θ) ^d→ X ∼ Poisson (λ)

F_Xm(x) è continua in:

BIN tutto tranne pochi punti

POISSON in ℝ-ℕ op. di discont.

λ = θm

Θ = ^λ⁄_m << 1

m > 0

Legge dei grandi numeri

{X_k} k∈ℕ succ di v.c. i.i.d. X v.c.

E(X) = μ Var(X) = σ_X²

X̅_m = ^Σ⁄_mX_m → P → μ

Dimostrazione

E(X̅_m) = E(^Σ⁄_mX_m) ^{lim i.i.d.}→ μ = μ

Var(X̅_m) = Var(^Σ⁄_mX_m) ^{iid = 1/m2 Σ}Var(x) = ^mσ2⁄_m² = ^σ2⁄_m

Applico la disuguaglianza di Chebyshev:

∀ε > 0 P(|X̅_m−μ| < ε) ≥ 1 − ^σ2⁄_ε²

⇒ 1 ≥ 1 P(|X̅_m−μ| < ε) ≥ 1 − ^σ₂⁄_mε²

⇒ lim P(|X̅_m−μ| < ε) = 1

X̅_m P → μ

Markov

Y ≥ 0 E(Y) = μY

P(Y ≥ ε) ≤ ^μY⁄_ε ∀ε > 0

Chebyschev

X v.c. E(X) = μ Var(X) = σ² > 0

P(|X−μ| < ε) ≥ 1 − ^σ2⁄_ε² ∀ε > 0

Convergenza in probabilità

X v.c ∫X_k|k∈N → ∀ε>0 lim P(|X_m-X|<ε) = 1

⇒X_{m P} → X(m→∞ X_m⎯⎯X)

Convergenza in distribuzione

X v.c. ∫X_m|m∈N → ∀x in cui F_X(x) è continua lim F_Xm(x) = F_X(x)

Xm _d → X

Relazione tra le 2 convergenze:

Se c'è convergenza in probabilità, c'è anche in distribuzione ma non vale il viceversa.

X_{m P} → X ⇒ X_{m d} → X

Processo di Bernoulli

X_m ≃ Bernoulli (Θ) i.i.d.

0<Θ<1

X_m⎯X_{i vm}

X_{m d} → ?

lim F_Xm(x) = lim (P(X_m ≤ x))= lim P(X₁ ≤ x) = F_X(x)

ma c'è nullà in m

⇒ X_{m d} → X₁ ma X₁⎯X₂⎯...

quindi converge in distribuzione con qualsiasi v.c. X₁,X₂,...

X_{m P} → ?

lim P(|X_m-X|<ε) = lim P(|X_m-X₁|<ε) | X_m-X₁|∈{0,1}

Dato che X_m⎯ X₂ => P(|X_m-X₁| = 0)= P(X₁=0,X_m=0) + P(X₁=1,X_m=1)= (1-Θ)² + Θ²

lim (1-Θ)² + Θ² = (1-Θ)² + Θ² = 1 se Θ = 0 o Θ = 1

≠ 1 se 0 < Θ < 1

⇒ siccome Θ è compreso tra 0 e 1 escluso: non sarà mai = 1

⇒ non c'è conv_P in prob ne per X₂ ne per le altre che vanno conv. in distrib.