Appunti schematici - Calcolo della probabilità

σ-ALGBRA

famiglia di tutti gli eventi di interesse

B ⊆ P(Ω)

• ∅ ∈ B
• ∀ A ∈ B: A = {ω ∈ Ω, ω ∉ A} ∈ B
• ∀ A_m ⊆ B: ∪ A_m = {ω ∈ Ω, ∃ m : ω ∈ A_m} ∈ B

KOLMOGOROV

P : B ➔ R

• P(Ω) = 1
• ∀ A ∈ B, P(A) > 0
• fam_m∈N ⊆ B famiglia di B discreta e disgiuntiva, ∀ i, j i ≠ j : A_i ∩ A_j = ∅
• ⇒ P(∪_m A_m) = ∑_m P(A_m)

FORMULE

A ∩ B = A ∪ B e A ∪ B = A ∩ B Leggi di de Morgan

P(A − B) = P(A) − P(A ∩ B) = P(A ∩ B)

P(A ∪ B) = P(A) + P(B) − P(A ∩ B) ≤ P(A) + P(B)

P(B) = 1 − P(B)

P(A ∩ B) = P(A) − P(A − B) ≥ P(A) + P(B) − 1

Incompatibilità ⇔ A ∩ B = ∅ = P(A ∩ B) = 0 ⎫

⊎ P(A), P(B) > 0

⊎ ↤ o l'uno o l'altro

Indipendenza ⇔ P(A ∩ B) = P(A) P(B) ⎭

LEGGE PROBABILITA' COMPOSTA:

P(A ∩ B) = P(A | B) · P(B) ➔ P(A | B) = P(A ∩ B) / P(B)

LEGGE DELLE ALTERNATIVE:

Evento E ∈ B, {C_m | C_m B famiglia discreta e disgiuntiva

P(C_m) > 0 e E ∈ ∪ C_m effetto ricondurre ad almeno 1 delle cause ⎤

⇒ P(E) = ∑_m P(E | C_m) P(C_m) ⎵ E = E ∩ (∪ C_m) = ∪ (E ∩ C_m)

P(∪_m(E ∩ C_m)) = K3, LPC

TEOREMA DI BAYES:

Stesse ipotesi scritte sopra + P (E) > 0 x trovare la causa + probabile che ha generato quell'effetto

⇒ ∀ m P(C_m | E) = P(E | C_m) P(C_m) / ∑_m P(E | C_m) P(C_m)

Dimostrato applicando LPC, L.A.

σ-ALGEBRA famiglia di tutti gli eventi di interesse

⊆ (Ω) ・Ω∈

• ∀A∈: Ā={ω∈Ω, ω∉A}∈
• ∀ Am⊆: ⋃Am={ω∈Ω,∃m: ω∈Am}∈

KOLMOGOROV

: →ℝ

• (Ω) = 1
• ∀A∈ , (A) > 0

⇒ famiglia di B discreta e disgi.

• ∀ Am∩Am∩ ⊆ ∀i,j i≠j: Ai∩Aj = ∅

⇒( ⋃mAm) = ∑m(Am)

FORMULE

A∩B = A̅∪B̅ e A∪B = A̅∩B̅ Leggi di de Morgan

(A−B) = (A)−(A∩B) = (A∩B̅)

(A∪B) = (A) + (B) − (A∩B) ≤ (A)+(B)

(B̅) = 1−(B)

(A∩B̅) = (A)−(A−B) ≥ (A)+(B)−1

Incompatibilità ⇔ A∩B = ∅ =⇒ (A∩B) = 0

Il indipendenza

(A∩B) = (A)(B)

LEGGE PROBABILITÀ COMPOSTA

(A∩B) = (A|B)・(B) ⇒ (A|B) = (A∩B)/(B)

LEGGE DELLE ALTERNATIVE

Evento E∈ , {Cm}⊆ famiglia discreta e disgiunta

(Cm) >0 E∈ ⋃Cm effetto riacchusc. ad almeno 1 delle cause

⇒(E) = ∑m(E|Cm)(Cm)

E = E∩( ⋃ Cm) = ⋃ (E∩Cm)

( ⋃ (E∩Cm)) = K3, LPC

TEOREMA DI BAYES

Stesse ipotesi scritte sopra +(E)>0

⇒ ∀m (Cm|E) = (E|Cm)(Cm)/∑m(E|Cm)(Cm)

Per trovare la causa + probabile che ha generato quell’effetto

Dimostrato applicando LPC, L.A.

VARIABILI CASUALI: GENERALE

F_X(x) = P(X ≤ x)

• a -∞ = 0
• a +∞ = 1

P(a ≤ x ≤ b) = F_X(b) - F_X(a)

QUANTILE DI ORDINE x: P(X < x_α) ≤ x ≤ P(X ≤ x_α)

DISCRETE

f_X(x) = P(x = x)

• > 0 x ∈ S_X
• = 0 x ∉ S_X

S_X FINITO

P(X) = 1 x ∈ S_X

F_X(x) = P(X ≤ x) = ∑_k≤x f_X(k)

E(g(x)) = ∑_SX g(x) f_X(x)

CONTINUE

P(X = x) = 0 ∀x∈ℝ

f_X(x) = F'_X(x)

F_X(x) = P(X ≤ x) = ∫_-∞^x f_X(t)dt

S_X = {x∈ℝ, f_X(x)>0}

QUANTILE : P(X ≤ x_α) = α = F_X(x_α)

E(g(x)) = ∫_-∞^∞ g(x)f_X(x) dx

Varianza in generale: Var (X) = E[(x-μ_X)²]

Proprietà valore atteso/varianza:

• E(ax+b) = aE(x) + b
• Var (ax+b) = a² Var (x)

2 VARIABILI: VARIANZA e COVARIANZA

Cov(X,Y) = E[(x-μ_X)(y-μ_Y)] = E (XY) - E(X)E(Y)

BILINEARITÀ Cov(ax + bY, z) = a Cov(X, Z) + b Cov(Y,Z)

dimostrato con le proprietà del valore atteso

Var (ax + bY) = a² Var (X) + 2ab Cov (X,Y) + b² Var (Y)

X⊥Y → Cov(X,Y) = 0 incorrelazione

E(XY) = E(X)E(Y)

Var (aX + bY) = a² Var (X) + b² Var (Y)

VARIABILI CASUALI BIDIMENSIONALI

F_XY(x,y) = P(X ≤ x, Y ≤ y)

X ~ Y → F_XY(x) = F_Y(x)

X ⊥⊥ Y → F_XY(x,y) = F_X · F_Y

F_X(x) = lim _x→∞ F_XY(x,y)

F_Y(y) = lim _y→∞ F_XY(x,y)

DISCRETE

F_XY(x,y) = ∑_{s≤x, t≤y} f_XY(s,t)

f_XY(x,y) = P(x=X, y=Y) > 0

marginali:

f_X(x) = ∑_t∈SY f_XY(x,t)

f_Y(y) = ∑_s∈SX f_XY(x,t)

condizionate:

f_Y|X=x = ^f_XY(x,y)/_fX(x)

f_X|Y=y = ^f_XY(x,y)/_fY(y)

E(g(x,y)) = ∑_x ∑_y g(x,y)f_XY

E(ax + bY) = a E(x) + b E(y)

X ⊥⊥ Y → F_XY = F_X(x) F_Y(y)

f_XY(x,y) = f_X(x) f_Y(y)

f_Y|X = f_Y(y)

f_X|Y = f_X(x)

CONTINUE

F_XY(x,y) = ∫∫ f_XY(s,t) ds dt

f_xy(x,y) > 0

∫∫ f_XY(s,t) dsdt = 1

marginali:

f_X(x) = ∫_-∞^∞ f_XY(s,t) dt

F_X(x) = ∫_-∞^∞ f_X(·) ds

...

condizionate:

E(g(x,y)) = ∫_-∞^∞∫_-∞^∞ g(x,y)f_xy dxdy

RETTA DI REGRESSIONE

legame X̅ Y̅E(X) = μ_X E(Y) = μ_Y var(X) = σ_χ² var(Y) = σ_Y² Cov(x, y) = σ_xyL = λX + K richiesta de l'errore di approssimazione in media sia 0E(Y - L) = 0 ⟹ E(Y) = E(L)

E(Y) = E(L) = λE(X) + K ⟹ K = μ_Y - λμ_X ⟹ L = λX - λμ_X + μ_Y

minimizzare errore quadrattico medioe(λ) = E[(Y - L)²](≥ 0) = λ²σ_χ² - 2 λ σ_xy + σ_Y²

ricavo λ* per cui e'(λ*) = 0 ⟹ λ* = ^σ_xy/_σχ² è un minimo e non un max perché e''(λ) > 0

⟹ L = ^σ_xy/_σχ² (X - μ_X) + μ_Y

Var(L) = ^σ_xy2/_σχ² VARIANZA SPIEGATA

DISUGUAGLIANZA DI CAUCHY-SCHWARZ

Essendo e(λ*) > 0 ⟹ σ_xy² ≤ σ_χ² σ_Y²|σ_xy| ≤ σ_χσ_Y

dimostrazionee(λ*) = (^σ_xy/_σχ²)²σ_χ² - 2 (^σ_xy/_σχ²)σ_xy + σ_Y² == σ_y² - ^σ_xy2/_σχ² > 0 ...

COEFFICIENTI

correlazione lineare ρ_xy = ^σ_xy/_σχσY misura depend. lineare x, ydeterminazione lineare ρ_xy² = ^σ_xy2/_σχ²σY² indice normalizzato

_Var(L)/_{Var (Y)} = 0 INCORRELAZIONE σ_xy = 0= 1 DIPEND. LIN. PERF e(λ*)= 0 Y= L

REGRESSIONE

Riscavo L = ρ_XY^σ_Y/_σχ (X - μ_X) + μ_Y ⟹ se c'è dip. lin perf.:ρ_xy = ±1 ⟹ ρ_xy = +1 ⟹ L = Ỹ ⟹ |Y - μ_Y| ≤ |_{X - μX}|- σ_Y² ≤ σ_χ²

Riduzione varianza da Y a XRiduizione scostamento V.C. dalle medie ⟹ regress. verso la media

BERNOULLI

Bern()fᵪ(x) = ˣ (1-)¹ ⁻ ˣSₓ = {0,1}E(x) = Var(x) = (1-)Gₓ(t) = 1 + (eᵗ-1)

BINOMIALE

Bin(m,)fᵪ(x) = (m ᵧ̄ )(ˣ(1-)ᵐ⁻ˣ)Sₓ = {0,...,m}E(x) = m Var(x) = m(1-)Gₓ(t) = [1 + (eᵗ-1)]ᵐ

POISSON

Poiss(λ)fᵪ(x) = e⁻ˡ λˣ/x!Sₓ = {0,...,m}E(x) = λ Var(x) = λGₓ(t) = e^(λ(eᵗ-1))

GEOMETRICA

Geom()fᵪ(x) = (1-)ˣSₓ = ℕE(x) = 1- / Var(x) = 1- / ²P(X > m/m) = (1-)ᵐ

IPERGEOMETRICA

Iperg(m,N,K)fᵪ(x) = ((k ᵧ̄ )(N-K x) / (M m) )E(x) = mθ Var(x) = mθ(1-θ) N-m / N-1

TRINOMIALE

Tri(m,₁,₂)fᵪᵧ(x,y) = (m g x g m-x-y) θ₁̆ θ₂̆(1-₁-₂)ᵐ⁻ˣ⁻ʸCov(x,y) = -m₁₂

GAMMA

Gamma(,)fᵪ(x) = ˣ / Γ() xᵅ⁻¹ eˣ\\E(x) = Var(x) = / ²

EXP NEG

Gamma(1,)∼Ex()P(x > x) = eˣ\\fᵪ(x) = eˣˉᵃ

CHI-QUADRATO

χ²∼Gamma( / 2, 1/2)

UNIFORME CONT

UC(0,1) a xfᵪ(x) = 1 / b-a

NORMALE ST

Z∼N(0,1)fᵪ(z) = 1 / 2π e(ˍⁱ⁻²/²)

NORMALE GENE

X∼N(μ,σ²)Φ (z) = ∫ e(dxˉμ²/2σ²)

ASSENZA DI MEMORIA

GEOMETRICA x ∼ Geom(θ)

P(X > m + n | X > m) = P(X > n)

ESP NEGATIVA x ∼ Expeq (θ) ∼ Gamma (1,θ)

P(X > τ + u | X > τ) = P(X > u)

P(X > a) = ∫_t^∞ e^-θa

FUNZIONE GENERATRICE

G_X(t) = E[e^tx] ∀ t ∈ ]-δ,δ[ δ > 0

MOMENTO R-ESIMO: derivo r volte, t = 0 G_X^(r)(0) = E(x^r)

DISCRETE → G_x(t) = Σ_x∊Sn e^tx f_x(x)

CONTINUE → G_x(t) = ∫_-∞^+∞ e^tx f_x(x) dx

x⊞y

G_x+y(t) = G_x(t) G_y(t)

Y = a + bX → G_a+bx(t) = e^at G_x(bt)

PROPRIETÀ RIPRODUTTIVE

Bin(m,θ) + Bin(m,θ) ∼ Bin(m+m,θ)

Pois(λ) + Pois(μ) ∼ Pois(λ + μ)

SOMMA DI m Poisson S_m = Σ^m_i=1 X_i : ∼ Pois (Σ^m_i=1 λ_i)

Gamma (x,θ) + Gamma (β,θ) ∼ Gamma (x+β,θ)

x²_g + x²_h ∼ x²_g+h

a⋅N(μ,σ²) + b⋅N(ν,ε²) ∼ N(aμ+bν, a²σ² + b²ε²)

SOMMA DI m v.c. NORMALI S_m = Σ^m_i=1 a_i⋅X_i

S_m ∼ N (Σ^m_i=1 a_iμ_i, Σ^m_i=1 a²_iσ²_i)

(a,b) ≠ (0,0)

Legge degli eventi rari: BIN → Poisson

X_m ∼ Binomiale (m, θ) ^d→ X ∼ Poisson (λ)

F_Xm(x) è continua in:

• BIN tutto tranne pochi punti
• POISSON in ℝ-ℕ op. di discont.

λ = θm

Θ = ^λ⁄_m << 1

m > 0

Legge dei grandi numeri

{X_k} k∈ℕ succ di v.c. i.i.d. X v.c.

E(X) = μ Var(X) = σ_X²

X̅_m = ^Σ⁄_mX_m → P → μ

Dimostrazione

E(X̅_m) = E(^Σ⁄_mX_m) ^{lim i.i.d.}→ μ = μ

Var(X̅_m) = Var(^Σ⁄_mX_m) ^{iid = 1/m2 Σ}Var(x) = ^mσ2⁄_m² = ^σ2⁄_m

Applico la disuguaglianza di Chebyshev:

∀ε > 0 P(|X̅_m−μ| < ε) ≥ 1 − ^σ2⁄_ε²

⇒ 1 ≥ 1 P(|X̅_m−μ| < ε) ≥ 1 − ^σ₂⁄_mε²

⇒ lim P(|X̅_m−μ| < ε) = 1

X̅_m P → μ

Markov

Y ≥ 0 E(Y) = μY

P(Y ≥ ε) ≤ ^μY⁄_ε ∀ε > 0

Chebyschev

X v.c. E(X) = μ Var(X) = σ² > 0

P(|X−μ| < ε) ≥ 1 − ^σ2⁄_ε² ∀ε > 0

Convergenza in probabilità

X v.c ∫X_k|k∈N → ∀ε>0 lim P(|X_m-X|<ε) = 1

⇒X_{m P} → X

(m→∞ X_m⎯⎯X)

Convergenza in distribuzione

X v.c. ∫X_m|m∈N → ∀x in cui F_X(x) è continua lim F_Xm(x) = F_X(x)

Xm _d → X

Relazione tra le 2 convergenze:

Se c'è convergenza in probabilità, c'è anche in distribuzione ma non vale il viceversa. X_{m P} → X ⇒ X_{m d} → X

Processo di Bernoulli:

X_m ≃ Bernoulli (Θ) i.i.d.

0<Θ<1

X_m⎯X_{i vm}

X_{m d} → ?

lim F_Xm(x) = lim (P(X_m ≤ x))

= lim P(X₁ ≤ x) = F_X(x)

ma c'è nullà in m

⇒ X_{m d} → X₁ ma X₁⎯X₂⎯...

quindi converge in distribuzione con qualsiasi v.c. X₁,X₂,...

X_{m P} → ?

lim P(|X_m-X|<ε) = lim P(|X_m-X₁|<ε) | X_m-X₁|∈{0,1}

Dato che X_m⎯ X₂ => P(|X_m-X₁| = 0)

= P(X₁=0,X_m=0) + P(X₁=1,X_m=1)

= (1-Θ)² + Θ²

lim (1-Θ)² + Θ² = (1-Θ)² + Θ² = 1 se Θ = 0 o Θ = 1

≠ 1 se 0 < Θ < 1

⇒ siccome Θ è compreso tra 0 e 1 escluso: non sarà mai = 1

⇒ non c'è conv_P in prob ne per X₂ ne per le altre che vanno conv. in distrib.