Appunti di Inferenza statistica e teoria dell'Informazione

Formattazione del testo

X Xx→−∞ x→+∞ˆ F (x) è un funzione non decrescente in x.Xˆ F (x) è continua a destra, ossia, per ogni x , lim F (x) = F (x ).X X 0X 0 −x→x o2.4.1 Variabili aleatorie continue e discreteDefinizione: Una variabile aleatoria X è continua se F (x) è una funzioneXcontinua di x, mentre è detta discreta se F (x) è una funzione a salti di x.X2.4.2 Variabili aleatorie identicamente distribuiteDefinizione: Le variabili aleatorie X ed Y sono identicamente distribuite se,∈ ∈ ∈per ogni set A B, P (X A) = P (Y A)Teorema (2.9): Sia X ed Y due variabili aleatorie, le due definizioni sonoequivalenti:ˆ X ed Y sono identicamente distribuite.ˆ F (x) = F (x) per ogni x.X Y 142.5 Le funzioni di densità e di massa2.5.1 Funzione di massaDefinizione: Sia X una variabile aleatoria discreta, la funzione di massa diprobabilità (o PMF) è definita come:f (x) = P (X = x) per ogni xXTeorema (2.10): Una funzione f (x) è una PMF di una

Usare tale funzione per effettuare una mappatura inversa come segue: X^-1 {x ∈ g (y) = : g(x) = y}

Se la variabile aleatoria Y è ora definita da Y = g(X), possiamo allora dire che per ogni set A Y si ha: ∈ ∈ P (Y A) = P (g(X) A) = X∈ ∈ P ({x : g(x) A}) = X^-1 P (X g (A))

Ciò definisce la distribuzione di probabilità di Y. Una cosa importante da dire è che se X è una variabile aleatoria discreta, allora lo è pure Y; inoltre, la PMF e la CDF di Y sono: X X ∈ f (y) = P (Y = y) = P (X = x) = f (x) per ogni y Y Y X^{-1 -1} x∈g (y) x∈g (y) X X ≤ ∈ F (y) = P (Y y) = f (x) per ogni y Y Y X^-1 ≤ y Y x∈g (y) 16

Caso analogo lo si ha se X è una variabile aleatoria continua, per cui anche Y lo è; in questo caso la CDF di Y è: ≤F (y) = P (Y y) = Y ≤= P (g(X) y) = X∈ ≤= P ({x : g(x) y}) = Z ∈= f (x) dx per ogni y Y X{x∈X:g(x)≤y}

Mentre la PMF è pari alla derivata della CDF. In alcuni

casi però non è facile trovare la PMF e la CDF di una variabile aleatoria continua. X {x

Teorema (3.1): Sia X una variabile aleatoria con CDF F (x), e siano = :X{y ∈f (x) > 0} e y = : y = g(x) per qualche x X}, allora la CDF di Y è definitaXcome segue: X, Y.ˆ −1 ∈Se g è una funzione crescente su F (y) = F (g (y)) per yY XX, Y.ˆ −1− ∈Se g è una funzione decrescente su F (y) = 1 F (g (y)) per yY XTeorema (3.2): Sia X una variabile aleatoria con PMF d (x), e sia g una funzioneXX {x {y ∈monotona. Siano = : f (x) > 0} e y = : y = g(x) per qualche x X}.X X Y.−1Suppiniamo che f (x) sia continua su e g (y) ha una derivata continua inXAllora la PDF di Y è data da: d Y−1−1 ∈g (y)| se yf (g (y))| X dyf (y) =Y 0 altrimentiÈ importante dire che, nel caso in cui g non sia nè crescente monotona nè decrescentemonotona, i due teoremi sopra non sono applicabili. È però possibile suddividere lafunzione in

sottointervalli in cui è monotona, e usarli per trovare un'espressione per Y = g(X)

Teorema (3.3): Sia X una variabile aleatoria con PMF d (x), e sia g una funzione

X → Y tale che:

• f (x) > 0 per ogni x in X
• y = g(x) per qualche x in X

Supponiamo che esista una partizione A1, A2, ..., Ak di X tale che f (x) è continua

su ogni Ai. Inoltre, supponiamo esistano le funzioni g1(x), g2(x), ..., gk(x) definite

su Ai rispettivamente, e che per ogni i compreso tra 1 e k soddisfano:

• g(x) = gi(x) per x in Ai
• gi(x) è monotona su Ai

L'insieme Y = {y ∈ Y : y = g(x) per qualche x in Ai} è lo stesso.

La funzione di densità di Y, f(y), è data da:

f(y) = ∑[i=1 to k] dX(gi(y)) * |(d(gi(y))/dy)|

Teorema (3.4): Sia X una variabile aleatoria con CDF F(x) continua, e sia

definita la variabile aleatoria Y = F(X). Allora Y è uniformemente distribuita su

(0, 1).

Indicata con M(t), è pari a: tXM(t) = ∫ txe f(x) dx se X è continua X M(t) = ∑ txe P(X = x) se X è discreta x ∈ T Teorema (3.7): Sia X una variabile aleatoria, e siano a, b allora: M(at+b) = e^(at)M(t) Teorema (3.7): Se X ha MGF M(t), allora: E[X^n] = M^(n)(0) Dove definiamo: nd(n) M(0) = M(t)|X t=0 X Teorema (3.8): Siano F(x) e F(y) due CDF i cui momenti esistono, allora: E[X^r] = E[Y^r] per ogni r se e solo se E[X^r] = E[Y^r] per tutti gli interi r ≥ 0. Se X e Y hanno un intervallo delimitato in cui non si annullano, allora: F(u) = F(u) per ogni u se e solo se E[X^r] = E[Y^r] per tutti gli interi r ≥ 0. Se le MGF esistono e M(t) = M(t) per tutte le t in qualche vicinato di 0, allora F(u) = F(u) per ogni u. Teorema (3.9): Siano una sequenza di variabili aleatorie, ognuna con MGF M(t). Supponiamo inoltre

che:Xi lim M (t) = M (t) per ogni t in un vicinato di 0X Xit→∞E M (t) è una MGF. Allora esiste un’unica CDF F (x) i cui momenti sonoX Xdeterminati da M (t) e, per tutte le x dove F (x) è continua, abbiamo:X Xlim F (x) = F (x)X Xit→∞Ossia la convergenza di tutte le MGF in un’unica implica la convergenza di tuttele CDF in un’unica. 20Capitolo 4Famiglie comuni di distribuzioni4.1 Le distribuzioni discrete4.1.1 Distribuzione uniformeLa distribuzione uniforme è una distribuzione di probabilità discreta che descrivela probabilià di estrarre un certo elemento in un insieme di di n elementi.Definizione ∈Una variabile aleatoria X ha distribuzione uniforme se, preso n si ha che:N,1 ∈per ogni k [1, n]P (X = k) = n∼In questo casi si scriverà che X UNIF(n).MediaLa media di una variabile aleatoria X con distribuzione uniforme è pari a:nX= xP (X = k) =E[X] k=1n 1X= x =nk=1 n1 X= k =n k=11 n(n + 1) n +1= =n 2 221VarianzaLa varianza