Che materia stai cercando?

Anteprima

ESTRATTO DOCUMENTO

 ( )

 +

n a b

+ 

      

a b a b n ( ) −

n x

≈ − ∈

x 1 con

p p x

      

x n x n x

        a

 =

p +

 a b

CAPITOLO IV - Spazi di probabilità e Calcolo delle probabilità

β ⊆℘

( S ) ( S )

è l’insieme della parti se:

Algebra booleana:

( ) ( ) ( ) ( )

β β β β

∀ ∈ ⇒ ∈ ∀ ∈ ⇒ ∪ ∈

A S A S A

, B S A B S

; c

∪, ∩,

cioè è chiuso rispetto a .

un qualsiasi valore reale non negativo associato ad ogni insieme con:

Misura: ( ) ( ) ( ) ( ) ( )

∩ = ∅ ⇒ ∪ = + ⊆ ⇒ ≤

A B m A B m A m B B A m B m A

σ-algebra

si passa alla passando all’unione di infiniti sottoinsiemi. E’ formato da:

Spazi di probabilità:

1)S = insieme o spazio campionario (i possibili risultati;

2)℘(S) = insieme delle parti di S;

3)p = probabilità;

misura di massa totale pari a 1.

Probabilità: ( ) ( ) ( )

= ⋅ (vedi “Variabili random indipendenti”)

Eventi indipendenti: P AB P A P B con A

, B eventi

( ) ( ) ( ) ( )

= + + + = + + +

Eventi disgiunti o mutuamente esclusivi: P S P a P a ... P a con S a a ... a

n 1 2 n n 1 2 n

ripetizioni indipendenti di un esperimento che dà luogo a due soli possibili risultati

Prove di Bernoulli:

(con reimmissione) s (success) ed f (failure). La probabilità di ottenere esattamente x successi in n prove

di Bernoulli è data dalla binomiale b(n, p).

probabilità di A dato (che si è verificato) B:

Probabilità condizionata:

( )

P AB

( ) ( )

= ≠

P A | B con P B 0

( )

P B ( ) ( ) ( ) ( ) ( )

= = =

Regola di Bayes: P AB P A | B P B P B | A P A essendo AB BA

Ogni evento B può essere scritto come unione di k eventi mutuamente esclusivi con:

φ

∩ =

= ∪ ∪ ∪ ≠

; ; ;

A A

S A A ... A i j

i j

1 2 k k

( ) ( ) ( ) ( ) ( ) ( )

= ∪ ∪ ∪ ⇔ =

B BA BA ... BA P B P B | A P A

k i i

1 2 =

i 1 ( ) ( )

( ) ( )

( ) P B | A P A

P BA P B | A P A i i

( ) = = =

i i i

Teorema di Bayes: P A | B ( )

( )

i k    

P B P B ∑ P B | A P A

   

j j

   

=

1

j

esperimenti dipendenti, poiché l’output dipende dall’input:

Binary symmetric channel:

( ) ( ) ε

 = =

P 1 | 0 P 0 |1

O i O i

Distorsione del segnale  ( ) ( ) ε

= = −

P 1 |1 P 0 | 0 1

 O i O i

∑ ∑

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

ε ε ε ε

= = = + = − + − = + −

P 1 P 1 , j P 1 | j P j P 1 | 0 P 0 P 1 |1 P 1 1 p 1 p p 2 p

o o o o i i o i i

∈ ∈

j I j I

∑ ∑

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( )

ε ε ε ε

= = = + = − − + = − − +

P 0 P 0 , j P 0 | j P j P 0 | 0 P 0 P 0 |1 P 1 1 1 p p 1 p 2 p

o o o o i i o i i

∈ ∈

j I j I ( ) ( ) ( ) ( )

( ) ε ε

− −

P 1 ,1 P 1 |1 P 1 1 p 1 p

( ) = = = =

i o o i i

P 1 |1 ( )

( ) ε ε

i o + −

1 1 2

P P q p p

o o 3

CAPITOLO V – Variabile aleatoria discreta

funzione.

Variabile aleatoria: gode delle proprietà delle probabilità:

Funzione di probabilità:

( ) ( )

= = = ∀ ∈

f x P X x p x R

i x

( )

∈ =

i X x è la v.a. che assume valore se l’evento A si avvera e 0 in caso contrario:

Funzione indicatrice di A: X 1

A

= = = = = =

;

(1) ( 1) ( )

f P X P A f (0) P ( X 0) P ( A

)

A A ≤

distribuzione di probabilità dell’vento x t:

Funzione Cumulativa o di ripartizione:

−∞ ≤ ≤ ∞

t

( ) ( ) ( ) ( )

= ≤ = −∞ =

con 0

F t P X t f x F

x t ( )

+∞ = 1

F

( ) ( ) ( ) ( )

{ }

= = = ≤ − ≤ = ≤ − ≤ = −

P X x P (X x ) ( X x ) P X x P X x F(x ) F(x )

f x −1

i i i i− 1 i i− 1 i i

una funzione a valori reali y=h(X) di una v.a. X è una v.a. con distribuzione:

Funzioni composte:

( ) ( )

=

g y f x

=

: ( )

x h x y

Tempi di attesa nelle prove di Bernoulli:  

n

( ) ( ) −

n x

= = − =

≡ ⇒ x

X n° di successi nelle prime n prove 1 con 0, 1, ... ,

P X x p p x n

 

n n x

 

 

n 1

( ) ( ) −

n x

= = − = +

≡ ⇒ x

N n° di prove per x successi P N n p 1 p con n x , x 1, ...

 

x x −

x 1

 

x

) )

( (

= = = ;

P N n P X x ) )

( (

> = <

P N n P X x

x n

n x n se è una v.a. che segue una legge geometrica di

X

Mancanza di memoria nella legge geometrica:

vale la relazione:

parametro p ∞ ∞ ∞

∑ ∑ ∑

≥ = − = − − = − − = −

n k n k k l k

( ) (1 ) (1 ) (1 ) (1 ) (1 ) (1 )

P X k p p p p p p p p p

= = = 0

n k n k l +

= + ≥ = + − k m

P ( X k m

, X k ) P ( X k m ) p (1 p )

= + ≥ = = = = − = =

m

P X k m X k p p P X m

( | ) (1 ) ( )

≥ ≥ − k

P X k P X k p

( ) ( ) (1 )

= + > = − = + − − > − = − = + − − ≥ =

P ( N k m | N k ) P ( N 1 k m 1 | N 1 k 1

) P ( N 1 k m 1 | N 1 k )

1 1 1 1 1 1

− = − = =

P ( N 1 m 1) P ( N m

)

1 1 estrazioni non indipendenti, senza

Tempi di attesa nel semplice campionamento random:

reimmissione: +

      

n a b a b

( ) ( )

( ) ( ) ( )

n

x n x

= = + =

P X x a b a b

      

n −

x x n x n

      

 

1

n

x

) ) ) )

( ( ( (

( )

( ) ( ) ( )

n

x n x

= = = = + > = <

;

P N n P X x a b a b

Come prove Bernoulli.: P N n P X x

  x n

x n − 1

x

n  

o legge degli eventi rari:

Distribuzione di Poisson:

µ x

x

( ) µ

=

f x e con  µ +

∈ =

x ! media della distrbuzione

 ( ) µ

f x =

Formula di ricorrenza: ( )

f x 1 x µ

di parametro =np:

Approssimazione di Poisson alla Binomiale: 4

µ

 

n x

( ) −

n x µ

⇒ ⇔ − ≈

x

n p n np p p e

1

 

x x !

 

Distribuzioni bivariate – Congiunta, Marginale e Condizionale:

( ) ( )

= = = ∈ ∈

Funzione probabilità di X e Y:

congiunta f x , y P X x , Y y con x R , y R

x y

 

∪ ∪

= = = ∩ = = ∩ = = = ∩ = ⇔

( ) ( ) ( ) ( ) ( ) ( )

X x X x S X x Y y X x Y y

 

i i

 

i i

{ } ∑ ∑

⇔ = = = = ∩ = = = = =

f ( x ) P ( X x ) P ( X x ) (

Y y ) P ( X x , Y y ) f ( x , y )

∪ i

1 i

i ∈

i y R y

∑ ∑

( ) ( ) ( ) ( )

=

f x f x , y =

di X e Y: ; f y f x , y

Funzione probabilità marginale 1 2

y R ∈

x R

y x

( ) ( )

( )

= =

P Y y , X x f x , y f x , y

( ) ( ) ( )

= = = = ⇔ = = = =

P Y y | X x f y | x P Y y | X x

( ) ( )

( ) 2

=

P X x f x f x

1 1

Funzione probabilità (di Y condizionato ad X=x) è:

condizionale

( ) ( ) ∈

 y R

= =

P Y y X x f x y

, , 

( ) ( ) ( ) ( ) y

= = ⇔ =

f y x f x y f y x f x

| , | con 

( ) ( ) ( )

2 2 1

= ≠

P X x f x f x 0



1 1

( )

f x

1

∑ ∑

( ) ( )

= = =

1

N.B.: f y x f y x

| , 1

( ) ( )

2 f x f x

∈ ∈

y R y R

1 1

y y per definizione gli eventi (X=x) e (Y=y) sono indipendenti se e solo se:

Variabili random indipendenti: ( ) ( ) ( )

 = ⋅

f x , y f x f y

( ) ( ) ( ) 1 2

= = = = ⋅ = ⇔

P Y y , X x P X x P Y y  ( ) ( )

=

f y | x f y

 2 2 ∀ ∈ ∀ ∈

x R y R

Due v.a. X e Y sono indipendenti se l’equazione di prima è vera ,

x y

date due v.a. X e Y con distribuzioni ed

Legge della somma di due variabili o Convoluzione: ( )

f x

1

= +

f y Z X Y

( ) , si vuole trovale la legge . La probabilità dell’evento si può scrivere come:

2   ∑ ∑

= = = + = = = ∩ = − = = = − = −

g z P Z z P X Y z P X i Y z i P X i Y z i f i z i

( ) ( ) ( ) ( ) ( ) ( , ) ( , )

 

  i i

i ∑ ∑

= = = − = −

g z P X i P Y z i f i f z i

( ) ( ) ( ) ( ) ( )

Se le v.a. sono indipendenti si ha: 1 2

i i

sono variabili random indipendenti con la

Variabili indipendenti e identicamente distribuite IID:

stessa distribuzione di probabilità marginale; la distribuzione di probabilità congiunta è:

n

( ) ( )

=

f y y y f y

, , ... , n i i

1 2 =

i 1 X Y

date due v.a. indipendenti e con distribuzione poissoniana di

Somma di distruzioni poissoniane:

µ ν µ ν

Z = X+Y +

e rispettivamente, si ha che la v.a. è data da una poissoniana di media :

media

( ) µ µ 

= x

f x e x ! µ ν −

i z i

 z

∑ ∑ ∑

1 µ ν

− −

⇔ = = = + = = − = − = ⇔

g z P Z z P X Y z f i z i f i f z i e

( ) ( ) ( ) ( , ) ( ) ( )

( ) 1 2 −

ν ν

= i z i

!( )!

y

f y e y !

 = 0

i i i

2 i z

µ ν µ ν

ν µ ν µ µ ν

− − − −

    +

z z

z z z

   

z

z e e

1 1 ! 1 ( )

∑ µ ν

− +

⇔ = = ⇔ = = + = ( )

g z e

( ) 1

      

ν ν

− − i i    

i z i z i z i z z z z

!( )! ! !( )! ! ! ! !

   

= 0

i

caso generale della distribuzione binomiale:

Distribuzione Multinomiale: 5

Evento A A A tot

...

1 2 k

Pr

obabilità p p p 1

...

1 2 k

Frequenza X X X n

...

1 2 k

   

n n n !

= =

x

x x

f x x x p p p

( , , ... , ) ... con il fattore multinomiale

   

k

1 2

k k

1 2 1 2

x x x x x x

... ... x x x

! ! ... !

   

k k

1 2 1 2 k

1 2

CAPITOLO VI – Media, Varianza e Covarianza =

X R

sia una v.a. discreta con range e funzione

Aspettazione matematica o Media: {x x ...}

x 1, 2,

f X

. L’aspettazione matematica di é il numero reale definito da:

probabilità

( ) ( ) ( ) ( )

= = + + (ammesso che questa serie converga assolutamente)

E X xf x x f x x f x ...

1 1 2 2

x R

x E X

( ) rappresenta la media

Quando le probabilità vengono interpretate in termini di frequenze relative,

aritmetica dei risultati ottenuti in una lunga serie di esperimenti ripetuti e da il centro della distribuzione.

( )

U h X X h

sia una funzione della v.a. , dove é una

Aspettazione o Media di una funzione di X:

R U R

. Sappiamo che anche é una v.a.. Indichiamo con l’insieme dei

funzione a valori reali definita su x u

g

suoi possibili valori e con la sua funzione probabilità:

{ } ∑

( ) ( ) ( ) ( )

= =

E U E h X h x f x

x R

x

∑∑ ∑ ∑ ∑

( ) ( ) ( ) ( )

= = =

E X xf x y x f x y xf x

, , 1

∈ ∈ ∈

x R y R x R

x y x U non é necessario ricavare la

Il vantaggio di questo risultato é che per calcolare il valore aspettato di ( )

U h X Y

g X

,

. Tale risultato si estende al caso di più variabili random: se , dove e

funzione probabilità { } ∑ ∑

( ) ( ) ( ) ( )

= =

Y f E U E h X Y h x y f x y

sono v.a. con funzione probabilità congiunta , allora: , , ,

∈ ∈

x R y R

x y

Aspettazione di funzioni lineari:

( ) ( ) ( ) ( ) ( ) µ µ

+ = + + = + = +

;

E aX b aE X b E aX bY aE X bE Y a b

X Y

X X n X

sia una v.a. discreta con range e distribuzione di probabilità , e sia un intero

Momento r-esimo: r X f

non negativo. Il momento -esimo di (o della distribuzione ) é definito come il valore medio della

r X

potenza -esima di e sono dei numeri reali che descrivono la distribuzione di probabilità:

( ) ∑ ( )

= =

r r

m E X x f x (ammesso che la serie converga assolutamente)

r ∈

x R

x X

il primo momento è la media di e specifica la posizione del centro della distribuzione:

Media:

( )

=

m E X

1

( ) ( ) ( )

µ µ µ

= ⇒ − = − =

E X E X E X 0

µ

è il secondo momento di X- , e da la larghezza della distribuzione:

Varianza: { } ∑

( ) ( ) ( ) ( ) ( )

2 2

σ µ µ

= = − = − ≥

2

var X E X x f x con var X 0

x R

x

( ) ( )

µ

= ⇒ = =

var X 0 P X 1 ( )

σ µ

= − = −

2 2 2 2 2

E ( X ) E ( X ) E X

Un’espressione equivalente della varianza di X è data da:

la radice quadrata positiva della varianza è la deviazione standard di X che si

Deviazione standard:

σ ed é una misura dell’incertezza sul valore che la v.a. assume in relazione ad un dato

indica con

esperimento; essa descrive la larghezza o la dispersione della distribuzione di probabilità.

( )

µ σ µ σ

− +

Con la disuguaglianza di Chebyshev: gli 8/9 della probabilità sono contenuti in: 3 , 3

Varianza di una funzione lineare: 6

( ) ( ) σ σ

+ = =

2 ;

var aX b a var X a

+

aX b x

v.a. con media 0 e varianza 1:

Forma standard:

µ

X

∗ ≡

X σ

( ) µ

 

1 1

1 1 ( )

[ ]

( ) ( ) ( )

∗ µ µ ∗ = − = =

= − = − = var X var X var X 1

;

E X E X E X 0  

σ σ σ σ σ 2

 

σ µ

sia X una v.a. con deviazione standard e media finite:

Disuguaglianza di Chebyshev:

1 1

{ } { } ( )

µ σ µ σ

µ σ µ σ − +

∀ > ⇒ − ≥ ≤ = ⇒ − ≥ ≤ 3 , 3

t 0 P X t t 3 P X 3

; ;

2

t 9

momento fattoriale r-esimo g è definito con:

Momento fattoriale r-esimo: r

{ }

( ) ( )

{ ( ) ( )

} ( )

r r

= = − − + =

g E X E X X 1 ... X r 1 x f x (se la serie converga assolutamente)

r ( )

{ ( )

} ( )

{ } µ

µ 2

= − = − = −

= = = ; g E X X 1 E X E X m

g E X m 2 2

1 1

2 2 2

σ µ µ µ

= − = + −

m g

2 2

Distribuzione di Poisson:

µ µ µ

µ µ µ

− − − −

x x r y

∞ ∞ ∞

e e e

∑ ∑ ∑

µ µ µ

= = = =

r r r

g ( ) ( )

r − −

x r x r y

! ! !

= = = 0

x r x r y

{ } µ

= =

E X g 1

( ) µ µ µ

2

= + − =

X g

var 2

Distribuzione Binomiale:

− −

   

n r n r

∑ ∑

( ) ( )

( ) ( )

− −

n x n x

r r

= − = − ⇔ = − ⇒

x r x r

g n p p n p p p y x r

1 1

   

r − −

x r x r

   

 

n r

∑ ( )

( ) ( )

− −

n r y

r r

⇒ − ⇔ =

r y r

n p p p g n p

1

  r

y

  ( )

binomio di Newton - ,

b n r p

{ } = =

E X g np

1

( ) ( ) ( )

µ µ

= + − = − + − = −

2 2 2 2

var X g n n 1 p np n p np 1 p

2 il tempo di attesa medio per il primo

Distribuzione dei tempi di attesa nelle prove di Bernoulli:

p

successo cresce al diminuire della probabilità di ottenere un successo nella singola prova:

∞ ∞

p p 1 p 1

∑ ∑ ∑

= = − = − = ⋅ =

n 1 n

E ( N ) ng ( n ) np (1 p ) n (1 p )

1 1 − − − − 2

p p p p

1 1 [1 (1 )]

n = =

n n

1 0

− p

2

= =

2 2

E N n g n

( ) ( )

1 1 2

p

n − p

1

= − =

2 2

N E N E N

var( ) ( ) ( )

1 1 1 2

p

Distribuzione Ipergeometrica: + − − +

             

a b a b a a r a r b a b

{ } ∞ ∞

∑ ∑

( ) ( ) ( ) ( ) ( )

r r r r r

= = ⇔ = ⇔ =

g E X x x a g a

             

r r

− − − −

x n x n x x r x r n x n

             

= =

x 0 x 0

( ) ( ) ( ) ( )

+ − + + − + −

    r r

a b r a b a b r n a b n

! ! ! a n

( ) ( )

r r

⇔ = = ⋅ =

g a a

    ( ) ( ) ( ) ( )

( )

r − − + − + r

n r n n r a b n a b

! ! ! +

    a b 7

( ) ( )

− −

a a n n

1 1

an =

= g

g ; ( )( )

1 2

+ + + −

a b a b a b 1

µ = np  

a

+ −

a b n

( ) =

σ p

2 = − ;  

np 1 p +

a b

 

+ −

a b 1

Processo di Poisson:

1)Indipendenza = il numero di eventi in intervalli temporali che non sovrappongono sono indipendenti;

2)Individualità = gli eventi avvengono singolarmente e non a coppie o a gruppi;

3)Omogeneità = nell’intervallo di tempo totale considerato gli eventi si succedono ad un tasso

uniforme;

Viene anche usato per esperimenti in cui gli eventi avvengono in modo casuale e uniforme nello spazio.

indica la presenza di una certa interdipendenza, o correlazione,

Varianza di una somma e Covarianza:

tra le due variabili: ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

+ = + + + = + +

; 2 2

var X Y var X var Y 2cov X , Y var aX bY a var X b var Y 2 ab cov X , Y

{ }

( )

( ) ( ) ( ) ( ) ( )

µ µ

= − − = −

X Y X Y E X Y E XY E X E Y

e : cov ,

Covarianza di x y

> ⇔

 0 le due variabili sono correlate

( ) = ⇔

cov X , Y 0 le due variabili non sono correlate

< ⇔

0 le due variabili sono anticorrelate

 ρ X Y

il coefficiente di correlazione di due variabili random e si definisce:

Coefficiente di Correlazione:

( )

cov X , Y

( )

( )

ρ ρ

∗ ∗

= = − ≤ ≤

X , Y cov X , Y con 1 1

σ σ

x y ( )

( ) ρ

 > ⇒

ac X Y

0 ,

ac X Y

cov , 

( )

ρ + + = =

aX b cY d da questa relazione si ha che se la covarianza

, ( )

σ σ ρ

⋅ < ⇒ −

ac ac X Y

0 ,



x y

dipende dalla scala di misura usata, ciò non accade per il coefficiente di correlazione.

( ) ( ) ( ) ( ) 

∗ ∗ ∗ ∗ ∗ ∗

± = + ±

X Y X Y X Y

var var var 2cov ,  ( ) ( )

ρ

∗ ∗

⇔ ± = ± ≥

X Y

var 2 1 0

( ) ( )

∗ ∗

= =

X Y

var var 1 

ρ = ± ⇒ una v.a. può essere espressa come una funziona lineare dell’altra:

1 µ µ

 x x

ρ ρ

= ⇒ = = − ⇒ = −

a a

1 ; 1

 σ σ

≡ +

X aY b con  y y

 µ µ

= −

b x a y

 ( ) =

due variabili random t.c. sono non correlate:

Variabili random non correlate: cov X , Y 0

( ) ( ) ( )

+ = +

var X Y var X var Y

⇒ ∼

indipendenti non correlate cov=0 (non il viceversa; l’indipendenza è più “forte” della non

N.B.: correlazione)

∼ ≠ ⇒

correlate cov 0 dipendenti

N.B.:

Media di una somma:

∑ ∑

( ) ( ) ( ) ( ) ( )

µ

= = + = +

; sempre

E S E X E X Y E X E Y

n i i

Varianza di una somma:

∑ ∑∑ ( )

( ) σ 2

= +

S 2 X X

var cov ,

n i i j

<

i j 8

Se tutte le covarianze sono nulle le variabili sono non correlate:

( ) ∑

( ) σ

= ⇒ = 2

X X S

cov , 0 var

i j n i

Varianza di una combinazione lineare: ∑∑

= ⇒ = +

2

∑ ∑ ∑ ∑

E a X a E X a X a X a a X X

( ) ( ) var( ) var( ) 2 cov( , )

i i i i i i i i i j i j

<

i j

⇒ = ⇔ = 2

∑ ∑

v.a. indipendenti cov( X , X ) 0 var( a X ) a var( X )

i j i i i i

X n X

Proprietà notevole della varianza di : al crescere di la varianza decresce e la distribuzione di

µ

.

diventa sempre più concentrata nell’intorno di

X X X X

è la media aritmetica delle , dati , , ... , variabili random indipendenti con la

Sample mean: i 1 2 n

µ σ

2

stessa media e stessa varianza , cioè:

1

X X i

n µ

n

1 1 n

∑ ∑ µ µ

= = = = =

E X E X E X

( ) ( ) ( )

i

n n n

=

1

i n

2

∑ ∑ σ 2

 

1 1 1

σ σ 2

2

= = = =

 

var X var X n

( ) ( )

i 2

2

n n

 n n

=

i 1 µ σ

⇒ ± = ±

E X 3 X 3 n

( ) var( )

intervallo che contiene la quasi totalità della probabilità µ

n→ X n

quindi la sua larghezza tende a zero quando ∞. Con alta probabilità, sarà vicino a per grande.

µ

X come stima di .

Questo risultato giustifica l’uso del valore osservato di

CAPITOLO VII – Informazione ed Entropia

I

come misura della sorpresa. Si considera una che sia una funzione decrescente della

Informazione:

( )

P E E E F S

dell’evento , cioè richiediamo che, se ed sono eventi di con

probabilità

( ) ( ) ( ) ( )

≤ ⇒ ≥ :

P E P F I E I F > = 

 

a 1 a 2

( ) ( ) ( ) ( )

;

= − ≥

  ⇔ = −  

I E k P E

log 0 con I E P E

solitamente log

  

   

2

a > =

k 0 k 1

  

( ) ( )

→ ⇔ → ∞

P E 0 I E ( ) ( ) ( )

= +

Se eventi indipendenti: I E E I E I E

1 2 1 2

unità del contenuto di informazione; si guadagna un bit d’informazione quando si sceglie tra due

Bit:

alternative ugualmente probabili. X X

il contenuto d’informazione di si può considerare come una v.a., funzione di , che si indica

Entropia: X

. La media dell’informazione è detta entropia di e che si indica con :

con I(X) I(X) H(X )

( ) x

f x

n ( )

{ } ∑

( ) ( ) ( )

≡ = − = ⇔ =

H X E I X p log p p 0 H X 0

j j j

=

1

j

Si può interpretare come l’informazione media che prevediamo di acquisire dal sistema, ed è massima

quando massima è l’incertezza. X p X

Per calcolare l’entropia di una variabile random di Bernoulli di parametro si ha che il range di è

( ) { ( ) ( )

}

{ } =

= = − = −

p p

con probabilità e , mentre il range di è :

R x , x p 1 p I X R I p , I 1 p

1 2 I

1 2

x 2 ( )

{ } ∑

( ) ( ) ( ) ( ) ( ) ( )

≡ = = − = − − − −

H X H p E I X p log p p log p 1 p log 1 p

b j j

=

1

j

( ) ≤ − ⇔

ln x x 1 x = 1

e l’uguaglianza vale

Lemma 7.1 X n

Sia una v.a. discreta, e sia il numero dei suoi possibili valori, allora:

Teorema 7.1 9


PAGINE

16

PESO

267.63 KB

AUTORE

luca d.

PUBBLICATO

+1 anno fa


DETTAGLI
Esame: Statistica
Corso di laurea: Corso di laurea in biotecnologie (FANO)
SSD:
Università: Carlo Bo - Uniurb
A.A.: 2008-2009

I contenuti di questa pagina costituiscono rielaborazioni personali del Publisher luca d. di informazioni apprese con la frequenza delle lezioni di Statistica e studio autonomo di eventuali libri di riferimento in preparazione dell'esame finale o della tesi. Non devono intendersi come materiale ufficiale dell'università Carlo Bo - Uniurb o del prof Montebelli Vico.

Acquista con carta o conto PayPal

Scarica il file tutte le volte che vuoi

Paga con un conto PayPal per usufruire della garanzia Soddisfatto o rimborsato

Recensioni
Ti è piaciuto questo appunto? Valutalo!