Riassunto esame Statistica, prof. Lombardo, libro consigliato MatMix - Probabilità e Statistica per ingegneri, Alberto Lombardo

P T

Naturalmente preferiremo uno stimatore di θ che abbia elevata probabilità di produrre stime che cadano

all’interno dell’intervallo: a parità di probabilità, si definisce precisione l’inverso della larghezza di questo

intervallo. Tuttavia uno stimatore più preciso rispetto ad un altro ad un certo livello di probabilità potrebbe

esserlo meno rispetto ad un altro livello. Serve dunque un indice sintetico di variabilità. A tale scopo usiamo

var(T). La misura dell’efficienza di uno stimatore non corretto è data dall’errore quadratico medio:

 

  2



    2

( ) var( ) ( )

MSE T E T T Bias T

Uno stimatore è più efficiente di un altro se avrà un MSE minore. Questa proprietà, come del resto le altre,

vale sempre “in media”. Si consideri una successione {T , T ,…, T ,…} di stimatori di campioni della stessa X,

n

1 2

ma con dimensione campionaria crescente. Se questa successione converge in probabilità a θ allora lo

stimatore si dirà consistente. In altre parole ci si deve accertare che, per ξ > 0 comunque piccolo:

 

 

  

lim 0

P T

n



n

Dato che la convergenza in media quadratica implica quella in probabilità, vale:

 

 

    

lim ( ) 0 lim 0

MSE T P T

n n

 

n n    

  

lim var 0 lim 0 e

Allora lo stimatore è consistente in media quadratica. Ciò si ha se : T Bias T

n n

   

n n

quindi lo stimatore è anche asintoticamente corretto.

V e r o

s i m

i g

l

i a n

z a ( 1 . 2 )

V e r o

s i m

i g

l

i a n

z a ( 1 . 2 )

Introduciamo ora una nuova funzione, strumento fondamentale per la statistica. Sia f(X , X ,…,X |) la

1 2 n .

funzione di distribuzione della variabile casuale multipla C dipendente da un certo insieme di parametri

 ),

Per esempio se le X i.i.d. N(, la funzione di distribuzione sarà:

i  

1 1 n



  

   2 .

( , ,..., | , ) exp ( )

 

f X X X X

  

1 2 /2 2

n i

(2 ) 2

n n  



1

i

La prospettiva statistica è speculare rispetto a quella probabilistica: il campione è già stato estratto mentre

uno o più elementi della f sono incogniti. Se allora scriviamo la precedente con i seguenti accorgimenti

R S – C S 1

R S – C S

II

CC

CC

AA

RR

DD

OO CC

II

M

E C A LL

AA

UU

DD

II

OO CC

II

M

E C

A

M

E C A M

E C

A

I C

C A

R D

O C

I M

E C A L A

U

D

I O C

I M

E C

A

S I G

S I G

TT

AA

TT

II

SS

TT

II

CC

AA PP

EE

RR NN

GG

EE

GG

NN

EE

RR

II

AA EE

SS

TT

II

OO

NN

AA

LL

EE

T A

T I S T I C

A P E R N

G

E G

N E R

I A E S T I O

N

A

L E

S

S

TT

AA

TT

II

SS

TT

II

CC

AA II

NN

FF

EE

RR

EE

NN

ZZ

II

AA

LL

EE

T A

T I S T I C

A I

N

F E R

E N

Z I A

L E

otteniamo una funzione che non è più probabilistica (non dipende da variabili casuali), bensì è funzione dei

parametri della f , e viene definita funzione di verosimiglianza :  

1 1 n



  

   2

( , | , ,..., ) exp ( )

 

L x x x x

  

1 2 / 2 2

n i

(2 ) 2

n n  



1

i

È logico pensare che, visto che ci si attende di estrarre campioni che hanno un valore di f elevato, si

ritengono più verosimili valori dei parametri incogniti che rendano la verosimiglianza più elevata. Per

questo motivo è spontaneo determinare la stima dei parametri incogniti come quelli che massimizzano la L.



Essendo la L una quantità sempre positiva, è possibile effettuare la trasformazione logaritmica; se un punto

sarà massimo della log(L) lo sarà anche della verosimiglianza stessa. Indicheremo l() = log[L()] una nuova

:

funzione detta logverosimiglianza. Ricaviamo ora la l() per la normale e massimizziamola rispetto a



1 1

n n

n  

      

       

2 2 ˆ

( | , ,..., , ) log(2 ) ( ) ( | , ,..., , ) ( ) 0

l x x x x l x x x x

  

1 2 1 2



2 2

n i n i

2 2  

1 1

i i

2 , ed essendo negativa la soluzione trovata prima è effettivamente un max:

La derivata seconda risulta –n/ 1 n



  

ˆ x m

i

n 

1

i 

Dunque la media aritmetica dei campioni dà la massima verosimiglianza per il parametro della normale.

 2

Abbiamo ottenuto non soltanto una stima, ma uno stimatore. Vediamo ora il caso in cui l’incognita è :

 1 1

n n

n  

   

         

2 2 2 2 2   

2 2

( | , ,..., , ) ( ) 0 , / ( ) 0 ˆ ( )

l x x x x x

  

1 2

 2 2 4

ˆ ˆ

n i

2 2 i

n

 

1 1

i i

Se sono incogniti entrambi i parametri bisogna risolvere il sistema formato dalle seguenti equazioni:

1 1

n n

n

 

 

     

2

ˆ

( ) 0 ; ( ) 0

x x

  

2 2 4

ˆ ˆ

i i

2 2

 

1 1

i i  

ˆ

 m

2

Sostanzialmente la soluzione della prima equazione non dipende da e quindi risulta sempre , che

sarà sostituita nella seconda equazione, dando luogo alla soluzione:

1 n



ˆˆ

  

2 2

( )

x m

i

n 

1

i

Calcoliamo ora valore atteso e varianza campionaria degli stimatori ottenuti. Per il primo si ha E(m)=,

.

 2 /n e dunque lo stimatore è corretto e consistente per il parametro Per il secondo si ha:

var(m)= 1 1

n n

 

  

    

2 2 2

ˆ

( ) ( ) var( ) var( )

E E X X X

i i

n n

 

1 1

i i  

 2

3

Lo stimatore è corretto. Per la varianza, sapendo che per la normale vale , si ha:

4 2  4

1 1 1 2

n



     

 

        

2 2 4 2 2 2

ˆ

var( ) var( ) ( ) [ ( ) ] ( )

X E X E X

  4 2

2 i i i

n n n n



1

i

Pertanto lo stimatore è anche consistente per tutte le variabili casuali con momento quarto finito.

Per calcolare il valore atteso dell’ultimo stimatore occorre prima fare alcune considerazioni. Si ha che:

2





  1 1

n n n

x

  

  2

   

 

            

2 2 2

( ) ( ) 2( )( )

i

  x m m x m m x m m

 

  

2 2

n i i i

 

  

1 1 1

i i i 2

2 2

  

 

  

 

2

   

( ) ( )

n n n

x m x m

m m m

    

       

2 2

2 ( )

i i

     

n x m 

    1 1



2 2 i n

     

/ n

  



1 1 1 2

( 0)

i i i ( )

è una z

Risulta, per il teorema di Cochran, che le due chi‐quadro sono indipendenti. Ricordiamo inoltre che valore

atteso e varianza di una chi‐quadrato sono n e 2n, se n sono i gradi di libertà della variabile. Troviamo che:



1 1 1

 

n n

  

ˆˆ 2

   

   

2 2 2 2

( )

E E X m E 

1

i n

n n n



1

i  2 /n, che però tende a scomparire

Quindi lo stimatore non è corretto, poiché presenta una distorsione pari a

all’aumentare di n: lo stimatore è asintoticamente corretto. Questa distorsione può essere eliminata

moltiplicando lo stimatore per n/(n‐1). Tuttavia se calcoliamo l’errore quadratico medio per entrambi risulta:

R S – C S

2 R S – C S

II

CC

CC

AA

RR

DD

OO CC

II

M

E C A LL

AA

UU

DD

II

OO CC

II

M

E C

A

M

E C A M

E C

A

I C

C A

R D

O C

I M

E C A L A

U

D

I O C

I M

E C

A

S I G

S I G

TT

AA

TT

II

SS

TT

II

CC

AA PP

EE

RR NN

GG

EE

GG

NN

EE

RR

II

AA EE

SS

TT

II

OO

NN

AA

LL

EE

T A

T I S T I C

A P E R N

G

E G

N E R

I A E S T I O

N

A

L E

S

S

TT

AA

TT

II

SS

TT

II

CC

AA II

NN

FF

EE

RR

EE

NN

ZZ

II

AA

LL

EE

T A

T I S T I C

A I

N

F E R

E N

Z I A

L E



 

4

2( 1) 2 1   2

n n

ˆ ˆ ˆ n ˆ

    

      

2 2 2 4 4

ˆ ˆ ˆ 

( ) var( ) ( ) 2 4

ˆ

;

MSE Bias  

MSE

2 2 2  

1 1

 

n n n n n

Il primo MSE risulta sempre minore del secondo e dunque, contrariamente a come si sarebbe pensato

guardando solo il valore atteso, lo stimatore più efficiente è il primo.

A l t r e p

r o

p

r i e t à d

e g

l i s t i m a

t o

r i e s t