Lezione 1 - richiami di statistica

COVARIANZA:

- Se le due V.C. sono correlate, ovvero (ho una correlazione lineare tra le due variabili), la

correlazione sarà pari a 1 ->

Dimostrazione:

Numeratore

Denominatore

Perciò:

Se andiamo a lavorare con un vettore di V.C. (sempre vettori colonna):

Funzione di densità cumulata (cdf - comulated density function) o distribuzione di probabilità:

- Valore atteso di un vettore di V.C. (vettore colonna)

- Varianza di un vettore di d V.C

- Matrice dxd

Matrice semidefinita positiva (ha autovalori maggiori di 0)

Matrice simmetrica Matrice di varianze e

covarianze

Due V.C. Si dicono INDIPENDENTI se

-

STIMA

Per stima si intende andare a ricavare un valore , detto stimatore, che approssima un parametro (o più di uno) nascosto

tramite una serie di N misure

Le N misure sono prese da una variabile casuale e quindi ci possono essere infinite serie di N misure; la stima si

calcolerà a partire dai dati, ovvero quindi lo stimatore dipende dalla realizzazione usata e questo

significa che è una variabile casuale.

Revisioni lezioni Pagina 3

Troviamo due macro famiglie di stime:

Stima parametrica si imposta un modello con dei parametri ignoti e si stimano i parametri. Ad esempio massima

- verosimiglianza è parametrica perchè si assume un tipo di distribuzione (modello) e se ne deve stimarne i parametri

(ad esempio nel caso gaussiano si va a stimare media e varianza della funzione gaussiana).

Nella stima non parametrica non si definisce un modello con dei parametri da stimare. Si può vedere come il dover

- stimare un numero di parametri infinito o pari al numero di dati che si ha. Ad esempio la stima dello spettro è non

parametrica perchè stimo direttamente il valore ad ogni frequenza discreta, non passo da una funzione che con

qualche parametro descrive la forma dello spettro

STIMA PARAMETRICA: l'oggetto della stima è il parametro

- Nel caso di una distribuzione gaussiana

I dati perciò dipendono dallo specifico esito dell'esperimento casuale, e dai parametri

Si scriverà:

se su 40 persone scelgo 10 a caso, i dati che ottengono sono dipendenti da quelle 10 persone estratte,

che possono essere diverse per un'altra estrazione.

DATI = V.C. poiché DIPENDONO DA

STIMATORE: funzione

○ STIMA: risulta dello stimatore su una specifica realizzazione dei dati (dipendendo da uno specifico esito dell'evento

○ casuale)

T dipende dai dati --> dati dipendono da S perciò

stimatore T = V.C.

PROPRIETà DI UNO STIMATORE

Uno stimatore si dice corretto (non bayesato) se

□ Uno stimatore non corretto si dice distorto.

Uno stimatore è asintoticamente corretto (proprietà più debole della sola correttezza) se e solo se

□ Se è corretto si ha che

◊ Con

Uno stimatore si dice consistente se e solo se

□ (NB: n tendente all'infinito implica che i dati raccolti tendano all'infinito. Quindi la consistenza garantisce

che, al crescere del numero dei campioni, aumenta la qualità della stima poiché la varianza decresce man

mano).

Questo metro di valutazione della stima fornisce un modo per migliorare la stima, aggiungendo ulteriore

informazione.

Uno stimatore si dice ottimo se la sua varianza è la più piccola per una serie N di dati. Una condizione

□ necessaria, ma non sufficiente, per verificare l'ottimalità di uno stimatore, è che, stima ed errore di stima siano

incorrelati, ovvero che

Revisioni lezioni Pagina 4

Perché se così non fosse, significherebbe che, nell'errore è presente ancora informazione usabile per

migliorare la stima (e quindi lo stimatore stesso non sarebbe ottimo).

La consistenza è una proprietà asintotica: ci dice che quando i dati tendono all'infinito, la varianza di uno

stimatore corretto decresce. L'ottimalità invece si basa su un fissato numero di dati N (che può essere anche

infinito). Consistenza considera il variare del numero di dati, ottimalità considera un numero fissato di dati (anche

infinito ma fissato).

Uno stimatore si dice efficiente se

□ lo stimatore con cui sto lavorando ha raggiunto il limite (minimo) di precisione

Uno stimatore si dice asintoticamente efficiente se

□ LIMITE DI CRAMER-RAO (CRAMER-RAO BOUND): definisce un limite inferiore per la varianza dello stimatore,

□ sotto il quale non si può scendere.

Si introduce questo limite perché, i dati realmente misurati hanno una propria incertezza, che ovviamente non

può essere eliminata con la stima che se ne fa.

Per stimatori corretti:

Se ho più parametri, ovvero anche è un vettore e perciò

Stima non parametrica

- Preso un pss y(t) (vedi dopo), di cui ne abbiamo misurato una realizzazione

Vogliamo stimare media e covarianza:

Media campionaria

- Un possibile stimatore è:

Verifichiamo alcune proprietà di questo stimatore:

Correttezza

 Consistenza

 La consistenza è garantita da questi due teoremi:

I teorema

- è consistente se

II teorema

- Preso un processo ARMA, è consistente se

Intuitivamente la covarianza va a 0 perchè due variabili casuali sono meno correlate man

mano che aumento la loro distanza nel tempo. C'è una sorta di fading memory. Si pensi a

quanta informazione mi può dare il meteo di oggi sul meteo di domani, rispetto al meteo fra

un anno. Ovviamente nel secondo caso la correlazione tra queste due variabili è molto bassa

rispetto al primo caso

Revisioni lezioni Pagina 5

Covarianza campionaria

- Applicando la depolarizzazione, possiamo lavorare con processi stazionari a media nulla: la covarianza quindi

diventa

Un possibile stimatore potrebbe essere

Da notare che compare sempre all'interno di valore assoluto, perché la covarianza di un

pss è una funzione pari, ovvero

Verifichiamo alcune proprietà di questo stimatore:

Correttezza

 Consistenza

 Applico il II teorema:

Preso un processo ARMA, è consistente se

–

Densità spettrale campionaria

- Perché stimare anche lo spettro?

Perchè se stimiamo lo spettro, implicitamente abbiamo stimato il modello che genera quello spettro, e quindi

questo rappresenta un modo per fare identificazione del modello dai dati.

Spettro:

Un possibile stimatore dello spettro potrebbe essere:

Dove

Lo stimatore della covarianza imponeva però che

Se così non fosse non avrei a disposizione i dati per poter calcolare lo stimatore.

Questa limitazione quindi si rispecchia anche sul calcolo dello spettro, dovendo così limitare

Revisioni lezioni Pagina 6 In questo stimatore ho quindi due approssimazioni:

 Uso lo stimatore della covarianza e non la covarianza



Verifichiamo comunque le proprietà di questo stimatore:

Correttezza

◊ Sappiamo che

Perciò

Lo stimatore non è quindi corretto: è solo AS. CORRETTO (cioè per in maniera tale che i

limiti della sommatoria vadano ad .

Consistenza

◊ Oltre ai due teoremi, relativi al comportamento della covarianza, visti precedentemente, come

riportato ad inizio delle lezione 7, la consistenza di uno stimatore è valutata sotto due aspetti: uno di

questi dice che è consistente se

Lo stimatore non è quindi consistente: è solo AS. CORRETTO (cioè perN

Possiamo quindi introdurre uno stimatore alternativo:

Questo nuovo stimatore dello spettro si differenzia da quello precedente, poiché utilizza una variante non

corretta dello stimatore della covarianza, che si scrive come

A questo punto lo spettro diventa

Questo significa che è possibile calcolare lo spettro senza passare dalla funzione di covarianza e utilizzando

nvece un’a g r t per ca c are a DFT (D screte F ur er Transf r )

Questo stimatore, dato che utilizza uno stimatore della funzione di covarianza non corretto, è meno corretto

del precedente, ma è molto più facile da calcolare usando algoritmi noti e veloci.

Possiamo quindi riassumere che non siamo stati in grado, fino a questo punto, di ottenere un buono

stimatore dello spettro.

Proviamo ad inserire una regolarizzazione dello spettro:

Dividiamo gli N dati in M parti.

Calcoliamo quindi

Revisioni lezioni Pagina 7