Riassunto completo Identificazione dei Modelli e Analisi dei Dati

Concetti lezione 2

Wednesday, 3 October 2018 16:22

Uno stesso avvenimento può essere espresso per mezzo di diverse tipologie di variabili (un evento può essere infatti descritto da più punti di

vista).

Troviamo quindi 3 tipologie di variabili:

VARIABILI METRICHE (METRIC VARIABLE)

- Rappresentano una quantità che può avere un proprio ordinamento (es: tempo impiegato per giungere al traguardo)

○ VARIABILI CONTEGGIO (count variable) : particolari variabili che

○ esprimono una certa tipologia di conteggio (numero di macchine passate)

VARIABILI ORDINALI

- Non rappresentano delle quantità, ma sono necessarie per descrivere oggetti in cui ha senso imporre un ordine. Per esempio le taglie

○ (s,m,l,xl…) oppure posizionamento ad una gara…

VARIABILI CATEGORICHE (o dicotomiche: y è o 0 oppure 1)

- Variabili che descrivono la categoria di appartenenza dell'oggetto che si vuole descrivere (sesso M/F, posizione politica, colore degli occhi

○ etc…)

In base a quale tipologia di variabili stiamo utilizzando si vede come si va ad utilizzare una differente distribuzione, ovvero un modello diverso.

STIMA A MINIMA QUADRATI

:

- Supponiamo ora che i dati siano descrivibili tramite una relazione lineare del tipo

Nota: si lavora sempre con vettori colonna.

L'obbiettivo della stima a minima quadrati è quello di MINIMIZZARE una certa quantità (questa quantità che vado a scegliere è lo scarto

quadratico medio):

Per minimizzare questa quantità vado a cercare dei punti di minimo della funzione e li trovo facendo

d d il "-" legato alla derivata si semplifica con l'uguale a 0.

○ Se det

▪ Se det

▪

▪

Notazione matriciale:

○ Revisioni lezioni Pagina 1

Ogni colonna rappresenta la i-esima osservazione di una certa features. Ogni singola riga invece indica un gruppo di osservazioni di

certe features (ogni riga è vista come vettore

○ Otteniamo perciò

Nel "mondo" vettoriale, la funzione che si cerca di minimizzare, assume questa forma:

1 x N N x 1

1xN Nx1 1xN Nxd dx1 1xd dxN Nx1 1xd dxN Nxd dx1

Ora vado a calcolare il gradiente della forma vettoriale: per fare ciò dovrò però andare ad applicare due proprietà

▪

▪

Applicando queste due proprietà messe in evidenza:

Questo è quindi una forma alternativa per esprimere lo stimatore a minimi quadrati.

Ma è uno stimatore valido?

○ Supponendo che il sistema vero sia effettivamente lineare ovvero che il suo modello sia pari a

Supposizioni (si tratta sostanzialmente di un WN):

▪

▪

▪

Allora, se valgono le supposizioni, si ha che:

▪

▪

STIMA A MASSIMA VEROSIMIGLIANZA:

- Finora abbiamo visto diversi 3 stimatori

○

○ Stima ai minimi quadrati:

○ ▪

In queste situazioni non sono mai state fatte assunzioni sulle distribuzioni di probabilità dei dati!

Metodo di massima verosimiglianza --> da un modello probabilistico, si stimano i suoi parametri (per renderli più vicini a quanto osservato nella

Revisioni lezioni Pagina 2

Metodo di massima verosimiglianza --> da un modello probabilistico, si stimano i suoi parametri (per renderli più vicini a quanto osservato nella

realtà). Rappresenta comunque un problema di stima parametrica!

Supponiamo di avere

N osservazioni della variabile y

○

○

La pdf del vettore dei dati è:

Diventa una produttoria poiché y è una V.C. indipendente: ogni realizzazione delle y è indipendente dall'altra.

Quello che si ottiene è la probabilità che si realizzi il vettore dei dati osservati (che quindi io conosco: se conosco anche , allora

posso calcolare il valore assunto dalla pdf)

Quando questa funzione f è vista in funzione di , essa prende il nome di VEROSIMIGLIANZA (likelihood): perciò

○

○

Lo stimatore a massima verosimiglianza è quel valore del parametro che massimizza la funzione

Come per esempio in questo caso, avremo che

lo stimatore che vogliamo trovare è dato che è noto. Essendo che la funzione valutata in y è maggiore per avremo che

è più verosimile di

Nel caso di osservazioni iid di , bisognerà massimizzare

In questo caso quindi avremo

argmax argmax

In generale si può attribuire ai dati una qualsiasi pdf: argmax argmax

Perché vado a cercare il valore di che massimizza questa funzione?

A differenza della stima a minimi quadrati, qui andiamo a massimizzare una quantità. Tale quantità è la'rea sottesa la curva di probabilità

(ovvero sotto la pdf): se massimizziamo questa area, significa che la probabilità di "trovare" i valori corretti, sarà maggiore.

Il metodo della massima verosimiglianza ricerca il valore più verosimile di , ossia ricerca, all'interno dello spazio di tutti i possibili valori di , il

valore del parametro che massimizza la probabilità di aver ottenuto il campione dato

Spesso, invece di massimizzare si va a massimizzare il suo logaritmo naturale (log-Likelihood)

Revisioni lezioni Pagina 3

Spesso, invece di massimizzare si va a massimizzare il suo logaritmo naturale (log-Likelihood)

Il massimo della funzione sarà pari al massimo del logaritmo naturale della funzione stessa (perché ln è una funzione monotona

○ crescente)

Più efficienza a livello computazionale

○

Perciò otteniamo che: argmax ln

STIMA ML DI PARAMETRI DI UNA POPOLAZIONE

- Siano .

Siamo interessati a trovare la stima dei della popolazione: per fare ciò abbiamo a disposizione vari stimatori (minimi quadrati, media

campionaria etc..). Decidiamo di usara la stima a massima verosimiglianza.

La funzione da cui provengono quindi i dati, è:

Abbiamo visto che, data la proprietà di i.i.d dei campioni y, la funzione likelihood può essere riscritta come

Abbiamo però detto, che per efficienza, si va spesso a lavorare con il logaritmo naturale:

ln ln

Ricordiamo alcune proprietà che utilizzeremo per i rielaborare i logaritmi presenti:

log log log

○ log log

○ log

○

Utilizzando queste proprietà, possiamo allora riscrivere:

ln ln ln

ln ln

Il primo membro della somma è un numero, e quindi è come se lo moltiplicassi N volte:

ln ln ln

ln( )

ln ln

Da questo punto, in cui abbiamo ridotto molto la forma della funzione di massima, possiamo andare a trovare i valori di che massimizzano le

funzioni date: argmax

Revisioni lezioni Pagina 4

Ora vado a sostituire il valore di nella seconda equazione:

Abbiamo quindi visto che, lo stimatore di massima verosimiglianza, può essere distorto, però spesso, la stima ML gode di buone proprietà:

Asintoticamente corretta: lim

○ Consistente: lim

○ Asintoticamente efficiente: lim

○ Asintoticamente normale:

○

Dall'esempio numerico è emerso il fatto che, massimizzare L equivale a minimizzare -ln(L).

STIMA ML DI MODELLI LINEARI

- Prima abbiamo utilizzato il metodo di massima verosimiglianza per descrivere i dati con dei parametri della loro popolazione.

Si può usare il metodo ML anche nel caso in cui si voglia descrivere i dati tramite un modello lineare.

Ricordiamo quindi:

Con

Perciò possiamo scrivere:

La probabilità di osservare i dati misurati è data dalla probabilità congiunta delle y(i)

Infatti

Con Revisioni lezioni Pagina 5

Concetti lezione 3

mercoledì 10 ottobre 2018 21:12

Riprendiamo la stima ML tramite modello lineare: siamo andati a scrivere

Con

Come si vede dalla forma matriciale, , all'errore, che presenta una distribuzione normale, andiamo ad aggiungere una certa

quantità pari a (si tratta di un numero, dal momento che sono noti tutti i parametri in gioco) andando quindi a traslare la normale

di questa quantità.

Ne risulta quindi che andrà ad avere una distribuzione anch'essa normale di questo tipo

Si vede come un'assunzione sulla distribuzione probabilistica dell'errore abbia indotto un'assunzione sulla distribuzione dei dati osserva ti.

Sappiamo quindi che i dati sono una V.C. con una certa distribuzione: l'estrazione di un certo vettore di dati avrà quindi un a certa

probabilità data da (grazie all'assunzione di i.i.d. di ogni singola misurazione):

Ora possiamo riscrivere, visto che abbiamo supposto y essere distribuito come una Gaussiana:

Abbiamo visto in precedenza che quasi sempre si lavora con la log-verosimiglianza, e quindi andiamo a calcolarne il logaritmo naturale,

sfruttando tutte le proprietà dei logaritmi stessi:

Ora voglio cercare il valore di , vado quindi a massimizzare la log-verosimiglianza, oppure minimizzo l'inverso della log-verosimiglianza

stessa:

I primi due membri della log-verosimiglianza non dipendono da , e quindi non contirbuiscono alla derivata, potendo essere eliminati:

Se ricordiamo la stima a minima quadrati, minimizzando lo scarto quadratico medio, si andava ad ottenere lo stesso risultato della massima

Revisioni lezioni Pagina 1

Se ricordiamo la stima a minima quadrati, minimizzando lo scarto quadratico medio, si andava ad ottenere lo stesso risultato della massima

verosimiglianza: -----> Stima ML (con le assunzioni probabilistiche fatte) è identica alla stima LS, la quale però non impone

alcune assunzioni di tipo probabilistico.

Ho però un vantaggio: con diverse assunzione sull'errore (e quindi sui dati) posso andare ad ottenere

modelli differenti.

N.B. : la moltiplicazione per un valore scalare differente non va a modificare il valore del minimo della funzione, che quindi è

uguale in entrambi i casi.

STIMA BAYESIANA (Bayesian Inference)

- Prendiamo ora due V.C. a e b discrete e binarie (possono assumere solamente due valori):

Distribuzione congiunta

○ = indica la probabilità che si verifichi a contemporaneamente con b.

Esempio

A = 0A = 1

B = 0 0.06 0.24

B = 1 0.28 0.42

= la somma delle probabilità di tutti i possibili eventi sarà ovviamente pari a 1

Distribuzione marginale

○ È la distribuzione di probabilità di un sottoinsieme di V.C. : se abbiamo tre V.C. a,b,c, i sottoinsiemi che si ottengono con le relative

probabilità sono:

p(a,b) ~ p(a,c) ~ p(b,c)

La distribuzione marginale si ottiene appunto MARGINANDO le V.C. che non sono d'interesse.

Esempio precedente:

Nota questa probabilità congiunta delle V.C. a e b, la probabilità marginale che si ottiene è

A = 0A = 1

B = 0 0.06 0.24

B = 1 0.28 0.42

Probabilità marginale di a: non mi importa del valore assunto dalla V.C. b

◊ p(a = 0) = p(a=0,b=0)+p(a=0,b=1) = 0.06 + 0.28 = 0.34

 p(a = 1) = p(a=1,b=0)+p(a=1,b=1) = 0.24 +0.42 = 0.66



Probabilità marginale di b: non mi importa del valore assunto dalla V.C. a

◊ p(b = 0) = p(b=0,a=0)+p(b=0,a=1) = 0.06 +0.24 = 0.3

 p(b = 1) = p(b=1,a=0)+p(b=1,a=1) = 0.28 +0.42 = 0.7



Distribuzione condizionata

○ Essa indica come la probabilità si ridistribuisce, dato che si restringe la popolazione ad un particolare sottoinsieme dell'insieme di V.C:

di partenza.

Per comprendere meglio di cosa si tratta facciamo un esempio:

N = numero di persone (popolazione totale)

= numero di persone con capelli lunghi nella popolazione

= numero di persone di sesso femminile nella popolazione

Revisioni lezioni Pagina 2

= numero di persone di sesso femminile nella popolazione

A = evento "di trovare" una persona con capelli lunghi

B = evento "di trovare" una persona di sesso femminile

Considerando l'intera popolazione possiamo logicamente scrivere

 Cerchiamo ora, sull'intera popolazione, il numero di donne con i capelli lunghi



Considerando solo la popolazione femminile (andiamo quindi a restringere la popolazione ad un particolare sottoinsieme):

Cerchiamo la probabilità che una persona scelta a caso abbia i capelli lunghi:

 # di persone di sesso femminile con i capellli lunghi

Mi condiziono al fatto che la persona considerata sia di sesso femminile (divido infatti per N_B)

Passaggio chiave:

Da cui:

Osservazione:

Questo avviene solo nel momento in cui le V.C. sono indipendenti tra loro: questo è ovvio poiché, come

riportato in "simboli", i due eventi casuali non si influenzano, quindi non possiamo parlare, per esempio,

della probabilità che avvenga un evento dato che è avvenuto l'altro, proprio perché sono uno

indipendente dall'altro.

La formula sopra riportata può essere interpretata come:

"la probabilità che accada sia l'evento A che l'evento B, è pari alla probabilità che accada l'evento B

moltiplicata per la probabilità che accada l'evento A dato che è accaduto l'evento B."

Lo stesso ragionamento potrebbe essere fatto partendo dall'avvenimento dell'evento A, moltiplicando per

la probabilità che accada l'evento B dato che è avvenuto l'evento A.

Quanto sopra scritto a parole può essere così riportato:

Da qui possiamo ricavare il

TEOREMA DI BAYES

Questo teorema permette di ridistribuire la probabilità: prima conoscevo P(B), poi, nel momento in cui avviene

l'evento A, la probabilità di B è cambiata diventando P(B|A).

Introduzione alla stima bayesiana

○ Finora è stata considerata una variabile deterministica, ovvero che assume un certo valore "e basta".

Spesso però si hanno delle informazione, delle idee su quelli che potrebbero essere i valori assumibili da stesso.

Ha quindi senso considerare come una variabile casuale: in questo modo assegno maggior probabilità ai valori di che credo

che la variabile stessa assumerà con maggiore probabilità, mentre assegnerò una probabilità più bassa a quei valori che penso

che non andrà ad assumere.

, ovvero il parametro/i da identificare, non assume quindi un valore vero, ma vogliamo darne un giudizio di probabilità

Osservazioni:

Revisioni lezioni Pagina 3

Osservazioni:

A andiamo quindi a dare una distribuzione a priori!

□ Esempio di distribuzione di probabilità di con

Osservazioni su questa distribuzione prior:

Anche l'asse delle y avrà valori compresi nell'intervallo [0,1]?

1. L'asse y, ovvero P(theta) assumerà valori tra [0, 1] se la variabile theta è discreta, poichè in questo caso si

assegna ad ogni valore di theta la sua probabilità di verificarsi. Avremo che la somma delle probabilità fa 1. Nel

caso in cui theta è continuo, come nel caso dell'esempio, sull'asse y vi è la densità di probabilità, che può essere

anche >1 (sarà sempre >= 0 in ogni caso). In questo caso continuo, avremo che l'area sottesa alla funzione deve

essere 1.

2. Modellizzando la probabilità che esca testa come una funzione continua, andiamo a considerare anche i casi

"di moneta truccata"? Nel senso che, se la moneta fosse non truccata, ci si aspetta di avere solamente "una

barra" in theta = 0.5, con "altezza "1", o sbaglio?

Una prior continua come quella dell'esempio modella la variabile theta (probabilità che esca testa) tramite un

insieme continuo di valori, quindi anche quelli che denotano una moneta truccata (quelli vicino a theta = 0 o

theta = 1). Se sappiamo già che la moneta non è truccata, avremo solo una barra in , ma in questo caso

non sarebbe più una variabile causale ,perchè assume sempre lo stesso valore.

Avendo una distribuzione abbiamo quindi una STIMA A PRIORI DI , senza aver visto i dati.

□ Possiamo quindi prendere una STIMA PUNTUALE DI , ovvero il VALORE ATTESO DI ; l'incertezza di questa stima sarà

data dalla varianza di , ovvero un'INCERTEZZA A PRIORI.

Con i dati quindi mi aspetto che:

□ Il valore atteso di cambi

 l'incertezza sulla stima decresca, perché ho a disposizione più informazioni.



Le fonti di informazioni sono quindi due:

a) Distribuzione a priori ( )

b) Le informazioni portate dai dati, che sono traducibili nella LIKELIHOOD = probabilità di misurare certi dati Y dato

che ho particolari valori di

Perché si tratta di una LikeLihood?

La likelihood è generata a partire da un modello probabilistico dei dati. Si fa una supposizione di come i dati siano distrib uiti

(ad es Gaussiana). Il valore assunto dai dati guiderà poi la stima dei parametri incogniti. Infatti la loro stima è ovviament e

funzione dei dati (si pensi alla stima max likelihood della media di una gaussiana, si ha che la media è la media campionaria

dei dati). Quindi, la particolare formula per la stima di un parametro dipende dalla forma della distribuzione dei dati (e qu indi

della likelihood) e dallo specifico valore assunto dai dati.

L’altro discorso è più di convenzione/notazione Dato che la distribuzione congiunta dei dati ha la stessa formula della

likelihood, spesso si usa la terminologia P(Yl\tehta) anche quando si sta considerando la funzione di likelihood L(\thetalY). Si

capisce dal contesto a cosa ci si sta riferendo. Nel caso della stima bayesiana, dove anche theta è una variabile casuale, la

dicitura P(Yl\tetha) si riferisce alla distribuzione di probabilità dei dati fissato un certo theta, che ha la stessa forma della

likelihood. La chiamiamo likelihood perché i dati sono noti mentre theta non è noto. Diciamo che parliamo di likelihood perch é

essa definisce il modello probabilistico dei dati, ovvero come essi sono distribuiti

Quello che a noi interessa è però la distribuzione che assume in base ai dati che ho rilevato, ovvero

Da quest'ultima osservazione possiamo ottenere, tramite il teorema di Bayes, l'unione dei due elementi che portano informazio ne:

Revisioni lezioni Pagina 4

Osservazioni:

Se hanno pdf continue (eg: Gaussiana), allora possiamo risalire alla pdf della