Riassunto completo Identificazione dei Modelli e Analisi dei Dati

Concetti lezione 2

Wednesday, 3 October 2018 16:22

Uno stesso avvenimento può essere espresso per mezzo di diverse tipologie di variabili (un evento può essere infatti descritto da più punti di vista).

Troviamo quindi 3 tipologie di variabili:

• Variabili metriche (METRIC VARIABLE) - Rappresentano una quantità che può avere un proprio ordinamento (es: tempo impiegato per giungere al traguardo).
• Variabili conteggio (count variable): particolari variabili che esprimono una certa tipologia di conteggio (numero di macchine passate).
• Variabili ordinali - Non rappresentano delle quantità, ma sono necessarie per descrivere oggetti in cui ha senso imporre un ordine. Per esempio le taglie (s,m,l,xl…) oppure posizionamento ad una gara…
• Variabili categoriche (o dicotomiche: y è o 0 oppure 1) - Variabili che descrivono la categoria di appartenenza dell'oggetto che si vuole descrivere (sesso M/F, posizione politica, colore degli occhi etc…).

In base a quale tipologia di variabili stiamo utilizzando si vede come si va ad utilizzare una differente distribuzione, ovvero un modello diverso.

Stima a minima quadrati

Supponiamo ora che i dati siano descrivibili tramite una relazione lineare del tipo.

Nota: si lavora sempre con vettori colonna.

L'obiettivo della stima a minima quadrati è quello di MINIMIZZARE una certa quantità (questa quantità che vado a scegliere è lo scarto quadratico medio):

Per minimizzare questa quantità vado a cercare dei punti di minimo della funzione e li trovo facendo d d il "-" legato alla derivata si semplifica con l'uguale a 0.

• Se det
• Se det

Notazione matriciale

Revisioni lezioni Pagina 1

Ogni colonna rappresenta la i-esima osservazione di una certa features. Ogni singola riga invece indica un gruppo di osservazioni di certe features (ogni riga è vista come vettore).

Otteniamo perciò.

Nel "mondo" vettoriale, la funzione che si cerca di minimizzare, assume questa forma:

1 x N N x 1 1xN Nx1 1xN Nxd dx1 1xd dxN Nx1 1xd dxN Nxd dx1

Ora vado a calcolare il gradiente della forma vettoriale: per fare ciò dovrò però andare ad applicare due proprietà.

• Applicando queste due proprietà messe in evidenza:

Questo è quindi una forma alternativa per esprimere lo stimatore a minimi quadrati.

Ma è uno stimatore valido?

• Supponendo che il sistema vero sia effettivamente lineare ovvero che il suo modello sia pari a.

Supposizioni (si tratta sostanzialmente di un WN):

• Allora, se valgono le supposizioni, si ha che:

Stima a massima verosimiglianza

Finora abbiamo visto diversi 3 stimatori.

• Stima ai minimi quadrati:
• In queste situazioni non sono mai state fatte assunzioni sulle distribuzioni di probabilità dei dati!

Metodo di massima verosimiglianza --> da un modello probabilistico, si stimano i suoi parametri (per renderli più vicini a quanto osservato nella realtà). Rappresenta comunque un problema di stima parametrica!

Supponiamo di avere N osservazioni della variabile y.

La pdf del vettore dei dati è:

Diventa una produttoria poiché y è una V.C. indipendente: ogni realizzazione delle y è indipendente dall'altra.

Quello che si ottiene è la probabilità che si realizzi il vettore dei dati osservati (che quindi io conosco: se conosco anche , allora posso calcolare il valore assunto dalla pdf).

Quando questa funzione f è vista in funzione di , essa prende il nome di VEROSIMIGLIANZA (likelihood): perciò.

Lo stimatore a massima verosimiglianza è quel valore del parametro che massimizza la funzione.

Come per esempio in questo caso, avremo che lo stimatore che vogliamo trovare è dato che è noto. Essendo che la funzione valutata in y è maggiore per avremo che è più verosimile di.

Nel caso di osservazioni iid di , bisognerà massimizzare.

In questo caso quindi avremo argmax argmax.

In generale si può attribuire ai dati una qualsiasi pdf: argmax argmax.

Perché vado a cercare il valore di che massimizza questa funzione?

A differenza della stima a minimi quadrati, qui andiamo a massimizzare una quantità. Tale quantità è l'area sottesa la curva di probabilità (ovvero sotto la pdf): se massimizziamo questa area, significa che la probabilità di "trovare" i valori corretti, sarà maggiore.

Il metodo della massima verosimiglianza ricerca il valore più verosimile di , ossia ricerca, all'interno dello spazio di tutti i possibili valori di , il valore del parametro che massimizza la probabilità di aver ottenuto il campione dato.

Spesso, invece di massimizzare si va a massimizzare il suo logaritmo naturale (log-Likelihood).

Revisioni lezioni Pagina 3

Spesso, invece di massimizzare si va a massimizzare il suo logaritmo naturale (log-Likelihood).

• Il massimo della funzione sarà pari al massimo del logaritmo naturale della funzione stessa (perché ln è una funzione monotona crescente).
• Più efficienza a livello computazionale.

Perciò otteniamo che: argmax ln.

Stima ML di parametri di una popolazione

Siano . Siamo interessati a trovare la stima dei della popolazione: per fare ciò abbiamo a disposizione vari stimatori (minimi quadrati, media campionaria etc..). Decidiamo di usare la stima a massima verosimiglianza.

La funzione da cui provengono quindi i dati, è:

Abbiamo visto che, data la proprietà di i.i.d dei campioni y, la funzione likelihood può essere riscritta come.

Abbiamo però detto, che per efficienza, si va spesso a lavorare con il logaritmo naturale:

ln ln

Ricordiamo alcune proprietà che utilizzeremo per rielaborare i logaritmi presenti:

• Log log log
• Log log
• Log

Utilizzando queste proprietà, possiamo allora riscrivere:

ln ln ln ln ln.

Il primo membro della somma è un numero, e quindi è come se lo moltiplicassi N volte:

ln ln ln ln( )ln ln.

Da questo punto, in cui abbiamo ridotto molto la forma della funzione di massima, possiamo andare a trovare i valori di che massimizzano le funzioni date: argmax.

Revisioni lezioni Pagina 4

Ora vado a sostituire il valore di nella seconda equazione:

Abbiamo quindi visto che, lo stimatore di massima verosimiglianza, può essere distorto, però spesso, la stima ML gode di buone proprietà:

• Asintoticamente corretta: lim
• Consistente: lim
• Asintoticamente efficiente: lim
• Asintoticamente normale:

Dall'esempio numerico è emerso il fatto che, massimizzare L equivale a minimizzare -ln(L).

Stima ML di modelli lineari

Prima abbiamo utilizzato il metodo di massima verosimiglianza per descrivere i dati con dei parametri della loro popolazione.

Si può usare il metodo ML anche nel caso in cui si voglia descrivere i dati tramite un modello lineare.

Ricordiamo quindi:

Con.

Perciò possiamo scrivere:

La probabilità di osservare i dati misurati è data dalla probabilità congiunta delle y(i).

Infatti.

Con.

Revisioni lezioni Pagina 5

Concetti lezione 3

Mercoledì 10 ottobre 2018 21:12

Riprendiamo la stima ML tramite modello lineare: siamo andati a scrivere.

Con.

Come si vede dalla forma matriciale, , all'errore, che presenta una distribuzione normale, andiamo ad aggiungere una certa quantità pari a (si tratta di un numero, dal momento che sono noti tutti i parametri in gioco) andando quindi a traslare la normale di questa quantità.

Ne risulta quindi che andrà ad avere una distribuzione anch'essa normale di questo tipo.

Si vede come un'assunzione sulla distribuzione probabilistica dell'errore abbia indotto un'assunzione sulla distribuzione dei dati osservati.

Sappiamo quindi che i dati sono una V.C. con una certa distribuzione: l'estrazione di un certo vettore di dati avrà quindi una certa probabilità data da (grazie all'assunzione di i.i.d. di ogni singola misurazione):

Ora possiamo riscrivere, visto che abbiamo supposto y essere distribuito come una Gaussiana:

Abbiamo visto in precedenza che quasi sempre si lavora con la log-verosimiglianza, e quindi andiamo a calcolarne il logaritmo naturale, sfruttando tutte le proprietà dei logaritmi stessi:

Ora voglio cercare il valore di , vado quindi a massimizzare la log-verosimiglianza, oppure minimizzo l'inverso della log-verosimiglianza stessa:

I primi due membri della log-verosimiglianza non dipendono da , e quindi non contribuiscono alla derivata, potendo essere eliminati:

Se ricordiamo la stima a minima quadrati, minimizzando lo scarto quadratico medio, si andava ad ottenere lo stesso risultato della massima.

Revisioni lezioni Pagina 1

Se ricordiamo la stima a minima quadrati, minimizzando lo scarto quadratico medio, si andava ad ottenere lo stesso risultato della massima verosimiglianza: -----> Stima ML (con le assunzioni probabilistiche fatte) è identica alla stima LS, la quale però non impone alcune assunzioni di tipo probabilistico.

Ho però un vantaggio: con diverse assunzioni sull'errore (e quindi sui dati) posso andare ad ottenere modelli differenti.

N.B.: la moltiplicazione per un valore scalare differente non va a modificare il valore del minimo della funzione, che quindi è uguale in entrambi i casi.

Stima bayesiana (Bayesian Inference)

Prendiamo ora due V.C. a e b discrete e binarie (possono assumere solamente due valori):

Distribuzione congiunta

= indica la probabilità che si verifichi a contemporaneamente con b.

Esempio

= la somma delle probabilità di tutti i possibili eventi sarà ovviamente pari a 1.

Distribuzione marginale

È la distribuzione di probabilità di un sottoinsieme di V.C.: se abbiamo tre V.C. a,b,c, i sottoinsiemi che si ottengono con le relative probabilità sono:

p(a,b) ~ p(a,c) ~ p(b,c).

La distribuzione marginale si ottiene appunto MARGINANDO le V.C. che non sono d'interesse.

Esempio precedente:

Nota questa probabilità congiunta delle V.C. a e b, la probabilità marginale che si ottiene è:

Probabilità marginale di a: non mi importa del valore assunto dalla V.C. b

• P(a = 0) = p(a=0,b=0)+p(a=0,b=1) = 0.06 + 0.28 = 0.34
• P(a = 1) = p(a=1,b=0)+p(a=1,b=1) = 0.24 +0.42 = 0.66

Probabilità marginale di b: non mi importa del valore assunto dalla V.C. a

• P(b = 0) = p(b=0,a=0)+p(b=0,a=1) = 0.06 +0.24 = 0.3
• P(b = 1) = p(b=1,a=0)+p(b=1,a=1) = 0.28 +0.42 = 0.7

Distribuzione condizionata

Essa indica come la probabilità si ridistribuisce, dato che si restringe la popolazione ad un particolare sottoinsieme dell'insieme di V.C. di partenza.

Per comprendere meglio di cosa si tratta facciamo un esempio:

• N = numero di persone (popolazione totale).
• = numero di persone con capelli lunghi nella popolazione.
• = numero di persone di sesso femminile nella popolazione.
• = numero di persone di sesso femminile nella popolazione.
• A = evento "di trovare" una persona con capelli lunghi.
• B = evento "di trovare" una persona di sesso femminile.

Considerando l'intera popolazione possiamo logicamente scrivere.

Cerchiamo ora, sull'intera popolazione, il numero di donne con i capelli lunghi.

Considerando solo la popolazione femminile (andiamo quindi a restringere la popolazione ad un particolare sottoinsieme):

Cerchiamo la probabilità che una persona scelta a caso abbia i capelli lunghi:

• # di persone di sesso femminile con i capelli lunghi.

Mi condiziono al fatto che la persona considerata sia di sesso femminile (divido infatti per N_B).

Passaggio chiave:

Da cui:

Osservazione:

Questo avviene solo nel momento in cui le V.C. sono indipendenti tra loro: questo è ovvio poiché, come riportato in "simboli", i due eventi casuali non si influenzano, quindi non possiamo parlare, per esempio, della probabilità che avvenga un evento dato che è avvenuto l'altro, proprio perché sono uno indipendente dall'altro.

La formula sopra riportata può essere interpretata come: "la probabilità che accada sia l'evento A che l'evento B, è pari alla probabilità che accada l'evento B moltiplicata per la probabilità che accada l'evento A dato che è accaduto l'evento B."

Lo stesso ragionamento potrebbe essere fatto partendo dall'avvenimento dell'evento A, moltiplicando per la probabilità che accada l'evento B dato che è avvenuto l'evento A.

Quanto sopra scritto a parole può essere così riportato:

Da qui possiamo ricavare il teorema di Bayes.

Questo teorema permette di ridistribuire la probabilità: prima conoscevo P(B), poi, nel momento in cui avviene l'evento A, la probabilità di B è cambiata diventando P(B|A).

Introduzione alla stima bayesiana

• Finora è stata considerata una variabile deterministica, ovvero che assume un certo valore "e basta".

Spesso però si hanno delle informazioni, delle idee su quelli che potrebbero essere i valori assumibili da stesso.

Ha quindi senso considerare come una variabile casuale: in questo modo assegno maggior probabilità ai valori di che credo che la variabile stessa assumerà con maggiore probabilità, mentre assegnerò una probabilità più bassa a quei valori che penso che non andrà ad assumere.

, ovvero il parametro/i da identificare, non assume quindi un valore vero, ma vogliamo darne un giudizio di probabilità.

Osservazioni:

Revisioni lezioni Pagina 3

Osservazioni:

• A andiamo quindi a dare una distribuzione a priori!
• Esempio di distribuzione di probabilità di con.

Osservazioni su questa distribuzione prior:

1. Anche l'asse delle y avrà valori compresi nell'intervallo [0,1]? L'asse y, ovvero P(theta) assumerà valori tra [0, 1] se la variabile theta è discreta, poiché in questo caso si assegna ad ogni valore di theta la sua probabilità di verificarsi. Avremo che la somma delle probabilità fa 1. Nel caso in cui theta è continuo, come nel caso dell'esempio, sull'asse y vi è la densità di probabilità, che può essere anche >1 (sarà sempre >= 0 in ogni caso). In questo caso continuo, avremo che l'area sottesa alla funzione deve essere 1.
2. Modellizzando la probabilità che esca testa come una funzione continua, andiamo a considerare anche i casi "di moneta truccata"? Nel senso che, se la moneta fosse non truccata, ci si aspetta di avere solamente "una barra" in theta = 0.5, con "altezza "1", o sbaglio? Una prior continua come quella dell'esempio modella la variabile theta (probabilità che esca testa) tramite un insieme continuo di valori, quindi anche quelli che denotano una moneta truccata (quelli vicino a theta = 0 o theta = 1). Se sappiamo già che la moneta non è truccata, avremo solo una barra in , ma in questo caso non sarebbe più una variabile causale, perché assume sempre lo stesso valore.

• Avendo una distribuzione abbiamo quindi una stima a priori di , senza aver visto i dati.
• Possiamo quindi prendere una STIMA PUNTUALE DI , ovvero il VALORE ATTESO DI ; l'incertezza di questa stima sarà data dalla varianza di , ovvero un'INCERTEZZA A PRIORI.

Con i dati quindi mi aspetto che:

• Il valore atteso di cambi.
• L'incertezza sulla stima decresca, perché ho a disposizione più informazioni.

Le fonti di informazioni sono quindi due:

• Distribuzione a priori ( ).
• Le informazioni portate dai dati, che sono traducibili nella LIKELIHOOD = probabilità di misurare certi dati Y dato che ho particolari valori di.

Perché si tratta di una LikeLihood?

La likelihood è generata a partire da un modello probabilistico dei dati. Si fa una supposizione di come i dati siano distribuiti (ad es Gaussiana). Il valore assunto dai dati guiderà poi la stima dei parametri incogniti. Infatti la loro stima è ovviamente funzione dei dati (si pensi alla stima max likelihood della media di una gaussiana, si ha che la media è la media campionaria dei dati). Quindi, la particolare formula per la stima di un parametro dipende dalla forma della distribuzione dei dati (e quindi della likelihood) e dallo specifico valore assunto dai dati.

L’altro discorso è più di convenzione/notazione. Dato che la distribuzione congiunta dei dati ha la stessa formula della likelihood, spesso si usa la terminologia P(Yl\tehta) anche quando si sta considerando la funzione di likelihood L(\thetalY). Si capisce dal contesto a cosa ci si sta riferendo. Nel caso della stima bayesiana, dove anche theta è una variabile casuale, la dicitura P(Yl\tetha) si riferisce alla distribuzione di probabilità dei dati fissato un certo theta, che ha la stessa forma della likelihood. La chiamiamo likelihood perché i dati sono noti mentre theta non è noto. Diciamo che parliamo di likelihood perché essa definisce il modello probabilistico dei dati, ovvero come essi sono distribuiti.

Quello che a noi interessa è però la distribuzione che assume in base ai dati che ho rilevato, ovvero.

Da quest'ultima osservazione possiamo ottenere, tramite il teorema di Bayes, l'unione dei due elementi che portano informazione:

Revisioni lezioni Pagina 4

Osservazioni:

Se hanno pdf continue (eg: Gaussiana), allora possiamo risalire alla pdf della