Appunti di Fundamentals Of Machine Learnings

Formulazione delle miscele Gaussiane

N N K~ ~Y Y X| N |= = (~x Σ )p(D; θ) p(~x θ) π ~µ ,n k n k kn=1 n=1 k=1

Applicando come al solito il logaritmo alla distribuzione per il calcolo del massimo(poiché la funzione logaritmica non cambia il massimo) otteniamo:

N K( )~ X X N |ln = ln (~x Σ )p(D; θ) π ~µ ,k n k kn=1 k=1

Osserviamo che la soluzione è diventata più complessa rispetto a quella ottenuta conuna singola Gaussiana, a causa della presenza della sommatoria su all’interno delklogaritmo.

Di conseguenza, la soluzione di massima verosimiglianza per i parametri non ha più unasoluzione analitica in forma chiusa.

Perciò dobbiamo definire approcci diversi per massimizzare la distribuzione likelihood.variabili

Passiamo quindi ad una formulazione delle miscele Gaussiane in termini dilatenti discrete, ovvero variabili che non vengono mai osservate ma vengono introdotteper semplificare il problema di ottimizzazione. A tale scopo introduciamo una

variabilecasuale binaria con rappresentazione (perciò un particolare1-di-KK-dimensionale ~z7.2. GAUSSIAN MIXTURE MODELS 85elemento è uguale a 1 e tutti gli altri elementi sono uguali a Quindi i valori di0).zkcon la condizione che∈ {0, P1} = 1.z zk kkN.B: abbiamo possibili stati per il vettore a seconda di quale elemento è non nullo.K ~zQuindi definiamo la distribuzione congiunta in termini della distribuzione)p(~x, ~zmarginale e della distribuzione condizionale |) ).p(~z p(~x ~zIn particolare la distribuzione marginale è specificata in termini dei coefficienti di)p(~zmiscelazione . Ovvero, considerando un particolare valore , la distribuzioneπ zk kmarginale è definita come: = 1) =p(z πk k Kdove i coefficienti devono soddisfare le condizioni ed X≤ ≤0 1 = 1.π π πk k kk=1Poiché utilizza una rappresentazione allora possiamo riscrivere questa1-di-K~zdistribuzione marginale come: K zY) =p(~z π kkk=1Analogamente la

N(1) = (x, Σ)p(x | z, μ, k)

p(z | N) = (x, Σ)p(x | z, μ, k)

p(N) = Πp(x)Πp(z)

p(x | N) = (x, Σ)p(x)Σp(z)

.~znAbbiamo quindi trovato una formulazione equivalente della Gaussian mixture checoinvolge una variabile latente esplicita. In questo modo siamo in grado di sfruttare ladistribuzione congiunta invece che la distribuzione marginale Questo) ).p(~x, ~z p(~xcomporterà notevoli semplificazioni, in particolare attraverso l’introduzionedell’algoritmo Expectation-Maximization (EM).

Un’altra importante grandezza è la probabilità condizionale di dato . In particolare~z ~xutilizzeremo per indicare la probabilità condizionale il quale valore|) = 1 ),γ(z p(z ~xk kpuò essere trovato con il teorema di Bayes: |= 1)p(~x = 1)p(z zk k≡ |) = 1 ) =γ(z p(z ~xk k KX |= 1)p(~x = 1)p(z zj jj=186 CAPITOLO 7. UNSUPERVISED LEARNINGN |(~x Σ )π ~µ ,k k k= KX N |(~x Σ )π ~µ ,j j kj=1In particolare, rappresenta la probabilità prior di e la quantità= 1 )π z γ(zk k krappresenta la corrispondente

probabilità posterior (dopo avere osservato ).

Inoltre possiamo vedere come la (responsibility) assunta dalla responsabilità γ(zk componente per "giustificare" l'osservazione .k

Supponiamo di avere un dataset che vogliamo modellare utilizzando D {~x }= , ..., ~xN1 una mixture di Gaussiane (GMM). Possiamo rappresentare questo dataset come una matrice di dimensione la cui riga è definita da .Tn×X N D, n-esima ~x

Allo stesso modo le corrispondenti variabili latenti sono denotate da una matrice di Z dimensione la cui riga è definita da .T×N K, n-esima ~zn

Assumiamo che i dati siano indipendenti ed identicamente distribuiti (i.i.d.). Allora ~xn vogliamo massimizzare: N K( )X X| N |ln Σ) = ln (~x Σ )p(X ~π , ~μ , π ~μ ,k n k kn=1 k=1 che rappresenta il logaritmo della likelihood. Per massimizzare tale funzione dobbiamo calcolare le derivate rispetto a , e e porle a Σ 0. ~π ~μ Innanzitutto

calcoliamo il gradiente rispetto alla media :~µkN N |(~x Σ )π ~µ ,k n k kX− −0= Σ (~x )~µk n kN |P (~ Σ )π x ~µ ,j n j jjn=1NX⇒0 −= )Σ (~x )γ(z ~µnk k n kn=1 NMoltiplicando per e chiamando otteniamo:−1 XΣ = )N γ(zk nkk n=1N1 X= )~x~µ γ(zk nk nNk n=1N.B: possiamo interpretare come il numero effettivo di punti assegnati al clusterN k.kOsserviamo la forma di questa soluzione. Vediamo che la media per la~µ k-esimakcomponente Gaussiana si ottiene a partire dalla media pesata su tutti i punti deldataset in cui il peso del punto è dato dalla probabilità posterior che la)~x γ(zn nkcomponente si assuma la responsabilità di generare .k ~xnCalcoliamo il gradiente rispetto alla matrice di covarianza seguendo lo stessoΣkragionamento. In particolare otteniamo:N1 TX − −Σ = )(~x )(~x )γ(z ~µ ~µk nk n k n kNk