Appunti statistica multivariata parte 2

Stima dei Minimi Quadrati Pesati del Modello di Classificazione

Una prima osservazione che facciamo è:

E(x_i) = X_i^u, V_i = 1,..., N

Idea: Se abbiamo una popolazione eterogenea avremo una media X che fa riferimento a quella popolazione. Consideriamone un cluster K, avremo una certa media.

Var(x_i) = Σ _x, V_i = 1,..., N

Modello eteroschedastico: Media diversa e elevata

Obiettivo: Minimizzare ∥ X - UX ∥_w² = Σ_i,k α_ik w_ik ∥x_i - ux_m ∥_w ...

Vincoli:

1. Σ_ik α_ik = 1, V_i = 1,..., N
2. Σ_{i: i ∈ Gl} α_ik ∈ ...

Ottimizzazione:

Σ_ik α_ik ...

Pu risolvere il problema devo utilizzare un ALGORITMO A COORDINATE DISCENDENTI

COME FUNZIONA?

Io ho una funzione obiettivo a PIÙ VARIABILI; fisso tutte le variabili del problema da sto minimizzando -1-1 variabile e trovo il minimo della funzione obiettivo per quella variabile. Una volta trovato tele minimo la funzione obiettivo nel suo insieme DECRESE.

Dopo punto in avanti la variabile e faccio la stessa operazioni. Alla fine ricalcolo il valore della funzione obiettivo e lo CONFRONTO con il valore precedente della P. obiettivo, ovvero quello dell’inizio del processo. Se la differenza = Σ e grande a piacere, allora continuiamo a fare queste operazioni, cambiando nuovamente I. valore di paragone.

Quando l’algoritmo si ferma non e’ assicurato che quel valore sia di OTTIMO GLOBALE perché non è un problema polinomiale.

Però se lo facciamo 10 volte e per 9 volte troviamo lo stesso valore allora posso esso soddisfatto.

Algoritmo K-medie

• Inizializzazione _{da fare 5 volte per i.-5-; prendo un punto 3 arbitraria (senza icaso int_ rifetta onda nel insieme 3) calcolo -g-.}
• Step 1: Aggiornamento di U _{per i° 1 centroid φ; per (in d)p   Χ.}
• Step 2: Aggiornamento do X _{media per tutti i punti ut (inserisci) f/m per tutti & punti di tyre +0 (calcolato) C (Campionatura opportuna) campionatura casuale atray.}
• Regali: si calcola il valore di f (per ogni iterazione nel (p un dei punti di arbitrario, a piacere arbitraria, piccola a piacere) e calcolo ogni valor

Alla fine di momento di attività per gli step 1 e 2. Diventando, a minima -1- e multipli tele iterazioni f(x) non cresce. L’algoritmo si ferma se per g (Valori lil non è pennuto a w a/dalo U a midar w di candomo altro).

Quando ho finito tutti n. mezzo il tempo e   stoppo sulla il documento del branch.

Sto dividendo quel é il volere *** di PIÙ VICINO alla distinzioni che sono fornitè delle mini

MEDI STATISTICA di  in corrono un cluster.

SOLUZIONE DI|| _{U -( ^__ ) X^**-:||} La soluzione do dos dello con una misure e caso _{c fisico awesys diposina proiettato}

Amavo la X e ru una diverente -0-

x-e razeramento o di module cruciale.

✏️ Stiamo MINIMIZANDO ||y-(_{l ^-X} )^** ||_β^T

_Nota

Se ma di D il la matrici restitute _{perentuitifo porcelain}:

X=^u __ul

Matrici astratta

_X XV X=_(u^* )^{_{- V}} X

K-MEDIE FUZZY

La soluzione di questo problema si ottiene con un algoritmo di minimi quadrati alternati.

Algoritmo K-medie fuzzy

A partire da un insieme casuale di centroidi.

per i parametri attuali,_k=1,...,K

Si calcola la funzione f(U,M₀) per gli attuali vettoriU_j Quando i tale aggiornamenti hanno ridotto considerevolmente (più di una costante arbitraria, placcia o piacere) il valore della funzione f(U,M) esse aggiornati una volta ancora eseguo gli del step 1, 2.Diversamente, il processo si ritiene abbia raggiunto la convergenza.

[Xm, UOtt]=fcm(X, K, options);

• Input
• X matrice dei dati (n x J),
• K numero dei clusters,
• Options (1) esponente (default 2)
• Output Ottimo (tra gli starting random)
• U vettore di classificazione ottima
• Xm matrice dei centroidi

Esempio calcola -means fuzzy

• Fxd=load(’fcmdata.dat’);
• fcm (load(’fcmdata2.dat’),2,’o’);
• [Xm,U,obj]=fcm(X,2);

figure

plotObjF(U); title(’Valori Funzione Obiettivo ’); xlabel(’Iterazioni ’);ylabel(’Valori Funzione Obiettivo’)

MiuUi= 0 := max(U);

figure

line(find(fcmdata(find(U==1),1)),fcmdata(find(U==:2),3),...line(find(fcmdata(find(U==2),1)),fcmdata(find(U==2),2),’linestyle ’,’none’,’marker ’, xl’,’color’,hold on

plot(center(:,1),center(2),’linestyle ’, ’o’,’markerSize’,’lineWidth’,3);

ALTRI CRITERI

Marriott, 1982

Table 1. Clustering criteria and changesCriterionChange 1.   2.   3.   4.   5.   6.   7. 2logLoglog, log α _t log(di);

I primi tre criteri sono basati su una analysis multivariata della varianza (Friedman & Rubin, 1967)Tutti e tre tendono a definire clusters di forma simile e di dimensione uguale.Il quarto e quinto criterio sono basati su una diversa funzione di W.(, )... Poichè non assumo una forma semplice essi dispongono loro evitano di forzare i clusters ad avere forma simile.Gli ultimi due criteri (Symon, 1981) sono modifiche del secondo e quarto e evitano di forzare i cluster ad avere forma simile.

GAUSSIAN MIXTURE MODEL

La popolazione è composta da ● sottopopolazioni

In notazione

• π₁, π₂, ..., π_K, π_K = stima
• Σ_k=1^Kπ_K= 1
• Assunzioni Distribuzionali
• X_i | V = v_i ~ N_j (μ_j, Σ_i)

Assumiamo un chartale c

segnale con K

1. Uguale a identità di lunghezza unitaria.
2. Distribuzioni gaussiane multivariate testo scritto che combina & (quelle dei componenti)

PROBLEMA:

• max_A(K)Σ Vik ln N_j(μ_k, Σ_j) = Σ Vik lnσ

π_K ≥ 0; ∑_k=1^Kπ_K = 1

V_i≥ 0; l = 1(8 π

Probabilità a posteriori

Ricordiamo la distribuzione multinomiale

P(x_i|μ_i,Σ_i) = [2π]^-m/2|Σ_i|^-1/2

Exp{1⁄2 Σ_i X_i (x_i-μ_j)}

Distanza di Mahalanobis

Nel caso σ ovvero Σk = matrix identity

la distanza diventa Euclidea e avviciniamoci al K-means come metodo

Stime di diversi vettori:

Sappiamo che l'algoritmo ha due step_{1 optamento, maximization}Calcoliamo & P.A postenori

Parametri della distribuzione tenute

Come?

1. M_k = X_iV_ik

   Annacriani prendente con la P.A. postenori tende a multiplizzare

   shiftamento di una liberazione che avvicina ma non allontana le due osservazioni

2. Σ_k = NXi-μ_iV_i^k

   Σi = Identità distribuzione violazione state convergenza multinormalità

   Caso eteroschedastico. Ogni cluster ha uno sua struttura di varianza e covarianza

3. ^KNΣΣ_K=1^K Vik

   Non varia a seconda del cluster caso omoschedastico

4. Caso isotropico

   Erno ha prova della diagonarità come vector S.Q