Appunti statistica multivariata parte 2

Stima dei minimi quadrati pesati del modello di classificazione

Una prima osservazione che facciamo è:

(1)_E(X) = _iX'_i u_i, ∀ i = 1,..., N

Idea

Se abbiamo una popolazione eterogenea, avremo una matrice media _iX che si riferisce a quella popolazione. Consideratamente a un cluster K, noi avremo una sub media.

Modello omoschedastico

(1^a) Var(X_i | x_i) = Σ x_i, ∀ i = 1,..., N

Stessa matrice di covarianze e convenienze per tutti i clusters

Modello eteroschedastico

(1^b) Var(X_i | x_i) = Σ x_i, ∀ i = 1,..., N

Matrice diversa e dedicata

Obiettivo

Minimizzare ‖X - U_Α;X‖_w² = Σ_ik w_ik ‖x_i - μ_k‖_w² = Σ_ik w_ik (X[ x_i - μ_k ]'( X[ x_i - μ_k ])

Somma di U rispetto a stochastic per NAG e U
Matrice di peso nell'analisi della problematica
La norma di un vettore è uguale alle tracce del vettore trasposto per ottuso

Vincoli

• Σ_k w_ik = 1, i = 1,..., N
• ε₀ (w_ik) ∈ {0,1}, i = 1,..., N
• Σ_k μ_k ∈ {0,1}, k = 1,..., K

Binari

Somma dei quadrati tra due clusters, la differenza si trova C. continua ottimizza

Ottimizzazione

(Σ_ik w_ik |x_i - μ_k |_w², m _ik Σ_k, m _k k = 1,..., K

Stima dei minimi quadrati pesati del modello di classificazione

Una prima assunzione che facciamo è:

E(_Xik) = ∑_j X_j^tu_j     ∀ i = 1, …, N data una popolazione omogenea

Idea

Si utilizza una popolazione eterogenea assumendo una matrice media X che si rifà a quella popolazione. Condizionatamente a un cluster K, noi abbiamo una certa modalità.

Modello eteroschedastico

Var(X_i) = ∑_x     ∀ i = 1, …, N Stima motivi di covarianza e varianze per TUTTI i clusters

a) Var(x_i) = ∑_ik     ∀ i = 1, …, N Modello eteroschedastico Matrice diversa di derate

Obiettivo

Minimizzare || X - UX ||²_w = ∑_ik w_ik ||x_i - µ_ik||²_w = ∑_ik w_ik L_w[ (X_ia - µ_ig)^tw'_(xik)]

Matrici di pesatura in base alla posizione della miscela di probabilità che si basa sulla stima di varianza.
La somma di un vettore è uguale alla traccia del vettore trasposto per ottuso.
Somma delle X - UX
Sfruttare dati negativa

Vincoli

1. ∑_ik w_ik = 1     ∀ i = 1, …, N
2. m_i ∈ {0,1}     m_ik = 1; k = 1,…, K

^Binari Problema Quadratico

Somma dei quadrati tra due dati diversi ma comuni: tutti i dati devono sommare a uno.

Ottimizzazione

p( U, X) = || X - UX ||²_w = ∑_ik ||x_i - µ_ik||²_w∑_ik w_ik m_i = k = 1,…, K min     continua dualità

Può risolvere il problema dove utilizziamo un ALGORITMO A COORDINATE DISCENDENTI

Come funziona?

Io ho una funzione obiettivo a più variabili; fisso tutte le variabili del problema da minimizzare una variabile e trovo il minimo della funzione obiettivo per quella variabile. Una volta fissato tale minimo, la funzione obiettivo nel mio insieme decrease. Dopo prendo un’altra variabile e faccio la stessa operazione. Alla fine, ricalcolo il valore della funzione obiettivo e lo confronto con il valore precedente della funzione obiettivo, ovvero quello dell’inizio del processo. Se la differenza ≤ ε è grande a piacere, allora continuiamo a fare queste operazioni, cambiando ordinatamente il valore di paragone. Quando l’algoritmo si ferma, non è omnicato che quel valore sia di ottimo globale poiché non è un problema polinomiale. Però se lo lanciamo 10 volte e per 8 volte troviamo lo stesso valore, allora penso siamo soddisfatti.