Appunti statistica multivariata - parte 3

Il metodo del calcolo delle componenti principali

Problema di massimo vincolato

Definire il calcolo delle componenti principali come un problema di massimo vincolato, in effetti noi vogliamo:

max \( a_i^t \Sigma x a_i \)

Risoluzione problema: Lagrangiano

Soluzione: \(\Sigma x - \lambda I\) con i vincoli scritti come t.a. e condizioni di ortogonalità

Polinomio caratteristico \(\Sigma x\).

Per massimizzare si sceglie l’autovalore massimo e quindi \( a_1 \) con l’autovettore di \(\Sigma x\) associato.

La seconda componente principale

\( y_2 \):

1. Due variabili principali ortogonali

max \( a_i^t \Sigma x a_i \)

Vincolo di ortogonalità

Risoluzione problema: Lagrangiano

Soluzione

Autovalori di \(\Sigma x\) ordinati e indicati

Covarianza

Vincolo ortogonalità

Il metodo più matematico

Problema di massimo vincolato

Definire il calcolo delle componenti principali come un problema di MASSIMO vincolato, in effetti noi vogliamo:

1. max (a_i²∑ x_a)

||a|| _R1norma della prima componente principale

a_i² + ... + a__1-1² = 1, Sommatoria dei quadrati dei pesi = 1

Risoluzione Problema: Lagrange

L_1 = a_i² ∑ x_a _{L_1}(a_i², a_₁...a__i-1)

∂L_1/∂a_i= 2a_i²x_a= 2a_xa= 0

∂L_1/∂x_a_i= x_a= 0

det|∑ x_a - a_i I|= 0

POLINOMIO CARATTERISTICO di ∑ x_a

DEFINITA POSITIVA □ SEMPLICITA POSITIVA

Autovalori tutti non negativi

Per MASSIMIZZARE si sceglie l'autovalore massimo e quindi a_i con l'autovalore di ∑x associato

La seconda componente principale

Ricordo che:

1. ∂/∂a_i(a_i₂∑ x_a) = (∑ x + ∑ x) ²a_u

[∑ x puoi i SIMMETRICA]

1. ∂/∂a_i(a_i₁-1) = 2a_i

□La seconda componente principale y_i: X_a₂ dove essere ORTOGONALE alla prima: y_i ₁ X_a = X_a₄

1. a_²i = 0

a__i, a__i-1 = 0^{coefficiento ORTONORMALI}

a_i, a__i = 0 questo vincolo si anima con:

A | cov(y_n,y_i) = ∂/∂x Σ_Bk Val(X_α) Conndino Imessa:α^h (α)_X(α).α_iBAB^{h 1} _iλ, α_j

2. Possiamo richiamare la VARIANZA TOTALE di Σ_i, infatti la varianza totale di X è UGALE alla varianza total di X quando H=J.

Question

λ²(_e/eι) miniax la parte di varianza totale di X spiegata dalla prima Ncomposta PRINCIPALE.

Come: λ(²/λ)