Analisi delle Componenti Principali

Analisi delle Componenti Principali

• È una tecnica matematica non statistica
• Si applica solamente a variabili di tipo quantitativo e comunque su scale; è sconsigliato su scale variabili dicotomiche e disgiunte
• Per le qualitative effettuiamo l'analisi delle corrispondenze

Scopo: Ridurre il numero di variabili limitando la perdita di informazione attraverso "poche" variabili non osservabili e non correlate tra loro

Partiamo da un insieme di variabili Xj di dimensione p e dobbiamo arrivare ad un numero q q q q, in modo che la perdita di informazione sia il minimo possibile e le q componenti principali (CP) non devono essere osservabili e non correlate.

I vettori componenti principali sono costruite come combinazione lineare delle variabili osservate Xj in modo tale da riproporre un proporzione massima di variabilità totale che spiega tra le componenti principali: le righe sono combinazioni lineari e hanno la proprietà di farsi proiezioni ortogonali l'una con l'altra (si deduce che un nuovo paragrafo di variabili troffa

CP1 → un'uguale porzione di variabili' totale pesante'

CP2 → un'uguale porzione di variabili' totale pesante'

sono tutte incolerete e si volano in modo crescente.

Geometricamente

Sistene di punti IR^p e si vuole proiettare ciascun punto dell' insieme X su uno spazio affine di dimensione q q p in modo che che la nuvola dei punti sia sdramatta il meno possibile.

Esempio

Tra X₁ e X₂ ho una forte correlazione lineare (coinvolisendo lineare)

Riesto a riassumere, con una bassissima perdita informativa, utilizzando una sola dimensione anziché due.

Se ho una situazione di questo tipo:

Le CP può invece portato in nessuna sinvesi dei dati, poè colpa dei dati

ANALISI delle COMPONENTI PRINCIPALI

- È una tecnica matematica non statistica

- Si applica solamente a variabili di tipo quantitativo e comunemente su scale; è sconsigliato su scale variabili dicotomiche e discontinue per le qualitative effettuiamo l’analisi delle corrispondenze.

SCOPO: Ridurre il numero di variabili limitando la perdita di informazione attraverso "poche" variabili non osservabili e non correlate tra loro

Partiamo da un insieme di variabili X_j di dimensione p e dobbiamo arrivare ad un numero q < p, in modo che la perdita di informazione sia il minore possibile e le q componenti principali (CP) una devono essere osservabili e non correlate.

I nuovi componenti principali sono costruite come combinazione lineare delle variabili osservate X_j in modo da riprodurre le proporzione massima di variabilità totale. Le faqnto tra le componenti principali, le q sono basate sulla linea e hanno la coorte di fornire risponsi angusti (andamento lineale) e sono detti il maggiore perare di variabilità totale

CP1 — rapporto porzione di variabilità totale pestanteCP2 — rapporto porzione di variabilità totale pestante

Sono tutte incomplete e si svolgono in modo crescente

GEOMETRICAMENTE

Dato un insieme di punti R^p si vuole proiettare ciascun punto dell’insieme X su uno spazio affine di dimensione g < p in modo che le nuvole dei punti sia deformata il meno possibile.

ESEMPIO

tra X₁ e X₂ ho una forte correlazione lineeare (accudimento lineare)

Risca realizzando, con una bassissima perdita informativa, utilizzando uno solo dimensionale aggiuntivo cioè

Se ho una situazione di questo tipo:

le CP una puno portato a nessuno sintesi dei dati, poi è colpa dei dati

COME DETERMINARE LE COMPONENTI PRINCIPALI

(A) METODO ANALITICO (metodo francese)

X_(uxp) → C_j tali che COV(C_i, C_j) = 0 e

spieghino la maggior parziale di variabilità totale

Σ^u_j=1 σ_j² = Σ^p_j=1 VAR(x_j)

COMPONENTI PRINCIPALI:

C₁ = α₁₁ X₁ + α₁₂ X₂ + ... + α_1p X_p = Σ^p_j=1 α_1j x_j

combinazione lineare

In forma vettoriale: c₁ = X_(ux1) α₁

α₁ = [α₁₁ α₁₂ ... α_1p]^T

max ^αV_α(C₁)

vincolo ^αΣ₁α = 1

vetore normalizzato, è unitario se e solo se la combinazione precedente avviene con

V_α(C₁) = V_α(Σ^p_j=1 α_1j x_j)

= Σ^p_j=1 Σ^p_s=1 α_1jΣ_1s COV (X_jX_s)

= Σ_jΣ₁α_1j

V_(pxp) Σ_px1Σ_px1

CONDIZIONE NECESSARIA E SUFFICIENTE

perché ci sia soluzione non banale è che

det (Σ₁ - I_p) = 0

questa è l'equazione caratteristica di Σ

RICHIAMIAMO

Σ è una matrice simmetrica

• gli autovalori sono reali (non necessariamente distinti)
• a autovalori corrispondono a autovettori distinti, sono ortogonali
• se m autovalori, ho molteplicità, m ≤ t è possibile scegliere un m-lisce tale che t autovettori sono altri ortogonali

λ₁ : max V_(C1) = Σ^TΣ₁Σ_j=1

Σ^TΣ₁Σ_1j

autovalore max ∑ coincide con la varianza della prima componente principale se

λ₁ ∑_j=1^p λ_j = % di variabilità spiegato da CP1

Com'è la seconda CP?

C₂ = ∑_j=1^p a_2j x_j → C₂ = X a₂ tale che

(1) Var (C₂) max stesse della C₁

a₂^T ∑ a₂ = 1

Cov (C₁, C₂) = 0

Cov (C₁, C₂) = 1/m C₁^T C₂ = 1/m (X a₁)^T (X a₂) =

= 1/m a₁^T X^T X a₂ = a₁^T ∑ a₂ = a₁^T ∑_l=1¹ (a₁^T a₂)

a₁^T ∑ a₁ = 1 →

Cov (C₁, C₂) = a₁^T ∑ a₂ = 0

quindi a₁ e a₂ sono tra loro ortogonali

Ritornando al sistema (1)

a₂^T ∑ a₂ - λ₂ (a₂^T ∑ a₂ - 1) - μ (a₁^T a₂) = 0

∂V/∂a₂₁ = 2∑ a₂ - 2λ₂ a₂ - μ a₁ = 0

∂V/∂λ₂ = a₂^T a₂ - 1 = 0

∂V/∂μ = a₁^T a₂ = 0 vincolazione

{ λ₂ è l'autovalore della seconda CP

{ λ₃ è l'autovalore della 3° CP

{ associato a a₂ e ortogonale a a₁

Per tutte le CP si procede analogamente.

Generalmente si avrà

λ_j = Var (c_j)

a_j^T a_j = 1

a_j^T a_s = 0

j|s = 1...p

λ₁ ≥ λ₂ ≥ ... ≥ λ_p

le CP sono ordinate in ordine di variabilità spiegata

la procedura si può iterare al massimo p volte perché X ha rango p

le CP hanno varianza λ_k e così creiamo

Σ_c = [ λ₁ 0 ] = D_λ

[ 0 λ_p ]

A = [Θ₁, ..., Θ_p]      C = [c₁, ..., c_p]

C = X A

^{(u x p)}       _{uxp       uxp     p x p}

Σ_x A = A∙D₁

A^T A = I

quindi

D₁ = 1/m C^T C = 1/m ( X^T )( X A ) = 1/m A^T X^T X A =

= A^T Σ_x A = A^T A D₁ = D₁

A diagonalizza Σ

La varianza totale e la varianza generalizzata delle cp coincidono con quelle delle variabili precedenti cioè

a  Σ Vαr (C_j) = Σ Vαr (X_j) = Σλ_j

  j=1    j=1

perché

Σ Vαr (C_j) = Σλ_j = tr (D₁) = tr (A^T Σ_x A) =

= tr (A^T A Σ) = tr (Σ)

a varianza generalizzata

det (D₁) = det (Σ_x)

|D₁| = Π λ_j = |A^T Σ_x A| = |A^T| |Σ_x| |A| =

= |A^T A| |Σ_x| = |Σ_x|

In pratica le X₁ e X₂ vengono trasformate in C₁ e C₂ e la variabilità dei dati viene toccata

(diagram)

Se standardizzo le mie variabili z_j: cioè passo a z_j, si diagonalizza Σ_z = R

R = [1   1]

     ρ

[1   ρ_j]

Σ Vαr (z_j) = ρ

CP = ρ₁ x₁ + ρ₂ x₂ +... + ρ_p x_p

ESEMPIO

10 Bambini

X₁ = memoria visiva (punteggio 1-10)

X₂ = memoria motitiva (punteggio 1-10)

X =

CENTROIDE

μ = [_{5.5 6}]

Σ =

1. Prima componente principale

det (Σ - λ₁I) = 0

R =

- 5,21 - λ₁ (3 - λ₁) - 2,8² = 0

λ₁² - 8,21 λ₁ + 7,79 = 0

λ_1,2 =

Ho due autovalori

Vαr (C₄) = λ₁ = 7,105

Vαr (C₂) = λ₂ = 1,095

(Σ - λ₁I) z₁ = 0

VINCULO

Sotto il vincolo trovo la soluzione:

z₁₁ = 0,8269

z₂₁ = 0,5625

CP1 = 0,8269 x₁ + 0,5625 x₂

V(CP₁) = λ₁ = 7,105

% varianza spiegata =

= 0,8666 = 86%

La prima CP mi spiega più dell'86% della varianza totale

CP1 = 0.8269 · 5 + 0.5625 · 6 = 7.51

CP2 = 0.8269 · 8 + 0.5625 · 6 = 9.99

CP3 = 0.8269 · 9 + 0.5625 · 7 = 11.38

CP4 = 0.8269 · 2 + 0.5625 · 5 = 4.47

CP5 = 0.8269 · 4 + 0.5625 · 4 = 5.56

CP6 = 0.8269 · 3 + 0.5625 · 5 = 5.29

CP7 = 0.8269 · 8 + 0.5625 · 9 = 11.68

CP8 = 0.8269 · 5 + 0.5625 · 7 = 8.07

CP9 = 0.8269 · 6 + 0.5625 · 8 = 9.46

CP10 = 0.8269 · 3 + 0.5625 · 3 = 4.17

In forma tabellare

x₁x₂CP567.51869.999711.38254.47445.56355.298911.68578.07689.46334.17

(B) METODO GEOMETRICO

Rette di regressione con metodo dei minimi quadrati

Siamo C_i e c_i i coseni direzionali di P e Q quindi

d²(P, Q) = d²(P, o) - d²(Q, o)

d²(P, o) = ∑_i=1ⁿ C_i²

d²(Q, o) = ∑_i=1ⁿ d_iC_i²

cos(α) = ∑_i=1ⁿ c_iC_i / ∑_i=1ⁿ d_iC_i = P/d

cos(α) = d(o, Q) / d(o, P) = d(o, P)/d = ∑2ic_i

d²(P;Q) = ∑_i=1 ^r [∑_j=1 ^M (a_j - μ)² - ∑(ã_i - μ)a_i²]

Consideriamo un generico individuo X_j, allora

S = m/N ∑_i=1 ^r ∑_j=1 ^M (X_j - μ)² [∑_j=1 ^M (X_j - μ)C_j²]

... rispetto ad un generico punto μ (_ui).

adesso devo minimizzare le totto rispetto a m.

dS/dμ = ∑_i=1 ^N (X_j - μ) + ∑_i=1 ^M (X_j - C_j)C_j = 0

quindi sarà soluzione è dato da μ = M(X)

X̄_j = X_j - μ

S = m ∑_i=1 ^r G_j² (∑_i=1 ^m (X̄_j - C_j)² sotto il vucuco

∑_i=1 ^N C_j² = 1

devo minimizzare S rispetto a C_j sotto le vucco e significa applicare lagrange

min gS∑_i=1 ^N C_j² = 1 lagrangiana S - ∧(∑C_j² - 1)

∂S - ∧(∑C_j² - 1) = 0 ......∑_j=1 ^m C_j μ G_m + 2 λC_k = 0

∑_c = λ_c ∑ X_X=1,...p

minimi quadrati sulle distanze

ý_i = a_ij x₁ + a_{xj x}

{∑A = AD₁ AΛA = I

Ό_j = Vα_i (ý_{i j}) λ_j λ₁ ≥ λ₂ ... ≥ λ_p

∑_j=1 ^p λ_j = ∑_j=1 ^p τότεσ

Il problema dal punto di vista operativo è la scelta delnumero delle componenti cioè la scelta dell'arnestoquindi devo scegliere le CP junigioni che devonospiegore il più possibile della variance totdo cioè la di

∑_j=1 ^j λ_j

deve essere più "grande" possibile

Non esiste un criterio principale per scegliere le vieie componenti

CRITERI

1) 9