Analisi delle Componenti Principali

Analisi delle componenti principali

È una tecnica matematica non statistica.

Si applica solamente a variabili di tipo quantitativo e comunque su scale; è sconsigliato su scale variabili dicotomiche e disgiunte.

Per le qualitative effettuiamo l'analisi delle corrispondenze.

Scopo: Ridurre il numero di variabili limitando la perdita di informazione attraverso "poche" variabili non osservabili e non correlate tra loro.

Partiamo da un insieme di variabili Xj di dimensione p e dobbiamo arrivare ad un numero q q q q, in modo che la perdita di informazione sia il minimo possibile e le q componenti principali (CP) non devono essere osservabili e non correlate.

I vettori componenti principali sono costruite come combinazione lineare delle variabili osservate Xj in modo tale da riproporre un proporzione massima di variabilità totale che spiega tra le componenti principali: le righe sono combinazioni lineari e hanno la proprietà di farsi proiezioni ortogonali l'una con l'altra (si deduce che un nuovo paragrafo di variabili troffa.

CP1 → un'uguale porzione di variabili' totale pesante'.

CP2 → un'uguale porzione di variabili' totale pesante'.

Sono tutte incolerete e si volano in modo crescente.

Geometricamente

Sistene di punti IR^p e si vuole proiettare ciascun punto dell' insieme X su uno spazio affine di dimensione q q p in modo che che la nuvola dei punti sia sdramatta il meno possibile.

Esempio

Tra X₁ e X₂ ho una forte correlazione lineare (coinvolisendo lineare).

Riesto a riassumere, con una bassissima perdita informativa, utilizzando una sola dimensione anziché due.

Se ho una situazione di questo tipo:

Le CP può invece portato in nessuna sinvesi dei dati, poè colpa dei dati.

Analisi delle componenti principali

• È una tecnica matematica non statistica.
• Si applica solamente a variabili di tipo quantitativo e comunemente su scale; è sconsigliato su scale variabili dicotomiche e discontinue per le qualitative effettuiamo l’analisi delle corrispondenze.

SCOPO: Ridurre il numero di variabili limitando la perdita di informazione attraverso "poche" variabili non osservabili e non correlate tra loro.

Partiamo da un insieme di variabili X_j di dimensione p e dobbiamo arrivare ad un numero q.

I nuovi componenti principali sono costruite come combinazione lineare delle variabili osservate X_j in modo da riprodurre le proporzione massima di variabilità totale. Le faqnto tra le componenti principali, le q sono basate sulla linea e hanno la coorte di fornire risponsi angusti (andamento lineale) e sono detti il maggiore perare di variabilità totale.

CP1 — rapporto porzione di variabilità totale pestante.

CP2 — rapporto porzione di variabilità totale pestante.

Sono tutte incomplete e si svolgono in modo crescente.

Geometricamente

Dato un insieme di punti R^p si vuole proiettare ciascun punto dell’insieme X su uno spazio affine di dimensione g.

Esempio

Tra X₁ e X₂ ho una forte correlazione lineeare (accudimento lineare).

Risca realizzando, con una bassissima perdita informativa, utilizzando uno solo dimensionale aggiuntivo cioè.

Se ho una situazione di questo tipo:

Le CP una puno portato a nessuno sintesi dei dati, poi è colpa dei dati.

Come determinare le componenti principali

(A) Metodo analitico (metodo francese)

X_(uxp) → C_j tali che COV(C_i, C_j) = 0 espieghino la maggior parziale di variabilità totale.

Σ^u_j=1 σ_j² = Σ^p_j=1 VAR(x_j).

Componenti principali

C₁ = α₁₁ X₁ + α₁₂ X₂ + ... + α_1p X_p = Σ^p_j=1 α_1j x_j.

Combinazione lineare.

In forma vettoriale: c₁ = X_(ux1) α₁.

α₁ = [α₁₁ α₁₂ ... α_1p]^T.

max ^αV_α(C₁).

Vincolo ^αΣ₁α = 1.

Vetore normalizzato, è unitario se e solo se la combinazione precedente avviene con V_α(C₁) = V_α(Σ^p_j=1 α_1j x_j) = Σ^p_j=1 Σ^p_s=1 α_1jΣ_1s COV (X_jX_s) = Σ_jΣ₁α_1jV_(pxp) Σ_px1Σ_px1.

Condizione necessaria e sufficiente

Perché ci sia soluzione non banale è che det (Σ₁ - I_p) = 0.

Questa è l'equazione caratteristica di Σ.

Richiamiamo

• Σ è una matrice simmetrica.
• Gli autovalori sono reali (non necessariamente distinti).
• A autovalori corrispondono a autovettori distinti, sono ortogonali.
• Se m autovalori, ho molteplicità, m ≤ t è possibile scegliere un m-lisce tale che t autovettori sono altri ortogonali.

λ₁ : max V_(C1) = Σ^TΣ₁Σ_j=1Σ^TΣ₁Σ_1j.

Autovalore max ∑ coincide con la varianza della prima componente principale se λ₁ ∑_j=1^p λ_j = % di variabilità spiegato da CP1.

Com'è la seconda CP?

C₂ = ∑_j=1^p a_2j x_j → C₂ = X a₂ tale che.

(1) Var (C₂) max stesse della C₁.

a₂^T ∑ a₂ = 1.

Cov (C₁, C₂) = 0.

Cov (C₁, C₂) = 1/m C₁^T C₂ = 1/m (X a₁)^T (X a₂) == 1/m a₁^T X^T X a₂ = a₁^T ∑ a₂ = a₁^T ∑_l=1¹ (a₁^T a₂).

a₁^T ∑ a₁ = 1 → Cov (C₁, C₂) = a₁^T ∑ a₂ = 0.

Quindi a₁ e a₂ sono tra loro ortogonali.

Ritornando al sistema (1).

a₂^T ∑ a₂ - λ₂ (a₂^T ∑ a₂ - 1) - μ (a₁^T a₂) = 0.

∂V/∂a₂₁ = 2∑ a₂ - 2λ₂ a₂ - μ a₁ = 0.

∂V/∂λ₂ = a₂^T a₂ - 1 = 0.

∂V/∂μ = a₁^T a₂ = 0 vincolazione.

• λ₂ è l'autovalore della seconda CP.
• λ₃ è l'autovalore della 3° CP.
• Associato a a₂ e ortogonale a a₁.

Per tutte le CP si procede analogamente.

Generalmente si avrà λ_j = Var (c_j).

a_j^T a_j = 1.

a_j^T a_s = 0.

j|s = 1...p.

λ₁ ≥ λ₂ ≥ ... ≥ λ_p.

Le CP sono ordinate in ordine di variabilità spiegata.

La procedura si può iterare al massimo p volte perché X ha rango p.

Le CP hanno varianza λ_k e così creiamo Σ_c = [ λ₁ 0 ] = D_λ[ 0 λ_p ].

A = [Θ₁, ..., Θ_p]      C = [c₁, ..., c_p].

C = X A^{(u x p)}        _{uxp        uxp      p x p}.

Σ_x A = A∙D₁.

A^T A = I.

Quindi D₁ = 1/m C^T C = 1/m ( X^T )( X A ) = 1/m A^T X^T X A == A^T Σ_x A = A^T A D₁ = D₁.

A diagonalizza Σ.

La varianza totale e la varianza generalizzata delle CP coincidono con quelle delle variabili precedenti cioè.

a  Σ Vαr (C_j) = Σ Vαr (X_j) = Σλ_j  j=1    j=1.

Perché Σ Vαr (C_j) = Σλ_j = tr (D₁) = tr (A^T Σ_x A) == tr (A^T A Σ) = tr (Σ).

A varianza generalizzata det (D₁) = det (Σ_x).

|D₁| = Π λ_j = |A^T Σ_x A| = |A^T| |Σ_x| |A| == |A^T A| |Σ_x| = |Σ_x|.

In pratica le X₁ e X₂ vengono trasformate in C₁ e C₂ e la variabilità dei dati viene toccata(diagram).

Se standardizzo le mie variabili z_j: cioè passo a z_j, si diagonalizza Σ_z = RR = [1   1]     ρ[1   ρ_j].

Σ Vαr (z_j) = ρ.

CP = ρ₁ x₁ + ρ₂ x₂ +... + ρ_p x_p.

Esempio

10 Bambini.

X₁ = memoria visiva (punteggio 1-10).

X₂ = memoria motitiva (punteggio 1-10).

X = CENTROIDE.

μ = [_{5.5 6}].

Σ =

Prima componente principale

det (Σ - λ₁I) = 0.

R = - 5,21 - λ₁ (3 - λ₁) - 2,8² = 0.

λ₁² - 8,21 λ₁ + 7,79 = 0.

λ_1,2 = Ho due autovalori.

Vαr (C₄) = λ₁ = 7,105.

Vαr (C₂) = λ₂ = 1,095.

(Σ - λ₁I) z₁ = 0.

VINCOLO.

Sotto il vincolo trovo la soluzione:

z₁₁ = 0,8269.

z₂₁ = 0,5625.

CP1 = 0,8269 x₁ + 0,5625 x₂.

V(CP₁) = λ₁ = 7,105.

% varianza spiegata = = 0,8666 = 86%.

La prima CP mi spiega più dell'86% della varianza totale.

CP1 = 0.8269 · 5 + 0.5625 · 6 = 7.51.

CP2 = 0.8269 · 8 + 0.5625 · 6 = 9.99.

CP3 = 0.8269 · 9 + 0.5625 · 7 = 11.38.

CP4 = 0.8269 · 2 + 0.5625 · 5 = 4.47.

CP5 = 0.8269 · 4 + 0.5625 · 4 = 5.56.

CP6 = 0.8269 · 3 + 0.5625 · 5 = 5.29.

CP7 = 0.8269 · 8 + 0.5625 · 9 = 11.68.

CP8 = 0.8269 · 5 + 0.5625 · 7 = 8.07.

CP9 = 0.8269 · 6 + 0.5625 · 8 = 9.46.

CP10 = 0.8269 · 3 + 0.5625 · 3 = 4.17.

In forma tabellare

(B) Metodo geometrico

Rette di regressione con metodo dei minimi quadrati.

Siamo C_i e c_i i coseni direzionali di P e Q quindi.

d²(P, Q) = d²(P, o) - d²(Q, o).

d²(P, o) = ∑_i=1ⁿ C_i².

d²(Q, o) = ∑_i=1ⁿ d_iC_i².

cos(α;) = ∑_i=1ⁿ c_iC_i / ∑_i=1ⁿ d_iC_i = P/d.

cos(α;) = d(o, Q) / d(o, P) = d(o, P)/d = ∑2ic_i.

d²(P;Q) = ∑_i=1^r [∑_j=1^M (a_j - μ;)² - ∑(ã_i - μ;)a_i²].

Consideriamo un generico individuo X_j, allora.

S = m/N ∑_i=1^r ∑_j=1^M (X_j - μ;)² [∑_j=1^M (X_j - μ;)C_j²]... rispetto ad un generico punto μ; (_ui).

Adesso devo minimizzare le totto rispetto a m.

dS/dμ; = ∑_i=1^N (X_j - μ;) + ∑_i=1^M (X_j - C_j)C_j = 0.

Quindi sarà soluzione è dato da μ; = M(X).

X̄_j = X_j - μ;.

S = m ∑_i=1^r G_j² (∑_i=1^m (X̄_j - C_j)² sotto il vucuco.

∑_i=1^N C_j² = 1.

Devo minimizzare S rispetto a C_j sotto le vucco e significa applicare lagrange.

min gS∑_i=1^N C_j² = 1 lagrangiana S - ∧(∑C_j² - 1).

∂S - ∧(∑C_j² - 1) = 0 ......

∑_j=1^m C_j μ; G_m + 2 λ;C_k = 0.

∑_c = λ_c ∑ X_X=1,...p minimi quadrati sulle distanze.

ý_i = a_ij x₁ + a_{xj x}.

{∑A = AD₁ AΛA = I.

Ȱ_j = Vα_i (ý_{i j}) λ_j λ₁ ≥ λ₂ ... ≥ λ_p.

∑_j=1^p λ_j = ∑_j=1^p τότεσ.

Il problema dal punto di vista operativo è la scelta delnumero delle componenti cioè la scelta dell'arnesto.

Quindi devo scegliere le CP junigioni che devonospiegore il più possibile della variance totdo cioè la di∑_j=1^j λ_j deve essere più "grande" possibile.

Non esiste un criterio principale per scegliere le vieie componenti.

Criteri

1) 9