Appunti statistica multivariata - parte 3

II METODO più MATEMATICO

Definire il calcolo delle componenti principali come un problema di massimo vincolo. In effetti, noi vogliamo:

mass (a_itΣx a) con a_it = 1

Risoluzione Problema: Lagrange,

Soluzione: {Σx - lI} a₁ = 0

det|Σx - lI| = 0

Polinomio Caratteristico di Σx

L’autovalore l con segno.

Per massimizzare si sceglie l’autovalore massimo e quindi a₁ con l’autovalore di Σx associato

1. La seconda componente principale y₂ = Xa₂, deve essere ortogonale alla prima y₁ = Xa₁. Dove:
2. a₁tΣx a₂ = 0

a₁t a₂ = 0 quindi vincolo ci annuncia che:

cov(y₁,y₂) = t (a₁Σx a) + t (a₁ a₂t Σx)

Risoluzione Problema: Lagrange

1. Ricordo che: ∂/∂a₁ (a_iΣx a) = (Σx + Σx) a₁
2. ∂/∂a₁ (a₁ - 1) t a₁

Metodo

Si opera attraverso i residui; abbiamo detto che:

• si possono costruire Σ_x e calcolare autovalori e autovettori; a primi; quindi la 1^a componente (con la X parte del metodo precedente).
• Costruiamo la matrice dei residui: Σ_{X - Xa1α} autovalore massimo.
• Da una prova estrarre la 2^a componente.

In generale: σ_h = max ασ_X = Σ_{i, j} λ_i a_ij a_i[al quadrato], h = 2, ..., H

Σ_ai² = 1

Proprietà Componenti Principali

1. Le L componenti X₁,...X_L hanno varianza b²_Y1, λ₁, b²_Y2, λ₂, ..., b²_YL, λ_L, poi ai primi L Più grandi autovalori λ Σ. Questo deriva dalla:

Scomposizione Spettrale Σ_X = BΛB^T → b_i = Var(X_α) combinazione lineare di x_i Σ_ai colonne di matrice B

= aiγBΛB^T x_α

= aiγBΛb_α x_α

2. Possiamo riscrivere la varianza totale di Σ_x; infatti la varianza totale di X è uguale alla varianza totale di Y quando H = J.

t_ΣX(X) = t_ΣX(BΛB^T) = t_X(BΛ) Σ_j=1 λ_j Σ_j=1 Σ_bij; t_X(ΣY)

Quota:

|t_ΣX(Σ)

|t_X²(X)

minimizza la parte di varianza totale di X spiegata dalle prime H componenti principali

∠t_Σ(x)(Σ) = varianza totale spiegata dalla x del componente principale

3. Le prime H componenti principali determinano una matrice di varianza e covarianza Σ_Xγ = BΛB^T; Σ_H λ_ia_ij = Σ [x_h, i, λ_ij]

che approssima la migliore approssimazione di rango H in, in termine di minimi quadrati. Hanno minorizza lΣx.x

Analisi Fattoriale

Parte dalla considerazione che posso vedere le componenti come fattori che mi permettono di

Ricostruire i dati osservati, che ipotizziamo centrati (oppure li centriamo)

Modello:

x = μ + A y + e

Predice i dati osservati attraverso un numero ridotto di fattori

Modello forma riga:

X_i - μ_i = A (y_i e_i)

• j-dimensioni centrate
• A una j-dimensioni

Ipotesi:

• E (e_i) = 0 - Non commetto errori sistematici
• E (y_i) = 0 - Fattori centrati
• Cov (e_i) = Ψ_e = diag (ψ₁ ,..., ψ_j) - Stima una diagonale => gli errori sono incorrelati
• Cov (y_i) = Σ_y = I - Fattori standardizzati
• Cov (e_i , y_i) = 0 - Errori e fattori incorrelati!

Struttura matrice di covarianza di x_i:

Σ_x = Cov (x_i) = Cov (Ag_i + e_i)

• A Cov(y_i, e_i) = 0

In termini compatti possiamo scrivere

• Σ_x = (1/n) X'JX = (1/n) (YA' + EJ)'J(YA' + EJ) =
• A [(1/n) Y'JY] A' + A [(1/n) Y'JE] + E [(1/n) JYA'] + E [(1/n) JEJ]E =
• = A Σ_Y A' + A EJE A' Σ_e + A' ψ_j
• essendo AΣ_ye = 0 e ΣΣ_y e_i = 0

Varianza variabile i:

Var (x_ij) = a_j a^' + ψ_j - j: i =,..., j

• Varianza comune
• Varianza specifica
• Comunalità:
• Varianza comune totale variabile:

ANALISI COMPONENTI PRINCIPALI

Idea: Si parte dalla matrice dei dati X (che ha J variabili quantitative e grazie all’ACP avviene una riduzione in H matrici composta da H combinazioni lineari delle J variabili).

Componenti: Combinazioni lineari (sintesi) delle informazioni contenute nelle variabili originali.

1. Combinazione data dalle J colonne (variabili) e da dei pesi
   • Positivo = c'è concordanza tra la variabile numerica e la componente.
   • Negativo
   • Nullo

Cosa succede in termini di varianza se moltiplico una costante per una variabile?

La varianza diventa pari a quella precedente moltiplicata per il coefficiente al quadrato:

• ↓ Diminuzione if coeff ↓
• ↑ Incremento if coeff ↑

si mettono dei vincoli, le varianze dei pesi siano confrontate anche con altri prendono nuove combinazioni in cui la somma dei quadrati dei pesi è pari a 1.