Analisi multivariata - parte di Golini

Data Mining Golini

(cose importanti)

CAP. 2

• supporto → _n11 /_n → importante solo perché suggerisce il segno dell'associazione.

Se _n11 = _n*11 allora sono indipendenti

• _n11 > _n*11 ASSOC. POS.
• _n11 < _n*11 ASSOC. NEG.

• confidenza → è una regola asimmetrica
• ci dice con forza della relazione ma, non tenendo conto del conseguente, potrebbe risultare sbagliato.
• lift → confidenza tenendo conto del conseguente
• serve per dirci se la relazione è interessante oppure no

(A → C): _n11 /_n.1

(C → A): _n11 /_n1.

confidenza _n11 /h oppure _n11 (_n.1 )/_n

• <1: non lo è
• =1: indifferente
• >1: è interessante

CAP. 3

A = a₁₁ ... ... a_1p a_i1 ... ... a_ip a_m1 ... ... a_mp

vettore riga

a_l = [ a₁ ... a_1s ... a_1p ] 1x

a_l = a₁₁ ... a_lm

vettore colonna

• tipi di matrice:
• quadrata: stesso n righe e n colonne (diag. princ. è elementi a_ij dove i=j).
• simmetrica: 1^riga = 1^colonna, 2^riga = 2^colonna, ecc... (a_ij = a_ji).
• diagonale: gli elementi fuori dalla diagonale principale sono pari a 0, quindi a_ij dove i≠j sono = 0.
• trasposta: si invertono le righe e le colonne: se A^t = A allora è

Matrice e simmetrica

• Identita: sarebbe I_n ed è una matrice che ha tutti 1 sulla diag. principale, mentre il resto è 0.
• Idempotente: H quando H moltiplicata per se stessa fa sempre H. Quindi (H = X(X'^-1)X') per se stessa fa X(X'X)^-1 X'.
• Ortogonale: matrice dove la trasposu è uguale all'inversa, perciò essendo che A^-1 . A = I, varrà anche A' A = I.
• Inversa: matrice che moltiplicata per quella originale dà I_n.

Dal sapere anche come si fa somma (solo se le 2 matrici hanno lo stesso n° di righe e colonne), moltiplicazione (se fosse il numero di col della matrice A = no righe della matrice B: es. A x B si può fare e dà luogo ad una matrice C), determinante (anche se ≠ 0 e o è 2x3 3x4 matrice sarà singolare ≠ 0 quindi non invertibile).

Vettori linearmente indisp. → X₁.._Xe sono vettori linearmente indipendenti se qualsiasi combinazione lineare c₁x₁+...+c_ex_e è diversa dal vettore nullo, fatta eccezione per il caso banale in cui c₁, c₂,..c_e = 0.

Spazio vettoriale → la base sono k vettori linearmente indipe= denti e ogni elemento all'interno può essere scritto in maniera unica come combinazione della base dello spazio vettoriale.

Rango → rappresenta il n° max di righe o di colonne linearmente indipendenti, se lo sono tutti si dice che la matrice ha rango pieno e possiamo invertire la matrice se si verifica quest'ultimo caso.

Traccia → sarebbe la somma degli elementi che stanno sulla diagonale principale: Σ_i a_ii

quando ad ogni valore → x̄_s = ¹⁄_n Σ_i=1 x_is

devo togliere la media ¹⁄_pXn x_is

x̄ =

• x₁₁ - x̄₁ ... x_1s - x̄_s ... x_1p - x̄_p
• x_i1 - x̄₁ ... x_is - x̄_s ... x_ip - x̄_p
• ...
• x_n1 - x̄₁ ... x_ns - x̄_s ... x_np - x̄_p

Matrice dei dati centrati

Scomposizione di un vettore

x̄_s = ^x̄_s1/_nx̄1 + ^x̄_s/_nx̄1

Osservazioni:

1. x̄_s1 e x̄_s sono perpendicolari, quindi il loro prodotto scalare fa 0.

   <x̄_s1, x̄_s> = (x̄_s1•1) x̄_s = x̄_s Σⁿ(x̄_is-x̄_s) = 0

2. La lunghezza di x̄_s al quadrato da la deviazione, ovvero il numeratore della varianza:

   ||^x̄_s/_nx̄1|| = (^x̄_s/_x̄s-x̄s)² = x̄_s Σⁿ(x̄_is-x̄_s)² = n Σⁿ(x̄_is-x̄_s)² = n Var(x̄_s)

3. La moltiplicazione tra x̄_s e x̄ dà la covarianza, numeratore della covarianza:

   <x̄_s, x̄> = x̄_s x̄ = Σⁱ (x̄_iv-x̄) = Cov(x̄_s, x̄)

   Questo prodotto può anche essere scritto come:

   ||x̄_s|| ||x̄|| cos(θ_sv)

4. Cos(θ_sv) = ^{Cov(x̄_s, x̄)}/_{√Var(x̄s) √Var(x̄)} = r

L'angolo fra due vettori può anche essere scritto come differenza tra θ_b e θ_a, in particolare avendolo a = [a₁, a₂] b = [b₁, b₂], dobbiamo fare:

cos(θ_a) = ^a₁/_||a|| cos(θ_b) = ^b₁/_||b||

sin(θ_a) = ^a₂/_||a|| sin(θ_b) = ^b₂/_||b||

Quindi: cos(θ_ab) = cos(θ_b)•cos(θ_a) + sin(θ_b)•sin(θ_a) = ^{a₁ n₁ + a₂ n₂}/_{na1 nb1 + ||a|| ||b||}

Cos(θ) = 0 se a•b = 0 (angolo di 90° o 270°)

Varianza totale

sarebbe la traccia di S, quindi la somma delle p varianze:

• Var_T = ∑_s=1^p Var(x_s) = tr(S)

Spazio delle osservazioni

Var_T sarebbe la somma di 1/n ∑ ||x_s||², quindi:

• Var_T = 1/n ∑_i=1ⁿ ||x_i||²

Spazio delle variabili

Var_T sarebbe la distanza al quadrato tra u_i e x̄, quindi:

• Var_T = 1/n ∑_i=1ⁿ d²(u_i; x̄)

Nota: differenza tra norma e distanza:

x = [ 1 2 3 ]

||x|| = √(x² + 2² + 1² + 2² + 3²)

d(u_i; u_j) = √(1-2)² + (1-2)²

d(u_i; x̄) = √(1-x̄₁²) + (2-x̄₁²) + (1-2)² + (2-1)² + (3-2)²

d│det│

Quindi uso la varianza generalizzata che tiene conto di tutti gli elementi della matrice S, quindi annulla le cov., perciò:

• Var_G = det(S)

Spazio delle osservazioni

(Area parallelepipedo)

• Area paral. = b × h = b_o × l_o × sin(θ)
• sin²(θ) + cos²(θ) = 1

aumenta quando l’imp. del vettore scarto della media aumenta

• Area = ||x₁|| ||x₂|| √1-cos²(θ)
• = √var(x₁) √var(x₂) √1-r₁₂²
• = n √var(x₁) var(x₂) (1-r₁₂²)

Spazio delle variabili

Qui il semiasse dell’ellisse è il semiasse alto che costantini a dore ha ruolo lunghezza sono gli autovalori. L’autovett. anche qui:

• Avaramo norma = 1 s₁₁...l₁₁
• = -t_o = 0
• = p -1 = s₁₂+ √r₁₂l₂₁