Appunti ed esercitazioni di Analisi Esplorativa - Analisi Statistica Multivariata

L’ANALISI MULTIVARIATA

● Riguarda l’analisi congiunta di più variabili misurate sul medesimo insieme di unità statistiche.

● In qualche caso ha senso l’analisi delle singole variabili raccolte, molto più spesso le variabili sono legate

in modo tale che solo un’analisi congiunta di esse permette di rilevare pienamente la struttura dei dati.

● Le tecniche per l’analisi di dati multivariati possono avere una natura descrittiva/esplorativa oppure

inferenziale.

● Per gli scopi di questo corso, ci occuperemo delle tecniche descrittive/esplorative, lasciando gli aspetti

inferenziali a corsi più avanzati.

OBIETTIVI

Fra i molteplici obiettivi dell’analisi multivariata considereremo:

● Esplorazione di dati multidimensionali (exploratory analysis)

● Riduzione della dimensionalità dei dati (dimensionality reduction)

● Raggruppamento delle unità statistiche (clustering)

Unsupervised learning

Nella nomenclatura della letteratura machine learning questi temi vanno sotto il nome di unsupervised learning.

Significa che l’apprendimento non è guidato da una variabile risposta, come invece accade nei problemi di

supervised learning. RIDUZIONE DELLA DIMENSIONALITÀ

Input : matrice con p variabili quantitative

⟼

Output : matrice con q < p variabili quantitative

Obiettivo : perdere meno informazione possibile

Riduzione della dimensionalità: dati Face

Immagine = dati

● Una immagine (in bianco e nero), può essere rappresentata come matrice di dati, dove

l’intensità di grigio di ogni pixel viene rappresentata nella corrisp cella della matrice

● I colori più chiari sono associati valori più alti, colori più scuri sono associati valori più bassi

(range [0,1]).

Immagine compressa

con q = 10

Pixels e bytes :

Immagine originale : 243 x 220 = 53460 pixels memoria richiesta: 42780 bytes



′

, ,

Immagine compressa : : 243*10 + 220*10 + 220 = 4850 pixels

243 x 10 220 x 10 220 x 1 memoria richiesta: 40872 bytes

Fattore di riduzione = 427880 bytes / 40872 bytes = 10,47

Riduzione della dimensionalità: dati heptathlon

L’eptathlon è una specialità dell’atletica leggera che contempla 7 gare di discipline diverse.

Nella prima giornata dell’eptathlon femminile outdoor si svolgono: ● 100 metri ostacoli

● salto in alto

● getto del peso

● 200 metri piani

Nella seconda: ● salto in lungo

● tiro del giavellotto

● 800 metri piani

L’eptathlon fu inserito nel programma olimpico a partire dalle Olimpiadi di Los Angeles del 1984, in sostituzione

del pentathlon.

Olimpiadi di Seul del 1988

In the 1988 Olympics held in Seoul, the heptathlon was won by one of the stars of women’s athletics in the USA,

Jackie Joyner-Kersee. The results for all 25 competitors are given here:

Domanda di interesse

La domanda di interesse è determinare un punteggio da attribuire a ciascun atleta che sintetizzi le performances

nelle sette gare al fine di ottenere la classifica finale.

Vogliamo ridurre la dimensionalità p = 7 a q = 1: ⟼

Punteggio attribuito alla manifestazione

RAGGRUPPAMENTO DELLE UNITÀ STATISTICHE

Input : matrice con p variabili quantitative e/o qualitative

⟼

…

=

Output : vettore con y ∈ {1,2, … }

i

…

dove 1,2,…k rappresenta il primo,..,k-esimo gruppo

Obiettivo : formare k gruppi omogenei al loro interno e disomogenei tra di loro

CLASSIFICAZIONE DELLE UNITÀ: dati Whisky

A 86 whisky di malto prodotti in Scozia è stato assegnato un punteggio da 0 a 4 su 12 categorie:

Body – Sweetness – Smoky – Medicinal – Tobacco – Honey – Spicy – Winey – Nutty – Malty – Fruity – Floral

Inoltre è disponibile la latitudine e la longitudine delle distillerie.

Domanda di interesse

La domanda di interesse è raggruppare le diverse distillerie in k gruppi omogenei al loro interno e disomogenei

tra di loro relativamente alle 12 categorie.

Ad esempio, se decidiamo di raggruppare le n = 86 osservazioni in k = 4 gruppi A,B,C,D

…

=

⟼ …

Gruppo D

Scozia Islay

Gruppi ottenuti rispetto alle coordinate geografiche

Coachella festival

Il Coachella Music and Arts Festival è un festival musicale che si svolge annualmente nell’arco di due o tre giorni

intorno alla fine di aprile negli Stati Uniti d’America, negli Empire Polo Fields di Indio in California

Edizione 2017 Osservazioni: artisti

Radiohead, Lady Gaga, Iggy Azalea, Kendrick Lamar, The xx, Travis Scott,

Father John Misty, Empire of the Sun, Dillon Francis, Mac Miller, Ariana

Grande, Bon Iver, Future, DJ Snake, Martin Garrix, ScHoolboy Q, Gucci

Mane, Two Door Cinema Club, Lorde, Victoria Justice, New Order,

Dreamcar, Porter Robinson & Madeon, Future Islands, Hans Zimmer, PNL e

DJ Khaled, Vanessa Hudgens, Bastille, etc.

Variabili: Spotify track audio features

danceability, energy, loudness, speechiness, acousticness, instrumentalness, liveness, valence, tempo, duration

Analisi : nell’analisi svolta da RCharlie, vengono identificati 3 gruppi di artisti:

* Hip-hop/Rock

* EDM/Experimental

* Alternative/Acoustic

Risultati dell’analisi:

* Exploratory plot

* Cluster analysis + Principal Component Analysis

* 3d plot I DATI

I dati possono essere rappresentati con una tabella n × p

● n osservazioni o unità statistiche: individui, aziende, etc. = numerosità dei dati

● p variabili o misurazioni o caratteristiche: altezza, sesso, etc. = dimensionalità dei dati

Esempio

n = 10 individui e p = 5 variabili:

Tipologia di variabili

Qualitative

● nominali (in R: Factor), se non esiste nessun ordinamento naturale tra le modalità ;

● ordinali (in R: Ord.factor), se esiste un ordinamento naturale tra le modalità .

Quantitative

● discrete (in R: integer), quando sono esprimibili da numeri interi

● continue (in R: numeric), quando sono esprimibili da numeri reali

Variabili Dicotomiche: quando le modalità sono solamente due

VALORI MANCANTI (MISSING VALUES)

In R, i valori mancanti vengono codificati con NA (Not Available)

Problema: le tecniche di analisi multivar che considereremo prevedono osservazioni con tutti i valori presenti.

Esclusione di variabili incomplete Esclusione di osservazioni incomplete

Diminuisce la dimensionalità p dei nostri dati. Diminuisce la numerosità n dei nostri dati.

Però le variabili escluse potrebbero servire

VALORI MANCANTI (COMPLETAMENTE) A CASO

Si parla di valori mancanti (completamente) a caso se i valori mancanti sono un campione casuale dei n × p

valori possibili. In tale situazione non ci sono problemi se escludiamo le osservazioni che presentano almeno un

valore mancante (tranne il fatto che diminuisce la numerosità n)

VALORI ANOMALI (OUTLIERS)

Ogni insieme di valori ha un massimo e un minimo, però può capitare di osservare uno o più valori veramente

anomali (outliers). Il valore anomalo (outlier) è un valore che si discosta dal baricentro della distribuzione più di

quanto possa essere giustificato dalla variabilità dei dati.

Perchè sono valori anomali? Ci possono essere diverse spiegazioni, ad esempio:

● Errore di rilevazione

e.g. per la variabile altezza, ho imputato 18.4 m invece di 1.84 m

● Elevata variabilità intrinseca del fenomeno (code pesanti)

e.g. pensate alla variabile reddito

● Valori provenienti da una distribuzione diversa (contaminazione)

e.g. pensate a misurare la temperatura degli oggetti in cucina, inclusi il forno e il tostapane accesi

Come si individuano i valori anomali? Metodi basati sull’esplorazione grafica:

Per una singola variabile

- Diagramma a scatola con baffi (boxplot)

Per due variabili

- Diagramma di dispersione

- Bagplot

Diagramma a scatola con baffi (boxplot) ● Me, Q1 e Q3 sono la mediana, il primo e il terzo quartile

● IQR = Q3 − Q1 è il range interquartile

● Il baffo a sinistra è il valore massimo tra Min e Q1 − 1.5 · IQR

● Il baffo a destra è il valore minimo tra Max e Q3 + 1.5 · IQR

Il diagramma a scatola e baffi (boxplot) identifica un valore anomalo (indicandolo con o) con la seguente regola:

Un valore , = 1, . . . , n è anomalo se:

● < Q1 − 1.5 · IQR oppure se

● > Q3 + 1.5 · IQR

Comando boxplot() con R

● Se la numerosità campionaria n è dispari, la descrizione coincide con quella delle slides precedenti;

● Se invece la numerosità campionaria n è un numero pari, i valori di Q1 e Q3 che calcola il comando boxplot()

potrebbero essere leggermente diversi dal primo e il terzo quartile

● Potete utilizzare il comando boxplot.stats() per ottenere i 5 valori che compongono il boxplot

(Min, baffo sx, Me, baffo dx, Max)

Esempio : Dati Animals

- Animals è un dataset presente nella libreria MASS

- Per una descrizione del dataset, digitare ?Animals

- Average brain and body weights for 28 species of land animals

- body : body weight in kg

- brain : brain weight in g

- n = 28 osservazioni misurate su p = 2 variabili

library("MASS")

boxplot(Animals$brain)

boxplot.stats(Animals$brain)

$stats

[1] 0.40 18.85 137.00 421.00 680.00

$out

[1] 4603 1320 5712

Outlier bivariato Boxplot

Bagplot = boxplot bivariato Bagplot per dati unidimensionali

MATRICE DEI DATI X

Matrice dati X Vettore medie Matrice di var/covar Matrice correlazione

Media per la j-sima variabile ,

∑

= = 1, … ,

Varianza per la j-sima variabile ,

∑

= ( − ) = 1, … ,

Covarianza tra la j-sima e la k-sima variabile , ,

∑

= ( − )( − ) = 1, … , = 1, … ,

Si noti che e che

= =

Correlazione tra la j-sima e la k-sima variabile , ,

= = 1, … , = 1, … ,

Si noti che −1 ≤ ≤1

Esempio

Variabile 1 (prezzo in Dollari per libro): 42, 52, 48, 58 Variabile 2 (numero di libri venduti): 4, 5, 4, 3

DIAGRAMMA A DISPERSIONE

Medie: = 4.2, = 6.2

1 2 Medie: = 4.2, = 6.2

1 2

Varianze: s = 4.2, s = 0.56

11 22 Varianze: s = 4.20, s = 0.56

11 22

Covarianza: s = 3.70

12 Covarianza s = −3.01

12

Correlazione: r = 0.95

12 Correlazione r = −0.78

12

RELAZIONE QUADRATICA

( ) , Con n=20:

= −1 + 2 = = 1, … ,

( )

Correlazione = relazione lineare

Vedi esempio Animals grafici.

MATRICE DI DIAGRAMMI DI DISPERSIONE

Esempio : dati measure n = 20 osservazioni su p = 4 variabili

FACCE DI CHERNOFF STELLE

Questa rappresentazione grafica consiste di una

Herman Chernoff ha introdotto una tecnica di sequenza di raggi che hanno origine da un centro e

visualizzazione per illustrare le tendenze nei dati formano angoli uguali tra loro; ogni raggio

multidimensionali. Questo metodo consiste nel rappresenta una delle variabili. La distanza dal centro

visualizzare i dati multidimensionali a forma di volto del punto marcato sul raggio è proporzionale al valore

umano; i diversi valori dei dati sono abbinati alle della variabile rispetto al valore massimo

caratteristiche del volto, per esempio la larghezza raggiungibile. I punti sui raggi vengono congiunti con

della faccia, il livello delle orecchie, la lunghezza o la segmenti, così che il grafico ha la forma di una stella o

curvatura della bocca, la lunghezza del naso, ecc. di una ragnatela.

L’idea che sta dietro all’uso delle facce è che le

persone riconoscono i volti e notano piccoli

cambiamenti senza difficoltà . NOZIONI VETTORI

Prodotto di due vettori

Lunghezza di un vettore

Il vettore unitario è definito come

Angolo fra due vettori

Dalla figura, l’angolo θ può essere rappresentato come differenza

tra gli angoli e .

Per definizione

e ricordiamo la formula di sottrazione di archi:

Di conseguenza l’angolo θ tra due vettori dato da :

SPAZIO DELLE VARIABILI

Interpretazione geometrica:

Spazio delle variabili

● del vettore delle medie (trasposto) = [ come baricentro delle n unità statistiche

, … , , … , ]

′ ′

= , i = 1, . . . , p , interpretate come n punti p-dimensionali

Spazio delle variabili: n punti p-dimensionali ′ ′

= =

dove [ è l’i-simo vettore riga.

, … , , … , ]

L’i-sima riga di X contiene il profilo dell’i-sima unità statistica

Vettore delle medie = , vettore delle medie trasposto = [ ,…, ,…, ]

può essere interpretato come il baricentro di n punti p-dimensionali

SPAZIO DELLE OSSERVAZIONI

Interpretazione geometrica:

Spazio delle osservazioni

● della devianza , j = 1, . . . , p come quadrato della lunghezza del vettore scarto dalla media,

ovvero ′

● della codevianza , j ≠ k = 1, . . . , p come prodotto

● della correlazione , j ≠ k = 1, . . . , p come coseno dell’angolo formato dai vettori e

Spazio delle osservazioni: p vettori n-dimensionali

VETTORE SCARTO DALLA MEDIA dove vettore unitario

e

I vettori sono perpendicolari poiché =

∑

( − ) =

x 1 x 1 x 1

Baricentro

Vettori scarto della media

DEVIANZA E CODEVIANZA

Il quadrato della lunghezza (norma o modulo) di è la devianza

Il prodotto (interno o scalare) di e è la codevianza

CORRELAZIONE

Abbiamo dove è l’angolo formato dai due vettori e , quindi

risulta che:

La correlazione è il coseno dell’angolo formato dai due vettori e

NOZIONI MATRICI pt.1

Matrice trasposta dove l’operatore trasposizione ‘ fa

in modo che righe vengono

invertite con colonne, ovvero la 1°

riga diventa la 1° colonna, la 2° riga

la 2° colonna etc.

Prodotto fra due matrici

=

Date due matrici e , il loro prodotto è dato da dove l’elemento di posizione (i, j) della

matrice C è definito come

Si noti che il prodotto è possibile fra matrici di dimensioni opportune.

Due matrici possono essere moltiplicate fra loro solo se il numero di

colonne della prima è uguale al numero di righe della seconda.

Alcune proprietà

Date le matrici A, B e C (di dimensione opportune per definire l’eventuale prodotto) e una costante c:

- c(AB) = (cA)B

- A(BC) = (AB)C

- A(B+C) = AB + AC

- (B+C)A = BA + CA

- (AB)’ = B’A’

Matrice quadrata: se il numero delle righe è uguale al numero delle colonne.

Matrice simmetrica: matrice quadrata se B = B’, ovvero se b = b , i = 1, . . . , n, j = 1, . . . , n.

ij ji

Matrice identità: matrice simmetrica con valore 1 sulla diagonale e 0 altrove: =

Data una matrice vale : e

= =

Matrice invertibile:

matrice quadrata è invertibile se esiste una matrice tale che : = = −

Allora la matrice è unicamente determinata da ed è chiamata inversa di indicata con

− −

− − −

) (′) ( )

( = e

Date due matrici invertibili e allora vale: =

Matrice diagonale:

E’ una matrice simmetrica con valori d , . . . , d sulla diagonale e 0 altrove:

1 n

Moltiplicare una matrice da sinistra per diag(d , . . . , d ) equivale, per ogni a moltiplicare l’-sima riga di

,

1 p

per ; moltiplicare una matrice da destra per diag(d , . . . , d ) equivale, per ogni a moltiplicare la j-

,

1 n

sima colonna di per .

Una matrice diagonale diag(d , . . . , d ) è invertibile se e solo se i valori d , . . . , d sono diversi da 0. E quindi:

1 n 1 n

(( , . . . , )) = (1/ , . . . , 1/ )

Matrice idempotente : Una matrice quadrata è detta idempotente se vale =

Matrice (semi)definita positiva

′

Una matrice simmetrica è detta semidefinita positiva se vale ≥0 ∀

′

Una matrice simmetrica è detta definita positiva se vale >0 ∀

MATRICE DEI DATI CENTRATI E STANDARDIZZATI

Possiamo trasformare (linearmente) la matrice dei dati originali per ottenere :

′

 la matrice dei dati centrati = −

 la matrice dei dati standardizzati = ,…,

√

Esempio Matrice originale X Matrice centrata Matrice standardizzata Z

traslazione compressione/dilatazione

Come sono le medie, varianze, covarianze, correlazioni dei dati centrati e standardizzati?

Proprietà H - S – R ′

 La matrice di centramento è simmetrica e idempotente

= −

 La matrice di varianze/covarianze e la matrice di correlazi