Appunti di Analisi esplorativa - Analisi statistica multivariata

La matrice dei dati - Lezione 2

Dati discreti e variabili

Discrete Integer > valori interi assume = Quantitative > (c) continue numeri > Variabili reali o valori assume = > Nomina > ("Factor") Qualitative 'modalità naturale ordinamento nessun tra esiste le non = > Factor Ordina il Dichotomiche se assumere possono solo 2 = modalità tra 'le ordinamento naturale se esiste un (Sì, No) valore es: o mancanti valori.

Valori mancanti

Valori mancanti NG / - R devono essere codificati NA valori mancanti • il problema dei dati mancanti usare possano strategie che per • ('numerosità di dati strategia eliminazione Una osservazioni delle esclusione della riduzione e righe problema incomplete →: di un'variabili l'eliminare dati incomplete VAR strategia dimensionalità Esclusione problema altra rischio e →: eliminazione interesse colonne delle esempio degli aerei area degli voglio del militari base tra aerei della sullaprotezione struttura componente rapporto sulla dove posizionare capire le però sono dovuti ci numero osservazioni di ad è abbattuti di mancanti essa su aerei ciò la dati e caldi dai che evince che.

Significa motore questo più che ali le meno sono il più componenti quella colpita sono ali zona mentre e le dita coi le. Gli' da abbattuti motore aerei saranno maggiormente stati la componente sono probabilmente forti che e proteggere. Dati osservazioni aventi eliminare devo delle di capire cosa mancanti significa il prima che significa, dell' se valori dati questi perché a caso di mancanti valori mancanti allora esistenza sono completamente mancanti non ci.

I problemi sono relativi all'esclusione di alcune osservazioni. Casual? campione tabella cioè n xp Data un una preso, di se alcune variabili dato valori esso in trovo privo un ✗ l'eliminando non provoco conseguenze osservazione gravi. (Provocano pochi casi sono non si problemi in I cui potrebbe essere • un'altra strategia di (Quella mancante ricavare mancanti dati dato varse per la i. Può dato ricavato variabili essere) Il funzione altre dataset non di sono nel presenti eccessivi in.

Variabili e dati anagrafici

Anagrafici Es dati dati porto passeggeri di nave ho sui d': una imbarco prezzo classe 1- + biglietto ). Alcune ricavare dato in variabile prezzo posso presentano biglietto valori osservazioni il questo mancanti aper. Perché è caso dalla imbarco classe d'dipende e valore un porto che.

Valori anomali più di ci distribuzione quanto è della possa dal outlier baricentro giustificato discosta essere che valore dalla sì o un? Perché anomali dati dei esistono variabilità valori. A (/) di misurazione errori all' trascrizione dovuti strumento osservatore dall' o) variabilità reddito elevata intrinseca variabile ES del code( la fenomeno pesante →: di C contaminazione degli errori anomali quelli esistiti pesando sto la → valori massa animali: tipo sul di pianeta esistenti E.

Distinguere tra popolazioni di animali

Distinguere la dovrei peso dei animali degli il dinosauri popolazione quelli esistono → ancora da estinti che. Sull' basati grafica esplorazione individuare metodi anomali usare come posso valori boxplot variabile per una reale: dispersione bagplot reau diagramma variabile per di due: e boxplot box disegnare boxplot funzione per su: boxplot per uso invece il ottenere valori che: statsboxplot (). IRNB funzione utile → in il log variabile: calcolare per di una più distribuzione simmetrica rendere una↳ outlier boxplot risulterebbe il di ridistribuzione senza in effetti dispersione di contrario diagramma con accade un non al, questo ' ZVAR (considero questa cosa perché congiunte aventi: è) ciascuna outlier distribuzione di caso ma congiunta una il → §(log ✗ boxplot ← a) distribuzioni di Xp LE ✗ E € a • degli outlier origine presentavano in, è è anomalo comportamento cui il stato dalla annullato trasformazione logaritmica.

Però distribuzione congiunta la nota si che, delle due invariata variabili 'rimane poiché gli evidenti sono ancora outlier. Diagramma di posso con gli (bivariati outlier trovare cioè che presentano quelle osservazioni anomali) variabili due valori per () boxplot 10g Xo → bagplot boxplot bivariato o area del 50% dam > grigio quelli: scuro cioè stanno QTRA CHE EQ },, outliers bivariati distribuzione altri dati della generalizzazione del NB costituisce una esso: boxplot 'unvariato date cyperche due var ✗, dati questo motivo per retta Y ✗ che stanno sulla i:= è sono di ricavabili Y ✗ da una dunque se sola variabile fosse come ci.

Illustrazione e disegno boxplot

Illustrazione vedere quando disegnare boxplot ottengo a bagplot provo un infatti il, la matrice dei dati è dove definita questa matrice dei dati come n osservazioni • variabili p=• partire a statistiche da essa diverse posso calcolare .n[ è Xii j= 1 pn = variabile media dell'esima →],..,.- è '[ (è) j ✗ ii - = L p; n variabile varianza s per esima, = la →.],..- si § j-K-ss.pe SE==> ;n ÈE)( (XIii j ✗ ✗ in KSjk con 1 covarianza E=LTRA -la - = p] esima pe variabile K esima =..,..,, → ,-- &" sej TRA la] esima dove 1 correlazione > = LE =p variabile K rjpele esima LE rjne >rj ==-→--;=, 5 Shki;; poi applicate queste statistiche alla verranno dei dati matrice.

Delle ueitore medie è calcolando di media variabile di un ottenuto dunque vettore esima medie la elementi ciascuna] p-.÷I = veitori nota colonna vettori bene sono i sempre: e1px,: X-p di matrice varianze covariante e matrice ✗ p p Dp Dij Atp'' ', ' .., <, ^ ^? dai' Nap? '' poiché "g Ah simmetrica è una matrice Djn...==; Pip è D; variabili diagonale D; varianze la delle e della costituita Djp dalle D;, 2.....I ^: matrice dei dati Dipj App .App A pz....Matrice di correlazione- tipfa fap....2., una essa matrice ' anch'=p Ajapoicherzj rzp simmetrica 1 ....rz ..., R I;= !! pxp 1 I' rjp[ '' i1 z...: i: ↳ tpz rpj 11....osservazione: se ( ) di dati distribuzioni alcune degli permuto cioè media la varianza elementi e scambio ordine variabile deruaswna, perché delle dati due rimangono di correlazione varia variabili sono mentre questo invariate nuove coppie ci→ la., guess correiation the dati lineare indica dei la correlazione → quadratica reazione quella presa una perfetta tipo infatti illustrata, indica la risulta correlazione lineare nulla levar(allora nulla tra 2 se dipendenza variabili lineare la.) indipendenti sono correlazione correlazione perfetta lineare perfetta negativa.

Esempio e differenza tra correlazioni

Dataset del animals differenza tra l' le guardi esempio 2 correlazione della uari riprendendo si. Trasformazione brain bhl varia logaritmica la dopo scala in body e: 1 se non ci fossero outliers correlazione sicuramente la sarebbe maggiore. Correlazione correlazione quasi perfetta quasi nulla pensare' sia' che intuire logicamente e, correlazione μ cervello corpo tra e dimensione? Correlate' ragionevolmente scala perché var logaritmica usare illa perché sono devo perciò dati dati una' correlazione trovare ipresi tra e in così sono forte come danno i,,' adeguata trasformazione risultato che dia un attendibile più.

Implementazione ed osservazioni nello spazio 3D

MatriceR Implementazione file dei 3 dati lezione in: __spazio osservazioni delle lezione delle variabili 4 e dimensione di interpretati notazione sempre vettori come vettori colonna i 1n ✗: Xp"# := n ÷ ✗ n trasposizione di simbolo/ → indicati perciò y verranno vettori con Riga I' 91 In I il f =..., ..., 1 N ✗' è scalare y ✗ uno. I nn I ✗ ✗' matrice una nxn e ✗ y. I IXI ✗ I Prodotto scalare en TRA 2 VETOR', n, è' ed ix. Yii ✗ y ✗ scalare > uno y == nni ✗ i 1=, × Prodotto VETTORE MATRICE - di ;][ dove ajA 9 anai ':==,..,.. dij x enn mxn idm; A combinazione visto lineare come può una an prodotto essere da matrice ✗ PER Il VEITORE di ✗ 1- X 1-+ ✗ = na,... M I ✗ m" nn ✗ I 1n M xn ✗ della delle colonne matrice prodotto tra matrici ][][ A ba A Ab ibj B bp Ab Abp è la di prendo moltiplica E= come matrice se vettore la ciascun PER SSI= sx;..... nxp mxn COLONNA ESEMPIO TIZIO E CAIO: PESO delle ALTEZZA OSSERVAZIONI VEDIAMO dati di Il 2 VEDERE ABITUATI spazio nello variabili OVVERO A Questi SIAMO solito, 180 70 TIZIO cioè bidimensionale due Come punti:, pago delle SPAZIO variabili 160 50 Gaio - 100 TIZIO Calo • -.-._-. _.- -- delle potrei' PERO considerare ' OSSERVAZIONI spazio ANCHE lo go •-- - --- --- - -, gli' creare assi le dunque cartesiani A OSSERVAZIONI 'cioe E sono, 1 l' ciascuna 'VETTORE costituisce OSSERVAZIONE un ||. Altezza 100 200 CAIO delle OSSERVAZIONI SPAZIO 200 - delle OSSERVAZIONI SUGGERISCE spazio lo variabili sulle informazioni 160 - ---- ---- - - A disposizione: ", patere, (più è inclinazione maggiore della altezza la variabile UAR PESO → VAR iiao -) 'VARIABILITAiI (Variabili dall'Retto 50 2 ANGOLO CORRELAZIONE suggerita TRA angolo due le f- 0 vettori i: →; →- ;-- --- ,1sii sovrappongono I F- VERSO peso > = Concorde corpi +, Me o, >, 70 200 100 180 SPAZIO delle variabili dimensionali in punti P:-' Xp ✗ ✗ ✗ pp 1J.... it.... !! ! ]: [ ✗ ✗ ipijis ✗ " .. .=.... ✗ = i ✗ ✗ it ✗ ij ip ✗ =.... in xp ; ;;' ' ✗ ✗ ✗ ✗ n 1 nj. n.- np...- Ii dimensionali BARICENTRO di punti n P • - È [ ] Tj Io I' X-p I delle = vettore medie =.... pxt 1 xp.: medie delle trasposto vettore ↳ X-p _- 1] le { ][ I' 32 ✗ es 3: = -1 = 53 VARIA) (3,5 • BARICENTRO bidimensionali) del 1,3 punti C- 3....(Uil • > VARI delle OSSERVAZIONI SPAZIO "IR Rappresentiamo pulitori in '{/] # Xp ✗ dove ✗ i × o= ; =..... nx l'. " ✗" nj my;)- 5) f : ": di Scomposizione vettore un è I 3 2 xj-x-j. tt =, n xi 1 n ✗ dalla VETORE SCARTO MEDIA vettore / [2) { J MEDIA ESIMA ESIMA - g- } perpendicolari ---- Ei I ''. E; ✗ Ij i'-61-2=02'. -Xj 1= infatti i le== -.! =' " × 'nxi I; × -' I; :- SPAZIO OSSERVAZIONI- - _ Ii ✗ nj -- _" 3 7 OSSERVAZIONE 1 I j tjt VETTORI PERPENDICOLARI sono e n' I j ' Ej Ej 1) et; x-j. tt) Ij I (# (1 Ej > '0 ✗= ij = - = - =.,,' 41 Prod ricattare - t. Ij - II. ci / ij-x-j 2- ) degli dalla scarti media somma 42 ESEMPIO nello delle OSSERVAZIONI spazio){ § = L 1} 4 a vara considero ✗ = 'a.3 × 1] ✗ § § ][ 3 × 2} X 1 { è è = var Ia considero! la, = 3 '=, / } è E. F- Ii 2 =: | Il { Ì z -31 Ì z 1 ✗ = 2 -=. %( :| : / è 2 UT -1 - × = =-,,, ÷ 35- delle OSSERVAZIONI SPAZIO { | 2 2 "-3 I dei 3 MATRICE dati centrati 0 = -33 ✗, a è r è DEVIANZA 'U, devianza (I jde Quadrato la lunghezza è della il volten la) varianza 42! In è F-;)' è ¥" " ✗ § i; ; - ;-- CODE HAN EQ) (I CODE VIANEA è In covarianza la volta la n ET RA prodotto.