Appunti completi - Data Science

DATA SCIENCE E MODELLI STATISTICI PER IL TRATTAMENTO

DI DATI NON STRUTTURATI

DOCENTE: FATTORE MARCO

A.A. 2022/2023

CdL: STATISTICA E GESTIONE DELLE INFORMAZIONI

Appunti a cura di

NAVA SARA

RIGIAMI TEORIA

dI indipendenti

dl linearmente

insieme vettori

che

ERAM

di -SCHMIDT generano spatio

TEOREMA uno

p

( {

=,3)

Sid interno

produtto da

vettoriale base

Partendo ricaveremo

qualsiass

und

con

uno spazio i

. i

w u n e we n

Vn, Qi} =....in

Leibiz

or tonormale

base

und .... = peritj ORTOGONAUTA

OrtOnOrMALITà base e IPRdI

se A Fj

Una 'ortonormale w ')

: .TEi, 3 NORMAUTÀ

YEi i (

Ej =j

B = per '

PRdI

. f

3

,

sahmidt

Gram

all

th consente

Is ottenere

di vettori or tonormali

. bhe ti A

diaghts chi

dove AutovaloRe

. . . .

. )

SPETTRALE

TEOREMA

a A i

A A

Sia simmetrica valor reall Allora

a sipoo come

esprimere

, ,

=VAVT:Ix,0Y V a Djll

1

Eieb -1

l

:CQ..... VV =

ade '=V'V

ORTOGONAIe

' MAT

UNG I

. =3

dove V A

AUTOWETTORI ali

MAT

NULTA PIL

TEOREMA RANGD lineare

aBplicatione

dn

mucheo wn :

wel

sotto alorminio contemente

insieme

lineare restors

applicatione

Data che

f halero

tra lotero

come ineeangine

vettoriali

uni wteorema

spazi :V

i

x

dee =

stabilisce vale tdimker

dim

revatione Imlf

la (f) nI

) ¿

I di V

dinensione

fEx

ZxEV

yEW : )=I

,

PROVEZIONE

TEOREMA dELA

o OEV tale

WE W

sottospatio

prodotto wn Allora

scalare

vettoriale

W

sid bia

siaV

uno swo

=,7

spazio cou e .

, Pu

i to

lli ditinV dato

minima al

che e drow

sia va n i a n e = .

-wll

afferma

teorema effettware

Il quindi ottimo pottorpatio

the vettore

modo nu occonne

in

per we

approssivane we

,

del vettore

ontogonale bottompazio

sul

la proletione .

mmmumumumuuumm

(

SINGULAR DECOMPOSITION

VAWE TEZIONES

SUB)

rgCXI

Data limearm

Xxxe ccolomne incipendenti

dunque

raugo righe

=3 wa x

=l .

' dix

singolare

Sicnno O 1

2 va l o r

201 30

+ V22... annummrams le radisa quadnate prase seguoi

cone

x

degli autowalone di +x

rappreseutata

X pod conne

enmene segue

sempre .

T

X

W

X D x

x

= lexte

nxte nxk tex k Uiuj i Caliagonane

=j

mose

dowe =f )

: FrfsuiTuj itj

UTU rorsa

=o

quinds

normalizzate tra

ai

Unxn ortogonali

ewna le coro

e

matruce colowe b owo =

-3 ,

autovalori WVR

agli

di XXT relativi

,

degli autovettori

matrice

la

ed e .

0. , . . . . 0

pruncipale i (4

valone singolani

diagouale deagonale : 42....

la sulla

aveute

matrice

e

Duzk D

' o,

- ie)

=diag

tna cono

Ulexte e diV ontogonali

normalizzate

ontogoudle colone

' mlatrece righe che

wua e

is souo

sla

: :

0....

diXTX

Inottre degli

VTV autovettori

ela agli autovalor

matrice

Ir relativi Or.

. ,

=VUT: , , AQ

fondamentale

par reeatione

niconnene

trovare bibogna

autovetton autovalon matrice ana

di

e una =QX

:

XXT

di

AWTOVELTOR

CHE

MOSTRIAMO W MAT

-, . :

UDUTUDUTU

XXTUED WBRY MAT BIAGONALE AUTOWAVORI

I

wr F

Fie ie maT autovettori

-

PROCEDIMENTO PERVI

STESSO

- VDUTUDVTVIE DIAGONALE

MRT

TIYVI VDY AUTOVAIORS

Y

LATAVTOVETOR CA

diXV de

le queule

Si diU

che proporzionali e

colome

pud queue

anche viceverna

mostrare sowo a ,

),

legate

LB diver

xT

u

V colonne tra

deaque lone

a :

) , XXT

XXTYYJ di

di

XXTU

XVDZ XV autovettore

CAS matrua

U a ke

US 59

=

=UDZ s

wDz XTUDR

( XIXXTU XIXVVD autovettoni dixex

di

XTU matruc

Vcue

US ? sia

= =3

BI W

~

= UBZ xiU

le differenze neiloro normalizzati

trave

veXV vettoni

Asta colonna

tra e :

,

,

U WTU

NORM di diXV

decle We

pari

-3 colonne

: n or m re aU

souo

=I >

= ?....

VTVIVDDL quindi i XV

TU diw

NORMdI di iesiea

colowna moltiplicata

colounea

= W

per

-esiula ;

:

Wßz

VTV

diV VVT

NORM V

XTU

di i a

-. colowue

dele

: pan

unor me

= =I Is ?....WBBe

UTXXTUUDZIUTUD

=

XTU

AI XTU

colowula

quiudi di

NORM colowua du x

i

? uguale

e

D2 a

'

-esiea

: 0.

-estla

singolari

alteruativa

introduadmo schiltuara decomposizione

della valori

wna in

ora .

faccia NORMA

di

Si richiamo sulla FROBENIUS

DI

nozione

primea un : THCMIMIJY '

definita IIMIIET

IIMIF muatnice e

FROBENIUS

dI MnxK

LA cave

di

NORMA vna '

dove : "' sulla

Tr souma wua

di

operatore diagonale

tracaa" natruce

elementi

- () MIAli

l a

jt M

degli

delld =F=âMsi

Polcne se

deT elemEnt

Radice JOMMA QUADRAT de '

axn IMIlFe

Mjin =

= !

FȚMjB

'

- DEQH

- R

PRENBO E QUADR GEMEMD

SOMMOI

CMTMJii=E,CMTJij TrEMTMJ ,

SES: .I

DRENDO

= R ECC SOMMATORLA

IY BOMMO OGNI

IMi.. .

.2 .

MoiMji

Ee deriva

Frobecius

inottre la di dal

si tra

prodotto

seguente

puo che Matrici

oppervane norma scalane :

EM

TRCATB

EA I

3

,BS= .MS=IIMIE

)

FORMA AWERNATIVA deud SUD aude

diX

SVD

D el si segue

la puo cane

diagouare scrwere

Poicue decombobizione

' :

,

xudvT =ExiuiOt=EtiZi

pr

ecedentao

: abbicuw

L quepsto

ivna dirawgo perche morstrato

dove matruce i

linearmente dipendenti

veV

proporziomalita z

dunque

tra colonne

prepentera .

Zi Frobenius

fra

at

hanno di

prodotto

matreci cnee

lono

Le ontogonali scalare

norma pari e n owo ):

Sij =s

pei

Sij

( Sijtr

sF

UjOT Tr

kZi dove

ViG =fa

= (O;Oj+)=

,Zj'F=I =

,T. opeit

OiU,TyjQT) ;

W

I

ORTONORMAlI QUiTUj

=1 dileronecher

: "'

Sij

seit = delta

iwtuj=

witwj ?

altrimenti Ooi

"

=w

X rappreseuta matrice tra

Zi ortogomali

comce Coro

=IixiviEi lincare di

e x

perceò espressione combinazione

' ,

CSVD ).

X

di layer

Vizi ricontruince

aoe borrappobizione per

approssimanti

watruc

ha

di infine

Zi

ortogoalità si

Per : =

FIETiZiIIE

=1

IIXIIE ZieV,21IZillE=Zî=.T?

hm

I I

=

di ECHART

TEOREMA -YOUNG X finpato

Edeart

di

th

i

Data stabilince

X di

matrice cue

contruire

came raugo

wna 1

. ,

-Young

di

X nella

Meglio Frobenius

approssima normea .

, s

ud

aX

bid

rgCX de

Sid X

Xnxe

TEOREMA ocpet

cau =UDUT

: .

)HeN VCp Kxp

diU da

Indicando comporta

Vaps colonne

dable mat

mat componta

MxP prime primue

p .

. , 3 D

DEPJ di

composta ecolowue

ve

de matpxp da

colonne rugne

prime

cou p

p .

=

x

=UCpDcpoVçPD IIx

La nell

dirstanled

la

matrice dimatrice

Minimizza insiee

EqtiZi -XI1I

nxk di raugo p . Frobenius

Per

DIMOSTRAZIONE ea de

proprueta norma

: 'dela

2

=

IIX UDVT

II

-XIIE -XHF=VD-OTRVIR=IID-MIIE.

asmianmlan M

che

Pertanto

, 2

lx -fllEzFzdCDij-MiİŞ=Ş0-MiiŞtFizMi? EC0-MiR

I =

Bij D

Ber itj , cosicaue IIX

la essere

Da ao diagouale

M

milimlizzante

mdtruce

' deve

segue dle , ' -XIIR=IS10;-Miil?

le

Aveudo M Tra tutte matnici

solo

contieue deagonali

diagonale pvalor nxk

nulli

1 sua

raugo P non =3

a

, lX 0....

M C

winimizza o

da

di data

cue equindi

queua

P

raugo =diag }

-XI1?

, 01,42....Op,

(0;- =0).

Miik

( Zix

modo

quepto

in

poicke' . UMUT VTPI

quindi

la X DCPO

matrieXe : = =UCPO

In di

termini diX

altri sufficiente

uuglior e

ottenere dixeporre

SVD

contruire

raugo

approssimatione p

x .

, diD

tulti gli diagonale poi

elementi delea dae

zero

a PtI estuo in .

questo

L si e

che modo

couple in EZ

'errore " =

ZI

, ViZi

EL =ZPEY,2

=IIT-XIIE=11Zix ZIEPHV,2 I

-LixViZiVE=1I 3

=PHVIZILE

RIDUZIONE dI

dEIlA DIMENSIONALITA IDENTFICAZIONE

COME SOITOSPAZI

' EIRY

ae le

vettori dimensionali individuare dottonpazio lineare

Dato insieme

un voole

Ix wn

s

. 1

....In ,

di IRK (

Q tale

Up

MAPPA

Up le

p da

und approssimino

IRee immagin

per au

in

-dimensionale 1) xi)i=21.in

sufficientemente de input

bene k

Ii -dimensionall .

IRY

O VP

: .-,

4(

:

Xi-s Xi)

di tramite

E QIX EcIn da

vettors

dee è

approssimatione dato

T

n

E verrore x ' :

.) ....

1... )

EZ =EllIi-OCFilR

munm

I E

costruita

percro 411 viene modo che

' siaminimo

in

n

-dimensionali!!

ii

Prendiamo di

b mappa elemento

per La 41)

una input

assoad

ord Ii

.

Vp

base profilo

lineare al l

'

.... bp forma

scritto

" base bi auraiea

Vp

di Bp

sulla

che , :

cEi) , ....

pçxil

=Zjekäijb. definiscon mivocamente

coordinate che finpata

PlEi barse

i Bp

vettone bI

3 .... il

PlIi dele

genenico

41)

introduciamo

Quindi ca vettore

veltore sue

al

che

mappa assoaa )

coordinate Qi ={Rij}j=t...P.

QIl

Esistera (404)1) coordinate

input

di

quinds vettors le

che Ii

und assoua

mappa an

= bi

loro

delle base

Vp Bp

sulla

immagine in .

....

1.

IR rappresentati

Qli le

Q vettor

i

auiud -dimensionali

Q vengaw

" )=Qi

:Xi-s ,

: ERP

dimensione coordinate

ridolta

IRP, in vettor dep

come , .

, ,

IR Vß

Da " in tra louveno invertibile

41) lineari

La puo spati applicatione ne

wnl

essene

now ISOMORFISMO

wee

mappa ),

Im

distauce Infatti dim per

ISOMETRIA le

che

cupplicazioue re

u th

couserva i di

(41)=pck,

). , suVp

=

Ker eementi

liufacti siannullano

le

PILE il

RANGO dim

NULTÀ tale che

nucleo

50 t-B3o

o -p

(413 )

, IomCfD

alim

edistanze

Quiudi scalani

prodotti =D

tra si dimcleer

vettori [ B =

norme quindl

conservano dimCIRuJ

non =3

=3 le

+ [f33

-se

.

, fll

dimnsrars H s

0

-P

=

ei

evclided lungheeza

ea

usiaueo coro rappresentation

vettori

norma per dimensionals

nusurare

Es da dele

"fit" p -

,

: .

IRe

Rk

VT ogui

il vettore

sottonpazio chiamando

complemento It

ortogouale

il allora

Up e e in

swo

' , ,

I XTE

I IEUP e VPT

etale

Vp

vettor che

t IEIRY .

,

, =ITXIn

IR

Perceò EE

presi Y :

. kYQz ISOMETRICO

SCALARE NON

PROD

- .

muumar =YûtûTêtôtzFûâşmmmn

scalare

prodotto

prodottoncalare diversi Vß

IRH in

in !!

PER QUESTO

PRONOTTO SCALARE NON

IL SI

CONSERVA COSI COME NORMEE

,

DISTANZE BA ESSO INDOTTE

un pratico invertibise

esaupio perche 41)

capire

x non :

l ô

IR IR

Oi il oettons

loro di

La

E sottospatio

proletione

Q svor 3Yee'

2E -

3. - -

,, E

WL 6: 4: quindi vettore e

berao Q

aaswon

a

Q,-.8e 'assouata

,

2-. pilivettori

sold V

provecione proletione

evud puo

ma associata

essere

una a

wna '

su

^ , 2

IR 91) ISOMORFISMO

none

di Douque 'on .

3.

IRP

Vp

Da in eRRP polo

tra 4 vettore

41) abpocato

La ISOMORFISMO

e Vp e

vettore uno un

ad

mappa e

ogni

paicke

'Un lIi)

coordinate

di viceversa

e

ai . Icioe

ORTONORMALE

VP composta

BI

SCELTA BP

LA

SOLOSE BASE

ISOMETRIA

UN SEE

41.) e

Tultawia ' ....

, ortogouali

Coro

etra

di unitaria

di veltori vorma ).

I ileZi

^ 41

Ii

V

p

t

ricordando dhese : :abiss

^ eqE

qu

vettori

WeE dicoordinate In

v

ale

nawno questo

e

VP cano

=EXE}.

=Exiw}

= Lijen 2,

ajt Gi

XiW =

W2,2

IP ajWajZ q

Di

x

W =

inag 73

,Pjs

.E) YqW,

,=Eå {0

=

E E

NORME INDOTTE

AISTANZE

SCALARE zi

CONSERVANO

PRODOTTO SI iti =j

=3 Bj De

LDi 3=O

41) /

BASE 'ORTONORMALE

C

C LA

perced SE

SEESOW i

fattor ,

'UN'ISOMERRIA 4; )

Gij

si

=j

Y G

.EJIQJTEQE poicue

formud uatriaale AUORA

In BASE

Se ORTOWORMALE

I

: itj

=Ip

Y =Lo

LqWJTIqE

- qE

IQ

,E3 =

EQuiudi

aitram

Mamia =xa 3

W,

i

Gij

aove minfwente

-ebi.kis

fosse

di diversa identita

daua varrerbe

Gram

matrice matrice allord non

1

se d "

41.) isometrica

iuguagliaved sarebbe

e non !

RIASSUMENDO ... o IRß

IRk tramite il

di dimensionalita pud percorso

arvenire

riduzione o

La

o IRK

-IRP

diretto O trawlite indirecto

quello

o

:

4 IR IRP

Q Hs

+ Vp

4:

Vp

4ts

:

4 q

u

i

n

d

. base Vp

mappa pceita

dalla in

dipende delc

41.)

La infinite 41.), Q

infinite

dunque

edibtono mappe che

e (.),

Vp di dimensionalital

realizzano sulmedesimo

ridozione

la

bottoppazio Vp

.

-

significa differeati deli

obiettivi

Questo analis

che rappresentazion seconda degli

ocegliere

si a

possone .

4

cè tra

legaue

Che

b Vp

basl

Es Abbianeo e

due Yce

in

Bp E '

: . b?

1.... ....Ip

Y E I

invertibile donque

XIEVP ab

YbCI

e

Yc coorduate

le

quiudl

' 5-+.Yc)CL)

1=(4b0 =Yb1 )

4') (4

Q 9 4 invertibile

e

Poicue

daua alora

relatione

legate Qb anche

'

a

sowo = c). b

=Y.CI) bo44')C

45'

Qc diagrauuwa

Con

analogamente

vale ce =L4c0 u :

K9b).

Yb Øa

IRP IRP

Vp Vp

^ ^ \

4 4 o

boØć -

b

4

Uc 4

IRP IRß

ß differenti eQe

4

Qb

differenti 4 Y corrisponderann

Quinds due due

alle mappe 4

mappe =

be b0 =Yc04.

4-2) Quindi

Ob

ligate

due

Le =(410

souo

mnappe :

oDc.

: Ob IRP

IRl diagramma commutativo

Oc Yß

4 Øc

04,

Ypİ YzoÜć

Øç

-í

Vp IRP

Uc

SDV

NOUA

APPUCAZIONE

*

svd=WLpsDcpJvIpJ span diIR

bottonpatio

dimensionalital woe

Il sottospazio ridut ( dake

avvieve

al e

su generato prime p

Vip), '

VT

diV Laumai de

colonne prigne ). xî

OsudCkilzLvapyDcpoJiVCps

T =FieAijVibase

I

A diVt

= corstitulta dalle

base

sulla prime

coordinate p rigne

diU =

i

êi riga

-esima D

A Ai

Osup

semplicacute

e

Osup =[UDCPJi

id mappa (Iil=

'

Vers YsudlIi =

di Isometria

perceó

Vettori base OrtOnOrmAle

Cosnt e

EVDePoJi

riga 'uni

)

. :

KiLXj UDJ

CUBJIVTJCCUDJIVIJT

:

3-XRX,T=( CUD

: ];",

X UD

calcolate

distaute

prodotti

Quiudi calcolate

conadowo

scalar quelle

so

norme e cou so =A

,

coefficenti VTpJ

vetton sottospazio geuerato da

dei su

del

matnice 1

riassumendo

: xi

?

mappa

- dove

a D :x. =LUcpzDcpbJi

i,

\

~

UDWT VIPT

UCPy DCP

4:

-1 mappa

a WCP UçpjDCpJ

-1 mappa

a : ,PCP,VTCPy

Approfondimento IRK

4: