Appunti completi - Data Science

Data science e modelli statistici per il trattamento di dati non strutturati

Docente: Fattore Marco. A.A. 2022/2023. CdL: Statistica e gestione delle informazioni. Appunti a cura di Nava Sara.

Richiami teoria

Richiami teoria. dI indipendenti dl linearmente insieme vettori che erano di -Schmidt generano spatio. Teorema uno p( {=,3) Sid interno prodotto da vettoriale base. Partendo ricaveremo qualsiass und con uno spazio i. iw u n e we nVn, Qi} =.... in Leibizor tonormale base und .... = per itj ortogonalità ortonormalità base e IPRdI se A Fj una 'ortonormale w '): .TEi, 3 normalità YEi i (Ej =jB = per 'PRdI. f3,sahmidt Gram allth consente Is ottenere di vettori or tonormali. bhe ti Adiaghts chi dove Autovalore. . . .. )

Teorema spettrale

Spettrale teorema a A iA A sia simmetrica valor reall Allora a si poo come esprimere, ,=VAVT: Ix,0Y V a Djll1Eieb -1l:CQ..... VV =ade '=V'V ortogonale' Matung I. =3 dove V A autowettori ali Matnulta pil teorema rangd linearea Bplicatione dnmucheo wn :welsotto alorminio contemente insieme lineare restors applicatione Data chef halerotra lotero come ineeangine vettoriali uni w teorema spazi :Vixdee = stabilisce vale tdimker dimrevatione Imlfla (f) nI) ¿I di Vdinensione fExZxEVyEW : )=I,

Teorema della proiezione

Provezione teorema del A o OEV tale WE W sottospatio prodotto wn Allora scalare vettoriale W sid biasia V uno swo=,7 spazio cou e ., Pui tolli ditin V dato minima alche e drow sia va n i a n e = .-wll afferma teorema effettware Il quindi ottimo pottorpatiothe vettore modo nu occonne in per we approssivane we, del vettore ontogonale bottompazio sulla proletione .mmmumumumuuumm

Singular decomposition

Singular decomposition vawe tezione ssub) rgCXIData limear mXxxe ccolomne incipendenti dunque raugo righe=3 wa x=l .' dix singolare Sicnno O 12 va l o r201 30+ V22... annummrams le radisa quadnate prase seguoi conex degli autowalone di +x rappresentata X pod conneenmene segue sempre .TXWX D xx= lextenxte nxk tex k Uiuj i Caliagonane=jmose dowe =f ): FrfsuiTuj itjUTU rorsa=o quinds normalizzate tra ai Unxn ortogonali ewna le coroematruce colowe b owo =-3 ,autovalori WVRagli di XXT relativi, degli autovettori matrice la ed e .0. , . . . . 0 pruncipale i (4 valone singolari diagouale deagonale : 42.... la sulla aveute matrice e Duzk D' o,- ie)=diagtna cono Ulexte e di V ontogonali normalizzate ontogoudle colone' mlatrece righe chewua eis souosla: :0.... diXTX Inottre degli VTV autovettori ela agli autovalor matrice Ir relativi Or.. ,=VUT: , , AQ fondamentale par reeationeniconnenetrovare bibogna autovetton autovalon matrice anadie una =QX:XXT di AWTOVELTORCHEMOSTRIAMO W MAT-, . :UDUTUDUTUXXTUED WBRY MAT BIAGONALE AUTOWAVORIIwr FFie ie maT autovettori-Procedimento pervi stesso- VDUTUDVTVIE DIAGONALEMRTTIYVI VDY AUTOVAIORSYLATAVTOVETOR CAdiXV dele queule Si di U che proporzionali e colome pud queue anche viceverna mostrare sowo a ,),legate LB diverxTuV colonne tradeaque lonea :) , XXTXXTYYJ di diXXTUXVDZ XV autovettore CAS matrua U a ke US 59==UDZ swDz XTUDR( XIXXTU XIXVVD autovettoni di xex di XTU matruc Vcue US ? sia= =3 BI W~= UBZ xiU le differenze nei loro normalizzati tra veve XV vettoni Asta colonna tra e :,,U WTU NORM di di XV decle We pari-3 colonne: n or m re a U souo=I >= ?.... VTVIVDDL quindi i XVTU di w NORM dI di iesiea colowna moltiplicata colounea= W per-esiula ;:WßzVTVdiV VVTNORM VXTUdi i a-. colowue dele: panunor me= =I Is ?.... WBBeUTXXTUUDZIUTUD=XTUAI XTU colowula quiudi di NORM colowua du xi? uguale eD2 a'-esiea: 0.-estla singolari alteruativa introduadmo schiltuara decomposizione della valori wna inora .faccia

Norma di Frobenius

Norma di Si richiamo sulla Frobenius dInozione primea un : THCMIMIJY 'definita IIMIIETIIMIF muatnice e Frobenius dI MnxKLA cave di Norma vna 'dove : "' sulla Tr souma wuadi operatore diagonale tracaa" natruce elementi- () MIAlil ajt M degli delld =F=âM si Polcne sede T elemEnt Radice JOMMA QUADRAT de 'axn IMIlFeMjin == !FȚMjB'- DEQH- RPRENBO E QUADR GEMEMD SOMMOICMTMJii=E,CMTJij TrEMTMJ ,SES: .IDRENDO= R ECC SOMMATORLAIY BOMMO OGNI IMi.. ..2 .MoiMjiEe deriva Frobecius inottre la di dal si tra prodotto seguente puo che Matrici oppervane norma scalane :EMTRCATBEA I3,BS= .MS=IIMIE)

Forma alternativa della SVD

Forma awernativa deud SVD aude di XSVDD el si segue la puo cane diagouare scrwere Poicue decombobizione' :,xudvT =ExiuiOt=EtiZiprecedentao: abbicuwL quepsto ivna dirawgo perche morstrato dove matruce ilinearmente dipendenti veV proporziomalita z dunque tra colonne prepentera .Zi Frobenius fra athanno di prodotto matreci cneelono Le ontogonali scalare norma pari e n owo ):Sij =speiSij( SijtrsFUjOT TrkZi dove ViG =fa= (O;Oj+)=,Zj'F=I =,T. opeitOiU,TyjQT) ;WIORTONORMAlI QUiTUj=1 di lerone cher: "'Sijseit = deltaiwtuj=witwj ? altrimenti Ooi"=wX rappreseuta matrice tra Zi ortogomali comce Coro=IixiviEi lincare die x perceò espressione combinazione' ,CSVD ).X di layerVizi ricontruinceaoe borrappobizione per approssimanti watrucha di infine Zi ortogoalità si Per : =FIETiZiIIE=1IIXIIE ZieV,21IZillE=Zî=.T?hmI I=di

Teorema di Eckart-Young

Echart teorema -Young X finpato Edeartdithi Data stabilince X di matrice cue contruire came raugo wna 1. ,-Young di X nella Meglio Frobenius approssima normea ., suda XbidrgCX de Sid XXnxe Teorema ocpetcau =UDUT: .)HeN VCp Kxp di U da Indicando comporta Vaps colonne dable matmat componta MxP prime primuep .. , 3 DDEPJ di composta e colowue vede matpxp da colonne rugne prime cou pp .=x=UCpDcpoVçPD IIxLa nelldirstanle dla matrice di matrice Minimizza insiee EqtiZi -XI1Inxk di raugo p . Frobenius Per Dimostrazione ea deproprueta norma: 'dela2=IIX UDVTII-XIIE -XHF=VD-OTRVIR=IID-MIIE.asmianmlan Mche Pertanto, 2lx -fllEzFzdCDij-MiİŞ=Ş0-MiiŞtFizMi? EC0-MiRI =Bij DBer itj , cosicaue IIXla essere Da ao diagouale Mmilimlizzante mdtruce' deve segue dle , ' -XIIR=IS10;-Miil?le Aveudo M Tra tutte matnici solo contieue deagonali diagonale pvalor nxk nulli1 suaraugo P non =3a, lX 0....M Cwinimizza odadi datacue equindiqueua Praugo =diag }-XI1?, 01,42....Op,(0;- =0).Miik( Zixmodo quepsto in poicke' . UMUT VTPI quindi la X DCPO matrieXe : = =UCPO In di termini di X altri sufficiente uuglior e ottenere dixeporre SVD contruire raugo approximatione px ., di Dtulti gli diagonale poi elementi delea da e zero a PtI estuo in .questo L si e che modo couple in EZ'errore " =ZI, ViZiEL =ZPEY,2=IIT-XIIE=11Zix ZIEPHV,2 I-LixViZiVE=1I 3=PHVIZILE

Riduzione di dimensionalità e identificazione come sottospazi

Riduzione di deila dimensionalita identficazione come soittospazi' EIRYae le vettori dimensionali individuare dottonpazio lineare Dato insieme un voole Ix wns. 1....In ,di IRK (Q tale UpMAPPA Up lep daund approssimino IRee immagin per auin-dimensionale 1) xi)i=21.insufficientemente de input bene kIi -dimensionall .IRYO VP: .-,4(:Xi-s Xi)di tramite E QIX EcIn da vettors dee è approssimatione dato TnE verrore x ' :.) ....1... )EZ =EllIi-OCFilRmunmI Ecostruita percro 411 viene modo che' sia minimo inn-dimensionali!!ii Prendiamo dib mappa elemento per La 41)una input assodord Ii.Vp base profilo lineare al l'.... bp forma scritto" base bi auraiea Vp di Bp sulla che , :cEi) , ....pçxil=Zjekäijb. definiscon mivocamente coordinate che finpata PlEi barsei Bp vettone bI3 .... ilPlIi delegenenico 41)introduciamo Quindi ca vettore veltore sue alche mappa assoaa )coordinate Qi ={Rij}j=t...P.QIlEsistera (404)1) coordinate input di quinds vettors leche Iiund assouamappa an= biloro delle base Vp Bp sulla immagine in .....1.IR rappresentati Qli le Q vettoriauiud -dimensionali Q vengaw" )=Qi:Xi-s ,: ERP dimensione coordinate ridotta IRP, in vettor dep come , ., ,IR VßDa " in tra louveno invertibile 41) lineari La puo spati applicatione newnlessene now isomorfismo weemappa ),Imdistauce Infatti dim per isometria leche cupplicazioue reu thcouserva i di(41)=pck,). , su Vp=Ker eementiliufacti siannullano le Pile il rango dim nullità tale che nucleo 50 t-B3oo -p(413 ), IomCfDali medistanze Quiudi scalani prodotti =Dtra si dimcleervettori [ B =norme quindl conservano dimCIRuJnon =3=3 le+ [f33-se., flldimnsrars H s0-P=eievclided lungheeza eausiaueo coro rappresentation vettori norma per dimensional snusurare Es da dele"fit" p -,: .IReRkVT oguiil vettore sottonpazio chiamando complemento Itortogouale il allora Up e e inswo' , ,I XTEI IEUP e VPTetale Vp vettor chet IEIRY .,, =ITXInIRPerceò EEpresi Y :. kYQz isometrico scalare non prod- .muumar =YûtûTêtôtzFûâşmmmn scalare prodotto prodottoncalare diversi VßIRH inin !!

Prodotto scalare, norme e distanze

Per questo pronotto scalare non il si conserva cosi come norme e, distanze ba esso indotte un pratico invertibise esaupio perche 41)capire x non :l ôIR IROi il oettonsloro di LaE sottospatio proletione Q svor 3Yee'2E -3. - -,, EWL 6: 4: quindi vettore eberao Qaaswona Q,-.8e 'assouata,2-. pilivettori sold V provecione proletione evud puo ma associata essere una awna 'su^ , 2IR 91) isomorfismo none di Douque 'on .3.IRPVpDa in eRRP polotra 4 vettore 41) abpocato La isomorfismo e Vp e vettore uno una dmappa e ognipaicke' Un lIi)coordinate di viceversa e ai . Icioe ortonormale VP composta BISCELTA BPLASOLOSE base isometria un see 41.) e Tultawia ' ...., ortogouali Coroetra di unitaria di veltori vorma ).I ileZi^ 41IiVptricordando dhe se : :abiss^ eq Equvettori WeE di coordinate Invalenawno questo e VP cano=EXE}.=Exiw}= Lijen 2,ajt GiXiW =W2,2IP ajWajZ qDixW =inag 73,Pjs.E) YqW,,=Eå {0=E E norme indotte aistanze scalare zi conservano prodotto si iti =j=3 Bj DeLDi 3=O41) /base 'ortonormale CC La perced se seesow ifattor ,'un' isomerria 4; )Gijsi=jY G.EJIQJTEQE poicue formud uatriaale auora In base se ortowormale I: itj=IpY =LoLqWJTIqE- qEIQ,E3 =E Quiudi aitram Mamia =xa 3W,iGijaove minfwente-ebi.kis fossedi diversa identita daua varrerbe Gram matrice matrice allord non1se d "41.) isometrica iuguaglia ved sarebbee non !

Riassumendo

Riassumendo ... o IRßIRk tramite il di dimensionalita pud percorso arvenire riduzione o Lao IRK-IRP diretto O trawlite indirecto quelloo:4 IR IRPQ Hs+ Vp4:Vp4ts:4 quind. base Vp mappa pceitada lla indipende delc41.)La infinite 41.), Qinfinite dunque edibtono mappe che e (.),Vp di dimensionalital realizzano sul medesimo ridozione la bottoppazio Vp.-significa differeati deli obiettivi Questo analische rappresentazion seconda degli oceglieresi apossone .4cè tralegaue Cheb Vpbasl Es Abbianeo edue Yce in Bp E ': . b?1.... ....IpY E I invertibile donque XIEVP abYbCIeYc coorduatele quiudl' 5-+.Yc)CL)1=(4b0 =Yb1 )4') (4Q 9 4 invertibile e Poicue daua alora relatione legate Qb anche'asowo = c). b=Y.CI) bo44')C45'Qc diagrauuwa Conanalogamente vale ce =L4c0 u :K9b).Yb ØaIRP IRPVp Vp^ ^ \4 4 oboØć -b4Uc 4IRP IRßß differenti e Qe4Qbdifferenti 4 Y corrisponderann Quinds due due alle mappe 4mappe =be b0 =Yc04.4-2) Quindi Obligat edue Le =(410souomnappe :oDc.: Ob IRPIRl diagramma commutativo Oc Yß4 Øc04,Ypİ YzoÜćØç-íVp IRPUc

SVD: nuova applicazione

SDV nuova applicazione *svd=WLpsDcpJvIpJ span di IRbottonpatiodimensionalital woe Il sottospazio ridut ( dake avvieve al e su generato prime p Vip), 'VT di V Laumai de colonne prigne ). xîOsudCkilzLvapyDcpoJiVCpsT =FieAijVibaseIA di Vt= corstitulta dalle base sulla prime coordinate p righe di U =iêi riga-esima DA AiOsup semplicacutee Osup =[UDCPJiid mappa (Iil='Vers YsudlIi =di Isometria perceó Vettori base ortonormale Cosnt eEVDePoJiriga 'uni). :KiLXj UDJCUBJIVTJCCUDJIVIJT:3-XRX,T=( CUD: ];",X UD calcolate distaute prodotti Quiudi calcolate con adowo scalar quelle sono norme e cou so =A, coefficenti VTpJ vetton sottospazio geuerato da dei sudel matnice 1 riassumendo: xi? mappa- dove a D :x. =LUcpzDcpbJii,\~UDWT VIPTUCPy DCP4:-1 mappaa WCP UçpjDCpJ-1 mappaa : ,PCP,VTCPy Approfondimento IRK4: