Introduzione alla statistica computazionale - parte 2

lambda questa funzione che si chiama lagrangiana quando io mi trovo sopra al vincolo, ovvero u^tu=1, è uguale a quella sopra senzalamda, ovvero la f originale, questo perché il secondo pezzo non c'è più. Io però devo trovarlo.

La derivata della lagrangiana, rispetto a lambda, posta = 0 mi da il vincolo.

Dimostrazione: se la pongo = 0, ho trovato il vincolo -> Per trovare il punto di max dobbiamo porre anche l'altra derivata = 0, quella rispetto ad u.

Premessa: , quindi riscrivo l'equazione:

Questa equazione è un'equazione agli autovalori e autovettori, ma di autovalori ce ne sono k, quale devo scegliere? Se io posso scegliere un solo autovalore sarà quello più grande, perché massimizza la mia devianza. Sceglierò poi anche l'autovettore corrispondente. Perché: La somma degli elementi diag della matrice X^tX è la somma di tutte le dev e coincide anche con la somma degli autoval, dunque,

è proprio intrinseco alle prop della matriceDim: →#il numero di componenti principali che servono per rappresentare il fenomeno èquello che garantisce la ricostruzione di almeno l’80% della varianza/devianza.

N.B: nei software la matrice + usata per il calcolo è la matrice dicorrelazione:

#oss: ogni componente principale, è una nuova variabile che identifica le singoleunità: i numeri cerchiatisono i pesi chehanno le var nelricostruire i valori che noi assoceremo alle unità, + sono alti, vuol dire che tra tuttequella che pesa di + è quella.

Se io mi dimentico di tutte le variabili di prima ed uso solo queste 2, la matrice dicorrelazione, cambia? Si, perché questa tecnica di riduzione delle variabili preserva lavarianza tot del sistema ma perde le correlazioni. L’analisi fattoriale, invece, è unatecnica simile che invece preserva le correlazioni.

Sintesi finale:

Lo scopo della pca è trovare 1 o 2 direzioni,

Lungo le quali io possa preservare la media e massimizzare la varianza.

ANALISI DISCRIMINANTE

Abbiamo un insieme di elementi che possono venire da due o più popolazioni. In ogni elemento abbiamo una variabile casuale p-dimensionale X, la cui distribuzione è nota nelle popolazioni considerate, è osservata. Noi vogliamo classificare un nuovo elemento, con valori noti delle variabili, in una delle popolazioni.

L'idea dietro l'analisi discriminante lineare: Guardando i nr che rappresentano lo score, posso determinare una soglia che mi permette di capire di che gruppo fanno parte le unità. Tecniche di classificazione.

Le tecniche dell'analisi discriminante sono anche dette supervisionata: perché conosciamo un campione di elementi correttamente classificati che servono da modello per la classificazione degli elementi successivi. L'analisi discriminante è solo uno dei possibili approcci al problema della classificazione supervisionata.

La validità degli algoritmi di apprendimento supervisionato è legata all'utilità delle informazioni che riescono ad estrarre dalla base di dati. Dal lato opposto ci sono le tecniche di classificazione non supervisionata che cercano strutture nascoste a partire da dati non modellati. Le tecniche di apprendimento non supervisionato lavorano confrontando i dati e ricercando similarità o differenze. Queste tecniche sono poco efficienti con dati non numerici, il clustering è un tipico esempio di apprendimento non supervisionato.

Tutti i metodi di apprendimento automatico hanno una fase di training per testare la mia metodologia, e poi c'è una fase di testing. Nella fase di training si studia l'analisi pregressa per tirar fuori le caratteristiche del modello, ad esempio in una regressione: i coefficienti, gli errori ecc.. Mentre testing vuol dire che prendo 10 righe ad esempio e vado a calcolarmi con i beta il valore previsto di beta e poi vado a calcolarmi il vero valore.