Appunti esame Machine Learning – Feature Selection, Discretizzazione e PCA

Parliamo ancora una volta di lazy learning

Parliamo ancora una volta di lazy learning perché di fatto non c’è un reale apprendimento.

Per utilizzare la LWR bisogna decidere innanzitutto un modello di funzione di distanza con pesi, ad esempio quella euclidea dalle istanze di test. Un'altra possibilità è quella di utilizzare la distanza euclidea in combinazione con una funzione kernel gaussiana.

Più importante è la scelta di un parametro di smoothing che viene utilizzato per ridimensionare la funzione distanza: la distanza viene moltiplicata dall'inverso di questo parametro. Se il parametro viene impostato su un valore basso, solo le istanze molto vicine all'istanza di test ricevono un peso significativo; se è grande, anche le istanze distanti avranno un impatto significativo sul modello.

Una modalità di scelta del parametro di smoothing consiste nell'impostarlo sulla distanza della k-esima istanza di addestramento più vicina, in modo che il suo valore diventi più piccolo all'aumentare del volume dei dati di addestramento.

L’approccio locally weighted non è ristretto solamente alla regressione ma può essere applicato a qualunque tipo di algoritmo, si può utilizzare infatti un trick per aumentare il peso degli attributi che è quello di replicare le istanze.

Capitolo 8 - Data transformation

Feature selection

Se avessimo un training set infinito, avere molti attributi, con qualcuno non rilevante, non sarebbe un problema. I training set però sono finiti quindi se aumentiamo il numero di attributi, il classificatore potrebbe avere prestazioni peggiori. Quindi avere più informazioni è meglio solo se al crescere del numero degli attributi cresce anche il numero di campioni del training. È il cosiddetto problema della maledizione della dimensionalità.

Nasce quindi il problema della selezione degli attributi. Ci sono due approcci:

• Scheme-independent selection, in cui per selezionare ci basiamo sulle caratteristiche generali dei dati per valutare il sottoset di attributi più efficiente.

Il primo approccio si dice filtering, poiché l’insieme di attributi viene filtrato per produrre il sottoinsieme più promettente di attributi prima di iniziare l’apprendimento; il secondo è il wrapper, in cui si ingloba la selezione delle feature nella classificazione.

Un metodo semplice potrebbe essere, ad esempio, quello di trovare il più piccolo sottoinsieme di attributi che separa i dati. Alternativamente si potrebbe usare uno schema di apprendimento veloce, diverso dallo schema di apprendimento che si vuole utilizzare, per trovare gli attributi più rilevanti. A questo scopo spesso si utilizzano C4.5 e 1R.

Infine si potrebbe usare un algoritmo che costruisce un modello lineare, ad esempio un SVM lineare, e assegnare un rank agli attributi sulla base della dimensione dei coefficienti del modello. Sulla base di questi rank si possono scegliere gli attributi con un rank minore eliminandoli. Iterando questo processo si ottiene un metodo detto recursive feature elimination.

Chiaramente con entrambi i metodi si presuppone che gli attributi siano scalati in modo da essere comparabili.

Gli attributi possono essere anche scelti con un metodo instance-based, si possono selezionare gli attributi campionando le istanze casualmente dal set di addestramento e controllando i record vicini delle stesse e diverse classi. Se un vicino ha un valore diverso per un certo attributo, quell'attributo sembra essere irrilevante e il suo peso dovrebbe essere diminuito, mentre se un vicino ha un valore diverso, l'attributo sembra essere rilevante e il suo peso dovrebbe essere aumentato. Dopo molte iterazioni, vengono scelti solo gli attributi con pesi positivi.

Questi approcci hanno il grande svantaggio di non rilevare un attributo ridondante a causa della correlazione con un altro attributo. Una modifica proposta per affrontare questo problema è quella di prendere in considerazione i pesi degli attributi correnti quando si calcolano i vicini più vicini.

Per questo motivo si è pensato a una modifica nota come Correlation-based Feature Selection (CFS) che misura la correlazione tra attributi attraverso l’incertezza simmetrica U(A,B):

Dove H(A) e H(B) sono le entropie di A e B rispettivamente mentre H(A,B) è l’entropia congiunta di A e B, il va