Input, output e rappresentazione della conoscenza nei sistemi di Machine Learning

Capitolo 10 - Deep learning

• Loss e regularization
• Architetture deep
• Activation function
• Early stopping
• Mini-batch based SGD
• Dropout
• Inizializzazione dei pesi
• CNN
• Image filtering
• Autoencoders
• Recurrent neural network
• LSTM
• Metodi probabilistici

Capitolo 11 oltre l’apprendimento supervisionato e non supervisionato

• Clustering per la classificazione
• Co-Training
• Co-EM
• Multi-instance Learning
• Upgrade di algoritmi di apprendimento
• Algoritmi multi-istanza dedicati
• Diverse density
• Ensemble learning
• Bagging
• Randomization e Random Forest
• Rotation forest
• Boosting
• AdaBoost
• Additive regression
• ECOC

Capitolo 2: input

Gli input di un sistema sono nella forma di concetti, istanze ed attributi.

Il concetto può essere espresso come il risultato del processo di apprendimento ed a seconda del tipo di problema che stiamo affrontando assume un significato diverso. Nei problemi di classificazione lʼapprendimento è espresso da un insieme

Riassunti Machine Learning 2

di esempi classificati dai quali ci si aspetta che il sistema impari a classificare esempi mai visti. Nei problemi di associazione si richiede di predire delle associazioni tra le feature e non solo una particolare classe. Nel clustering si cerca di raggruppare gli esempi forniti tra loro per formare degli insiemi. Nei problemi numerici invece l’output del sistema è una quantità numerica e non un valore nominale.

Problema di classificazione

Problema di classificazione: bisogna predire la classe a cui appartiene un’istanza. Una classe è un valore che può essere numerico o un’etichetta che appartiene a un insieme finito. Problemi tipici sono quelli della prescrizione delle lenti a contatto, il problema dell’iris o il problema del tempo. La fase di apprendimento in un problema di classificazione è supervisionata nel senso che il risultato (l’output) del sistema è noto a priori e viene fornito in fase di apprendimento. Quindi in fase di apprendimento fornisco l’istanza con anche il valore effettivo della classe. In questo modo il sistema può apprendere avendo a disposizione il massimo numero di informazioni. Nel caso dell’iris fornisco sia la quadrupla che mi indica le proprietà dei fiori, sia la classe a cui appartiene quell’istanza. L’uscita è detta classe dell’esempio. Per capire se il sistema funziona o meno devo testarlo su insieme di dati nuovi (fresh data) che il sistema non ha mai visto e per i quali conosco l’etichetta della classe.

Problema di associazione

• Problema di associazione: bisogna determinare delle associazioni tra le feature, dove feature è sinonimo di attributo. Nel caso di questo problema posso o dover predire il valore di un attributo che non è una classe, o di un insieme di attributi. Si ha quando non c’è un attributo con una semantica preminente rispetto ad altri, che non ha il senso di classe a cui appartiene un’istanza. Siamo quindi interessati a ogni tipo di relazione fra gli attributi. L’inconveniente di questi problemi è che il numero di regole di associazione che posso costruire è molto maggiore del numero di regole di classificazione. Queste ultime sono regole di tipo if then in cui il then è solo legato al valore di un attributo. Qui nel ramo then ci possono essere anche coppie, terne di attributi e quindi il numero di regole esplode in maniera esponenziale. Bisogna quindi imporre dei vincoli sul numero di regole utilizzando concetti di copertura minima e accuratezza.

Problema di clustering

• Problema di Clustering: bisogna raggruppare in agglomerati istanze che hanno una qualche similitudine, quindi bisogna definire una misura di similarità, una metrica. Posso usare le distanze come metrica se vedo le tuple come punti nello spazio. Un problema di clustering è tipicamente un problema non supervisionato: non è nota la classe a cui appartiene l’esempio,

Riassunti Machine Learning 3

anche se esiste.

Problema di predizione numerica

• Problema di predizione numerica: è equivalente al problema di classificazione con la differenza che mentre lì il target da predire è un valore categorico, qui devo predire un valore numerico (ad esempio un numero reale). Ad esempio, il problema di valutare le performance di un processore è un problema di predizione numerica. Si parla anche di problemi di regressione. Il problema è sempre supervisionato. Posso poi avere ad esempio una variante del problema del tempo in cui devo non solo predire se la partita viene giocata o meno, ma anche il tempo di gioco.

L’input di un modello di machine learning so