Appunti completi del corso di Machine Learning

REGRESSIONE

L'errore che calcoliamo nella regressione è la distanza (sull'asse y) tra i valori reali (linea dritta) di uno specifico sample e la predizione. In questo modo calcoliamo i cosiddetti residuals.

Per la valutazione di un modello di regressione usiamo:

• MAE: sommiamo i residuals e li dividiamo per il numero di samples. I residuals hanno la stessa unità di misura delle predizioni.
• MSE: Possiamo calcolarlo come il calcolo dei residuals per ogni sample, elevarli al quadrato, sommarli tra loro e dividere il risultato per il numero di samples. È una metrica migliore di prima ma come possiamo valutare questa metrica (problema: valori difficili da interpretare). Per questo ci siamo mossi su un'altra metrica:
• RMSE: Qui applichiamo la radice al MSE. In questo modo abbiamo un valore facilmente interpretabile dalle persone.

Il comportamento del MSE e del RMSE è lo stesso, l'unica differenza è la radice, ma utilizziamo il RMSE.

Il tuo compito è formattare il testo fornito utilizzando tag html.

ATTENZIONE: non modificare il testo in altro modo, NON aggiungere commenti, NON utilizzare tag h1;

inquanto ci restituisce valori facilmente interpretabili dalle persone.

CLASSIFICAZIONE

Classification Error

L'errore può essere visto in maniera simile alla regressione. Nel grafico come vediamo abbiamo due diverse popolazioni (stelle rosse e croci blu) e abbiamo anche due diverse curve decisionali (rossa e nera) che rappresentano due diversi classification models:

• Quello nero può essere un classificatore quadratico o qualcosa del genere
• Quello rosso è un classificatore più segmentato e può essere altro (Neural Network, class. tree, ecc).

Se compariamo i due modelli dobbiamo contare il numero di missclassified samples:

• Considerando quello nero vediamo che abbiamo un certo numero di missclassified samples;
• Considerando il classificatore rosso, possiamo fare lo stesso e vediamo come il numero di missclassified samples è minore rispetto al classificatore nero

Potremmo dire che il classificatore rosso sta performando meglio, ma cosa vuol dire?

(actualclass) un true negative (TN) o un false negative (FN)

Sulla base di questi 4 scenari, possiamo calcolare la posizione in questa matrice per ogni sample nel nostro dataset (validation o test dataset) e quindi possiamo usare queste 4 quantità (TP, TN, FP, FN), per calcolare un gruppo di diverse matrici:

Queste matrici rappresentano diversi aspetti di un problema di classificazione. Vediamole nel dettaglio:

❖ Accuracy (accuratezza): la somma dei true positive e true negatives, quindi i samples classificati correttamente diviso tutti i sample.

❖ Precision (precisione): è il numero di TP diviso la somma dei samples predetti come positivi (TP+FP)

❖ Recall or Sensitivity or True Positive Rate: è il numero di TP diviso la somma dei TP e FN (guardando all'immagine della confusion matrix, il denominatore è la prima colonna, ovvero quella della actual class positiva)

❖ Specificity or True Negative Rate: è il numero di TN diviso la somma dei FP e TN

(guardando all'immagine della confusion matrix, il denominatore è la seconda colonna, ovvero quella della actual class negativa)

❖ Error rate = 1 - accuracy: è pari a 1 - l'accuratezza quindi la somma dei FP e FN diviso tutti i samples

❖ F - measure: chiamata anche media armonica

❖ False Positive Rate = 1 - specificity

Quindi nella mia task di classificazione quale matrice dovrei considerare? Non c'è una risposta, dipende dalla task in base a cosa è più importante.

Esempio: Multiclass Classification

Finora abbiamo analizzato una situazione classica per la classificazione binaria. Ma abbiamo visto che possiamo anche usare Multiclass Classification; come dovrei fare quando ho una multiclass classification per la confusion matrix?

Ovviamente il numero di classi predette è diverso; nell'esempio ho tre possibili classi che posso predire che sono Mango, Orange o Apple e ovviamente le True classi sono le stesse.