Data mining - riassunto

Data Mining

Capitolo 1: Cos'è il data mining?

Il data mining è un misto tra tecniche informatiche e statistiche. Il data mining (letteralmente dall'inglese “estrazione di dati”) è l'insieme di tecniche e metodologie che hanno per oggetto l'estrazione di informazioni utili da grandi quantità di dati (es. banche dati, ecc.), attraverso metodi automatici o semi-automatici (es. apprendimento automatico = machine learning) e l'utilizzo scientifico, aziendale, industriale o operativo delle stesse.

Utilizzare queste tecniche da sole potrebbe non essere sufficiente quando:

• I dataset sono troppo grandi;
• Dati complessi;
• Dati eterogenei;
• Dati distribuiti in modo specifico.

Il data mining è una componente essenziale per il data scientist, il quale deve essere quello che ha a disposizione i dati, conosce le tecniche e sa quali applicare in maniera adeguata, e ha due funzionalità:

• Metodi di previsione di un fenomeno (supervised learning = apprendimento supervisionato) → l’intervento dell’utente è molto più presente;
• Metodi di descrizione di un fenomeno (unsupervised learning).

Quello che accomuna tutte le tecniche di data mining è il percorso che porta alla definizione dell’informazione. Partiamo da una matrice di dati e su questa facciamo un’analisi esplorativa, perché i dati non sempre si presentano in maniera adeguata, ad esempio, vengono da fonti e risorse diverse. Quando i dati sono grandi, ci potrebbero essere problemi con la stima di questi dati, quindi si estraggono delle informazioni dal dataset e si riducono le dimensioni (es. con l’analisi delle componenti principali).

Una volta fatto il data processing, si applica un metodo a seconda dello scopo del dataset (data mining) e infine, una volta applicato il data mining, abbiamo il postprocessing per vedere che utilità possono avere i risultati e analizzare quello che viene fuori dal data mining.

Le sfide a cui è sottoposto il data mining sono:

• Scalabilità;
• Capire come gestire i dati di dimensione grande;
• Rendere eterogenei i dati complessi;
• I dati sono detenuti da produttori di dati diversi e capire come relazionarli;
• Non utilizzare tecniche tradizionali.

Capitolo 2: I dati

I dati possono portare a problemi e interpretazioni diverse a seconda del tipo di dato e dell’ipotesi di chi lo sta valutando. Un dato è una collezione di oggetti o data objects (es. righe di un foglio Excel), sono quindi tutte le caratteristiche di un’unità statistica.

Gli attributi dell’oggetto sono le variabili che contengono le informazioni. Una raccolta di caratteristiche per una singola unità definisce un oggetto.

Ci sono diverse tipologie di attributi:

• Nominali: variabili qualitative che non possono essere ordinate;
• Ordinali: variabili qualitative che possono essere ordinate (es. titolo di studio e livello di istruzione);
• Intervalli: variabili quantitative in cui lo 0 non ha valore identificativo di assenza di quella caratteristica (es. 0 gradi Celsius non indica che non ci possono essere temperature al di sotto);
• Rapporti: variabili quantitative in cui lo zero ha valore (es. se una persona ha 0 malattia significa che non ce l’ha).

Le operazioni che si possono applicare a questi dati sono le cose che li differenziano. Ad esempio, media e deviazione standard non possono essere calcolate su variabili qualitative, posso però calcolare la mediana. L’unica cosa che posso fare con una variabile nominale è calcolare la moda (caratteristica con frequenza più alta), la contingenza ecc.

Ovviamente all’interno delle variabili quantitative possiamo fare una distinzione ulteriore, queste possono essere:

• Discreti: possono essere contati in termini finiti o hanno un’infinità numerabile (es. persone in coda ad un casello). La differenza con le variabili continue sta nel fatto che in una variabile discreta da una realizzazione di supporto a quella successiva non ci sono relazioni (es. tra 0 e 1 non c’è nessun valore → quindi non ci possono essere variabili con valori 0.5, 0.8, 1.3 ecc.);
• Continuo: tra un valore e l’altro esistono infiniti valori (es. variabile altezza di un’intera popolazione).

In termini di analisi la differenza di utilizzo è quasi nulla, l’unica differenza è invece in termini di visualizzazione.

Spesso i dati hanno molte più sfaccettature rispetto a queste quattro, il modo più diffuso per capire se hanno altri significati è analizzarli con la significatività statistica.

2.1 Quali sono i tipi di dati?

Abbiamo:

• Matrici di dati (es. fogli Excel e tabelle viste in precedenza);
• Grafi;
• Dati che dipendono da qualcosa (es. spatial data dipendono dallo spazio).

Quali sono le caratteristiche importanti dei dati che analizzeremo in questo corso?

• Dimensionalità: i nostri database tendenzialmente potrebbero essere grandi sia dal punto di vista delle colonne che delle righe (portano problematiche sulla qualità del dato e sull’analisi dei dati);
• Dati sparsi: spesso ci sono tantissime osservazioni che sono 0 (es. morti da covid che nel periodo estivo se uno osservasse le analisi dei vari dati avrebbe un sacco di 0);
• Risoluzione: spesso i pattern (schemi) dipendono dalla dimensione della variabile (es. tra 0 e un milione o tra 0 e 10);
• Dimensione dei dati (peso specifico delle tabelle e delle immagini utilizzate): es. se lavorassi con le immagini della NASA non potrei analizzare tutto il cielo contemporaneamente ma solo una parte di quello che è stato raccolto.

1. Matrice di dati

Quello che interessa nello specifico è la matrice di attributi per ogni unità statistica. Abbiamo due tipi di matrice:

• La matrice di dati generica la utilizzeremo in qualsiasi ambito: se gli oggetti hanno lo stesso numero di attributi possiamo immaginarlo come uno spazio multidimensionale (che è possibile guardare da più prospettive). Il dataset ha m x n righe e colonne, quindi la matrice è m x n.
• La matrice che si può estrarre da un documento la utilizzeremo nel text mining (una forma particolare di data mining nella quale i dati consistono in testi in lingua naturale, in altre parole, documenti "destrutturati". Il text mining unisce la tecnologia della lingua con gli algoritmi del data mining. L'obiettivo è sempre lo stesso: l'estrazione di informazione implicita contenuta in un insieme di documenti → es. trovare quante volte si ripete una parola in un documento).
• La matrice sulle transazioni la utilizzeremo per la valutazione delle associazioni: un’unica colonna con più osservazioni dentro.

2. Graf (non li trattiamo).

3. Dati che dipendono da qualcosa (vedremo solo brevemente qualcosa).

2.2 La qualità del dato

Finita la questione sulla tipologia dei dati cerchiamo di capire la qualità del dato, cioè se un dato è già pronto per essere analizzato o ha bisogno di un processo di preparazione. Capire la qualità del dato è il primo step del data mining. Quali sono i possibili problemi che portano al dato di scarsa qualità?

• Noise: i dati sono disturbati da qualcosa (ad esempio, se prendiamo le immagini della NASA questi subiscono tanti disturbi);
• Outlier: sorta di distorsione dei dati;
• Valori mancanti;
• Dati duplicati;
• Dati rilevati in maniera errata.

Come rileviamo questi problemi?

1. Noise

Il noise è un disturbo esterno all’osservazione. Un modo di pulire il noise, ad esempio nelle serie storiche, è pre-filtrare il noise per cercare di ridurlo.

2. Outliers

Gli outliers sono dei dati con caratteristiche sensibilmente diverse dal resto dei dati. Spesso gli outliers interferiscono con i dati (diventano noise). Quali sono le possibili cause? Potrebbe essere la vera e propria analisi realizzata, cioè dobbiamo evitare gli outliers rimuovendo quell’osservazione a meno che non sia propria l’analisi da dover fare.

3. Valori mancanti

Qualche volta ci sono valori mancanti, questo succede tantissimo negli open data. Le cause dei dati mancanti possono essere:

• Informazioni non raccolte;
• Attributi non applicati a tutte le categorie.

Come risolvere il problema dei dati mancanti? Si possono eliminare gli oggetti o le variabili oppure si possono stimare i valori mancanti. Ci sono diverse modalità per la stima dei dati mancanti. Alcune volte si ignora che un’informazione manca, si stima un po’ il modello ma c’è comunque qualcosa mancante. Esempio nel caso delle serie storiche. Facciamo finta che t sia il tempo e y(t) sia la variabile dipendente dal tempo. Ho un missing nel quattro e devo trovarlo. → Ipotizzo dove si trova il quattro e lo inserisco stimandolo.

Ci sono diversi tipi di dati mancanti:

• Missing casuale o random: mancanza indipendente dal valore delle altre variabili e l’analisi può comunque essere condotta (nel caso si ignorasse il missing);
• Missing di una variabile dovuto ad altre variabili.

4. Dati duplicati

Potrebbe capitare che ci siano dati duplicati, ad esempio capita quando ci sono dati da fonti diverse. In questo caso bisogna rimuovere il duplicato, ma quale? Qual è il duplicato dell’altro? Se l’informazione ha solo delle informazioni anagrafiche (ad esempio) è indifferente quale andremo a togliere; ma quando una delle due info porta dietro l’informazione dell’origine da cui deriva cosa facciamo? Bisogna analizzare dunque caso per caso. Il modo per fare dei confronti è sintetizzare quanto una variabile differisca da un’altra attraverso:

• Misure di similarità: ci dicono quanto simili sono delle unità statistiche tra di loro a seconda degli attributi;
• Misure di dissimilarità: sono delle misure numeriche che ci dicono quanto differenti sono le unità statistiche tra di loro.

Nel caso di misure simili si normalizzano portandole ad un valore tra 0 ed 1 e lo stesso si fa nelle misure diverse, ma in questo caso possono esserci anche numeri da 0 a infinito. Il valore è 0 se le misure non si somigliano, 1 quando si somigliano nel caso della similarità, viceversa nel caso della dissimilarità (1 se non si somigliano, 0 se si somigliano).

Distanze di dissimilarità

Utilizzeremo diverse distanze di dissimilarità:

1. Distanza euclidea

La distanza euclidea è quella che utilizziamo maggiormente: per due variabili confronta tutte le coppie di valori per tutte le unità statistiche. i è 1 e j è 2 e k rappresenta la posizione dell’attributo. → Si standardizza la distanza, quindi si sottrae ad ogni variabile la sua media e la si divide per la sua deviazione standard.

Esempio. Come calcoliamo la distanza euclidea tra questi quattro soggetti? A coppie. Per calcolare la distanza euclidea tra il soggetto 1 e il soggetto 2, dovrei fare la radice quadrata di: Se facessi questo calcolo per ogni coppia otterrei una matrice simmetrica, cioè la distanza tra p1 e p2 deve essere uguale alla distanza tra p2 e p1.

2. Distanza di Minkowski

La generalizzazione della distanza euclidea è quella della distanza di Minkowski: Se r=2 si ritornerebbe al caso della distanza euclidea. Esempio. Calcolo di come cambia la distanza di Minkowski a seconda del valore di r.

Se io avessi due variabili x e y potrei calcolare altre tipologie di distanze, ad esempio la Mahanobis distance che tiene conto di quanto è la varianza di ogni variabile e di quanto variano tra di loro (covarianza tra le variabili x e y).

Qual è la differenza tra le ultime due distanze? Si tiene conto della matrice di covarianza: è una matrice dove sulla diagonale ci sono le varianze delle singole variabili e sul fuori diagonali ci sono come covariano tra di loro le variabili.

Quali sono le proprietà necessarie di una distanza?

In generale le proprietà sono tre:

• Definitenza positiva: la distanza tra due unità statistiche è sempre >=0 (la distanza è nulla se le unità statistiche sono uguali);
• Simmetria: se un’unità statistica dista un tot dall’altra è vero lo stesso per l’inverso;
• Ineguaglianza triangolare: la distanza tra due punti A e C sarà sempre inferiore alla somma delle distanze tra i punti intermedi.

In generale un indice di dissimilarità rispetta solo le prime due.

Misure di similarità

Passiamo ad analizzare le misure di similarità:

1. Cosine similarity

La cosine similarity (la vedremo più applicata che teorica nel text mining): la utilizzeremo specialmente per due vettori di documenti, ad esempio per il conteggio di parole tra due documenti. Distanza coseno: prodotto di ogni osservazione per il suo adiacente nell’altro documento.

2. Correlazione

In generale è la covarianza fratto il prodotto della deviazione standard. Graficamente una correlazione ci dice quanto una variabile varia al variare dell’altra. Una correlazione assume valori tra -1 e 1 compresi (se = 0 le due variabili non correlano e abbiamo una nuvola di punti).

Esempio di come si calcola: IMPORTANTE: quando due variabili sono correlate non è detto che siano dipendenti. Esempio: tra il numero di passeggeri in Australia e il riso in Guinea. Abbiamo una correlazione alta (se guardiamo la figura ce ne accorgiamo) ma senza rapporto di causa-effetto.

Esercitazione 1 in R e Esercitazione 2 in R.

Capitolo 3: Supervised learning, classificazione e regressione lineare

Regressione lineare

Oggi parliamo di regressione lineare, che è una tecnica di classificazione e sulla stessa si basano altre tecniche di classificazione, cioè è uno strumento utile per poi partire su analisi successive. La regressione lineare è un approccio supervisionato, cioè il ruolo di chi imposta un modello di regressione lineare è attivo, cioè non viene applicata una tecnica su una matrice ma vengono definite delle variabili da osservare/campionare e su quelle si fa la regressione lineare. È uno strumento che si utilizza, tendenzialmente, per prevedere una risposta di tipo quantitativo.

In questo contesto abbiamo due tipi di variabili, una dipendente e una esplicativa.

Obiettivo della regressione

Capire come una variabile è influenzata dal comportamento di una o più variabili e quindi definire una forma per la relazione tra le variabili.

Scopi della regressione

• Descrittivo:
  • Voglio vedere se effettivamente esiste una relazione tra x e y;
  • Studiare la forma analitica, cioè vedere se è effettivamente lineare la forma che esiste tra le due variabili.
• Predittivo:
  • Prevedere una variabile dipendente y dati dei valori noti della x e viceversa.

Esempio: in figura abbiamo tre possibili relazioni di elementi, tra ammontare di euro incassati per un prodotto e la spesa per quel prodotto:

Per vedere se esiste una relazione come prima cosa devo mettere la y sull’asse delle ordinate e le x sull’asse delle ascisse e se queste formassero una retta allora potrebbe esistere una relazione. La retta di regressione lineare approssima al meglio i dati reali, quindi minimizza la distanza di tutti i dati dalla retta per permettere di avere risultati reali.

1. Se mi chiedessi in quali di queste 3 immagini è maggiormente possibile ci sia una relazione tra x ed y quale sarebbe la risposta? Nella prima figura perché c’è meno dispersione tra i punti;
2. Quanto è forte la relazione tra il budget e le vendite? Questo si vede dall’inclinazione della retta, quindi la sua pendenza (maggiore sarà pendente maggiore sarà l’aumentare di x rispetto ad y, viceversa se è poco pendente);
3. La relazione è effettivamente lineare? Nel primo caso potrebbe esserla.

Forme della regressione lineare

• Modello semplice: abbiamo una sola variabile dipendente e indipendente;
• Modello multiplo: abbiamo una sola variabile dipendente e più regressori.

Concetto di ceteris paribus

Quello che ci interessa è: mantenendo fisse tutte le altre variabili quanto cambia y se io cambio la variabile x1?

Esempio: abbiamo il seguente modello. L’interpretazione del modello di regressione è che tenendo ferme le altre variabili si vuole vedere quanto cambia la variabile y all’aumentare di un’unità della variabile x.

Noi non possiamo conoscere la relazione tra x e y esattamente, perché non analizziamo un’intera popolazione ma un campione di quella popolazione. Quindi, avremo delle stime, che si fanno attraverso il metodo dei minimi quadrati, cioè quello che mi minimizza la distanza dei punti da una retta, e che ci possono essere utili per fare previsioni.

Obiettivo della stima dei coefficienti della retta di regressione

Minimizzare tutte le distanze tra y e il valore predetto di y con il metodo dei minimi quadrati, che minimizza la distanza dei punti da una retta. Con il metodo dei minimi quadrati in primo luogo si stabilisce un residuo, cioè la parte di y che non riesco a cogliere attraverso la regressione lineare.

SSR: Quindi i coefficienti possono essere stimati con l’SSR (somma dei residui al quadrato).

Abbiamo detto, quindi, che nel caso di un unico regressore dobbiamo minimizzare la somma degli errori (o dei residui) al quadrato, quindi minimizzare nella retta la distanza tra i punti e la retta. Nel caso di più regressori la questione cambia perché non ho più una retta ma un piano (ho i punti sulle tre dimensioni).

Esempio. Abbiamo una matrice di dati e una variabile risposta o dipendente (nel nostro caso le vendite di un prodotto in termini di milioni di euro) e dei regressori (spesa in pubblicità per TV, per radio e sui giornali), vado a stimare il beta della retta di regressione vista in precedenza, cioè e quello che ottengo è questo: