Appunti Data Reduction, Information Design e Data Visualization

Data reduction, information design e data visualization

Apprendimento statistico

L’apprendimento statistico (o statistical learning) è un insieme di tecniche statistiche che permettono di interpretare un fenomeno riducendo e semplificando l’informazione tramite utilizzo di modelli statistici che permettono di interpretare, classificare o prevedere un fenomeno, utilizzando un certo numero di dati in input ed ottenendo determinati output.

Esistono due possibili tipi di apprendimento statistico:

• Supervisionato: l’apprendimento di questo tipo prevede in genere la costruzione di un modello predittivo basato su uno o più input (quello aziendale, politico, o ancora la medicina e l’astrofisica).
• Non supervisionato: l’apprendimento di questo tipo prevede la costruzione di un modello predittivo basato su degli input, ma senza output di supervisione, quindi non legato ad una variabile nota.

Il modello “di partenza” dell’apprendimento statistico è la regressione lineare univariata, basata sul metodo dei minimi quadrati, in cui si cerca la retta che minimizzi il quadrato degli scarti tra il valore reale e quello atteso, questo è abbastanza utile per predire dei valori quantitativi, per i valori qualitativi invece, il primo metodo proposto in termini di tempo è stato quello chiamato “regressione logistica”.

Perché è importante l’apprendimento statistico?

L’apprendimento statistico è sempre più importante perché le sue applicazioni sono le più disparate e trasversali, partendo dalle scienze empiriche a quelle sociali, in particolare ci sono due principali motivi per cui fare stime, e quindi SL:

• Previsioni: quanto cambia al variare delle X, la variabile Y, in relazione all’unità statistica particolare, qui insorge il problema dell’errore, che può essere.
• Inferenza: capire come a certi pattern corrispondono dinamiche della variabile dipendente, quindi non importa quanto varia, ma quale varia di più (capire se conviene di più, ad esempio, investire su un canale pubblicitario piuttosto che un altro, non che introiti porta un dato investimento).

Ogni volta che si fa una stima, vi è sempre un errore associato, questo errore è scomponibile in due parti:

• Errore riducibile: componente dell’errore che si può ridurre prendendo una serie di accortezze, come la scelta del modello statistico più appropriato.
• Errore non riducibile: componente dell’errore che non si può ridurre a causa del fatto che si lavora con variabili aleatorie, perché non è possibile stimare una funzione f(X) che spieghi al 100% la variabile Y, questo rappresenta un limite superiore all’accuratezza di ogni modello statistico.

Quando si vuole creare un modello partendo da un dataset è bene suddividere questo dataset in due “sottoset”:

• Training set: parte del dataset utilizzata per creare e fittare il modello.
• Test set: parte del dataset utilizzata per valutare l’errore.

Non sempre questo è però fattibile tramite dati open access; infatti, non si può raccogliere tutto ciò che si vuole e non si può neanche conservare ciò che si vuole, sia per legge, che per etica, che per una questione di “tranquillità data al cliente ed a chi dà l’informazione”.

Inferenza

Può essere importante, per capire come Y varia al variare di X, comprendere quali sono le variabili X più importanti per definire Y e quali meno, quando si fa questo, si sta facendo inferenza, spesso non si fa inferenza fine a se stessa, ma come supporto alla ricerca della previsione.

Approcci parametrici e non parametrici

Esistono due possibili “macro approcci” per stimare f:

• Parametrico: si tratta di una serie di approcci “model-based” in due tempi:
  • Assunzione sulla forma funzionale.
  • Fitting del modello sui dati.

Quando si utilizza un approccio di questo tipo è bene ricordare che utilizzare forme funzionali con troppi parametri e troppo adattati al modello potrebbe mandarlo in “overfitting”, rendendo il modello particolarmente accurato, ma solo per lo specifico training set, senza avere lo stesso riscontro una volta che si cerca di fare previsione.

• Non parametrico: si tratta di una serie di approcci senza ipotesi esplicite riguardo alla forma funzionale del modello; quindi, si tratta di un approccio “data-driven”, si tratta di un approccio molto più preciso, se si dispone di un dataset molto ampio, in caso contrario, il rischio è quello di creare modelli particolarmente inaccurati.

Perché si potrebbe volere, non solo a fronte di dataset più ristretti, utilizzare approcci meno accurati?

Tendenzialmente questa scelta dipende anche dal fatto che, un modello più accurato, rischia di scaturire in una funzione (o un grafico), particolarmente difficile da interpretare, cosa che può essere sconsigliata, soprattutto quando l’obiettivo non è solo di ricerca, ma anche volto alla business intelligence.

In altre parole, quando si vuole fare predizioni può essere utile utilizzare modelli più precisi e meno interpretabili “ad occhio”, se l’obiettivo fosse invece fare inferenza, quindi capire le relazioni tra le variabili, può essere più utile alla comprensione utilizzare modelli più semplici.

Analisi qualitativa

Come fare previsione su una variabile quantitativa è relativamente immediato da immaginare, come invece farlo per una variabile qualitativa un po’ meno: come per l’analisi quantitativa però, la base di partenza è un modello di regressione, detto in questo caso “logistica”, ossia un modello che classifica le osservazioni secondo una discriminante binaria.

Accuratezza di un modello

Poiché non esiste mai un modello “a priori” migliore, è bene avere gli strumenti per capire quale modello è il più adatto in ogni possibile situazione.

Per farlo, la misura più utilizzata è il cosiddetto errore quadratico medio (MSE):

n∑ ^ 2( − ( ))y f xi ii=1 n

Ossia la somma di tutti i quadrati delle differenze tra y e y atteso, pesata su n, l’MSE è calcolato utilizzando prima i dati di training, e poi di set, in generale, il primo sarà sempre minore.

È bene inoltre ricordare, che più il MSE sarà basso, in particolare a causa di una tendenza all’overfitting, più la varianza sarà alta, per cui, cambiando il set, anche di pochissimo, potrebbe variare moltissimo in percentuale l’MSE, per cui, meno distorsione sul set di training porta ad un aumento della varianza, questo fenomeno è detto “trade-off tra distorsione e varianza”.

Questo discorso è fatto parlando di previsione quantitativa, ma qualcosa di simile succede anche con la previsione qualitativa, quindi nella classificazione, in quel caso i ^y ≠ y ¿i ¿¿ si chiama “errore di training”: in pratica si conta quante volte il modello ci ¿n∑ ¿i=1¿ restituisce un falso positivo o un falso negativo, pesando quella conta su n.

L’errore in questo caso si verifica perché il modello prende la classe j|P(Y=j|X=x)max,0 ossia in cui è massimo il classificatore di Bayes.

Molto spesso questo non è fattibile, non conoscendo a priori la distribuzione di Y, per cui viene