Appunti di Business Data Science

Review di descriptive analytics

Introduzione

La pratica del business sta cambiando. Sempre più aziende stanno accumulando quantità crescenti di dati in molti aspetti della vita delle persone. Non si tratta di un fenomeno che riguarda solo Internet, ma gli stessi cambiamenti sono in atto anche in finanza, nel settore medico-sanitario, nel settore farmaceutico, nell’istruzione, nelle vendite al dettaglio, ecc.

Il tema comune in tutti questi esempi è il fatto di basarsi sulla raccolta e l’analisi dei dati con l’obiettivo di prendere le migliori decisioni aziendali. In altre parole, i dati e la capacità di estrarre conoscenza dagli stessi dovrebbero essere considerati come un asset strategico dalle aziende.

I driver principali che hanno contribuito alla rivoluzione a cui stiamo assistendo in questi anni sono:

• I cosiddetti Big Data
• Un drastico aumento delle capacità di calcolo
• Lo sviluppo di nuovi e più potenti algoritmi di machine learning

Il termine Big Data ha origine in ambito informatico e si riferisce a insiemi di dati talmente grandi da non poter essere immagazzinati o caricati nella memoria di un singolo computer.

Per dare un’idea di cosa si intende per Big Data, si consideri che ogni minuto:

• Su Twitter vengono creati più di 300,000 tweet
• Gli abbonati di Netflix scaricano più di 70,000 ore di video
• Gli utenti di Apple scaricano più di 30,000 app
• Più di 2,000,000 di foto vengono condivise su Instagram

I Big Data sono definiti attraverso alcune loro caratteristiche, a cui ci si riferisce spesso come le «3V»:

• Volume è la quantità di dati, in termini soprattutto di righe del data set, ovvero di casi/osservazioni
• Velocità è la rapidità con cui questo tipo di dati sono generati
• Varietà è la diversità dei formati, strutturati e non, e delle fonti dei dati, applicativi gestionali interni, sensori, social network, Internet of Things, ecc.

L’unico modo con cui è possibile gestire tali enormi set di dati è spezzettando il data set in blocchi di dimensioni più ridotte, i quali vengono quindi distribuiti su molti computer collegati tra loro via Internet, cloud.

Per questo motivo, i Big Data pongono innanzitutto un problema infrastrutturale, infatti, un’azienda che intende sfruttare questo tipo di informazioni deve prima di tutto dotarsi di un sistema hardware che sia in grado di gestire tali moli di dati attraverso la predisposizione di server adeguati.

In secondo luogo, l’azienda deve procurarsi le competenze informatiche, ovvero il personale, necessarie per organizzare i dati grezzi in un formato che sia fruibile da chi deve poi effettuare le analisi.

Mentre i costi legati all’acquisizione della struttura hardware necessaria all’acquisizione e alla gestione dei Big Data possono essere molto elevati, sul fronte software la situazione è meno critica poiché praticamente tutti i software ad oggi in uso nell’ambito dei Big Data sono di tipo open source.

La piattaforma software che ad oggi è diventata praticamente sinonimo di Big Data è Hadoop. Hadoop è un software open source per l’archiviazione e l’elaborazione distribuita di grandi set di dati.

La principale differenza tra Hadoop e altre soluzioni per la gestione di grandi volumi di dati è che Hadoop può essere configurato su un cluster di computer costruiti con hardware tradizionali, cioè sistemi a basso costo che non hanno le caratteristiche di affidabilità delle macchine specializzate più costose. Hadoop è infatti in grado di garantire la disponibilità del sistema e di prevenire la perdita di dati a fronte di problemi hardware.

Insieme ad Hadoop sono stati sviluppati altri software complementari, il cosiddetto «ecosistema Hadoop», che consentono di eseguire una serie molto articolata di operazioni. Per esempio, MapReduce è la componente di Hadoop che permette di eseguire delle elaborazioni su ognuno dei computer collegati in rete e di combinare quindi i relativi risultati.

Un’altra componente importante è Spark, che fornisce un’implementazione alternativa e più efficiente rispetto a MapReduce e per questo motivo è diventato uno degli strumenti principali per i Big Data analytics.

Tipi di dati

I dati che compongono un tipico data set di tipo Big Data possono avere diversa natura:

• Dati strutturati: dati che sono rappresentabili in formato tabellare all’interno di un database relazionale.

«Rappresentabili in formato tabellare» significa che i dati si trovano in un file, tipicamente di testo, come ad esempio file in formato CSV, nel quale i singoli campi, ovvero le colonne, sono ben separati e identificabili.

• Dati non-strutturati: ovvero dati che non è possibile rappresentare in formato tabellare.

Tipici esempi di dati non-strutturati sono i dati testuali, email, file PDF, tweet, post in un blog, ecc., le immagini, i video e i file audio. L’analisi dei dati non-strutturati richiede l’uso di tecniche ad hoc che solitamente prevedono una serie di operazioni preliminari di pulizia e trasformazione dei dati stessi.

Machine learning

Il machine learning è la parte dell’intelligenza artificiale che si occupa di sviluppare gli algoritmi usati dalle macchine per apprendere in modo automatico. Da un punto di vista operativo, il machine learning produce previsioni e raccomandazioni che sono poi usate dai sistemi di intelligenza artificiale per decidere quale azione prendere.

Mentre il machine learning si occupa solo della parte strettamente algoritmica, gli analytics hanno come obiettivo quello di estrarre informazioni utili dai dati e includono anche operazioni di raccolta, pulizia e sintesi degli stessi.

A differenza del machine learning, gli analytics richiedono un continuo intervento da parte dell’analista nei vari step dell’analisi. Un altro termine oggi in voga è data science, con il quale si identifica il campo di studio multidisciplinare che combina capacità di programmazione, conoscenze di matematica e statistica insieme a competenze specifiche nel settore oggetto di indagine.

Tipi di analytics

Gli strumenti di analytics si dividono in funzione del loro obiettivo in:

• Descriptive analytics: l’obiettivo è riassumere ciò che è accaduto in passato. Gli output sono generalmente report e cruscotti, dashboard, predefiniti. Un esempio di descriptive analytics consiste nel valutare quali sono le caratteristiche dei clienti più attivi negli ultimi 3 mesi.
• Predictive analytics: l’obiettivo è determinare cosa potrebbe accadere in futuro. Ad esempio, quali segmenti di clienti hanno maggiori probabilità di rispondere a una nuova campagna promozionale?
• Prescriptive analytics: queste tecniche forniscono indicazioni sui potenziali risultati di una decisione e indicano cosa accadrà se tali risultati saranno raggiunti. Vengono solitamente utilizzate per individuare le azioni ottimali da intraprendere per raggiungere gli obiettivi di business. Impiegano tecniche di ottimizzazione e simulazione.

Software per gli analytics

Tra i software attualmente disponibili per gli analytics, i più utilizzati nell’ambito dei Big Data sono:

• R (https://www.r-project.org): è un linguaggio di scripting nato in ambito statistico che può essere esteso installando package aggiuntivi. Esistono package che consentono di effettuare praticamente qualsiasi tipo di analisi ad oggi disponibile.
• Python (https://www.anaconda.com): è un linguaggio di programmazione molto potente che include numerose funzionalità per gli analytics. È uno strumento più generale di R, ma anche meno immediato da imparare. È particolarmente efficiente per le analisi di dati testuali.
• KNIME (https://www.knime.com): è un software per gli analytics semplice da usare e basato sulla costruzione di flussi di analisi, pipelines.

Tutti questi software sono open source.

L’esplorazione dei dati

In questo corso diamo per scontato che i dati siano già stati raccolti da alcune fonti e passiamo direttamente allo step successivo, ovvero l’esplorazione dei dati.

L’esplorazione dei dati è uno dei passi più importanti in qualsiasi progetto di analytics poiché consente di familiarizzare con i dati stessi individuando pattern/relazioni potenzialmente di interesse ed eventuali anomalie, outlier, asimmetrie, inconsistenze nei dati, ecc.

L’esplorazione dei dati si effettua con gli strumenti di descriptive analytics.

Un tipico data set è una tabella composta da alcune righe, ognuna delle quali si riferisce ai cosiddetti casi o osservazioni, e da un certo numero di colonne dette variabili.

Indicheremo genericamente con il numero di casi/osservazioni e con il numero di variabili. PM

Le variabili possono contenere informazioni di tipo diverso:

L’esplorazione dei dati si effettua dapprima analizzando le caratteristiche di ogni singola variabile, analisi univariate, e successivamente verificando se le varie coppie di variabili sono legate da un qualche tipo di relazione, analisi bivariate.

Per quanto riguarda le analisi univariate, gli strumenti principali disponibili sono:

• Tabelle delle frequenze
• Rappresentazioni grafiche univariate, diagrammi a barre o torta, istogrammi, box plot, ecc.
• Statistiche di sintesi, come ad esempio, la media, la mediana o la deviazione standard

Gli strumenti più comuni per le analisi bivariate sono invece:

• Tabelle a doppia entrata, cross-tabs
• Rappresentazioni grafiche bivariate, diagrammi a barre impilate, box plot affiancati, diagrammi di dispersione, ecc.
• Indici di sintesi delle associazioni tra variabili, indici di connessione, indici di correlazione lineare

Esempio – Donazioni ex-alunni

Per illustrare gli strumenti di descriptive analytics per l’esplorazione dei dati utilizziamo un data set contenente le donazioni di ex-alunni di un’università americana. Il set di dati è composto da 1230 ex-studenti e contiene le somme di denaro che ognuno di essi ha donato all’università negli anni 2000-2004, fy00giving–fy04giving.

In aggiunta, il data set include anche le seguenti variabili:

• Gender è genere
• Class_year è anno di corso
• Marital_status è stato civile
• Major è materia principale in cui si sono diplomati
• Next_degree è eventuale ulteriori titoli conseguiti dopo la laurea
• Attendance_event è indicatore della partecipazione a uno specifico evento per la raccolta di fondi

L’obiettivo di questo primo esempio consiste nell’analisi di questi dati per identificare i principali driver delle donazioni provenienti da questi ex-studenti. FoxKimEtmcon faiE

Analisi univariate per variabili numeriche

Media, primo momento della distribuzione.

La media è definita come:

Dove ti rappresenta il valore della variabile per l’osservazione i-esima.

È l’indice più semplice e più frequentemente utilizzato per descrivere il «centro» di una serie di valori numerici. Ha la stessa unità di misura della variabile.

ATTENZIONE: è fortemente influenzato dai valori estremi, outlier.

Mediana.

La mediana rappresenta il valore centrale della distribuzione:

Come la media, ha la stessa unità di misura della variabile. Diversamente dalla media, non è influenzato da valori estremi, outlier.

Se la mediana e la media sono approssimativamente uguali, sulla scala della variabile, allora la distribuzione è approssimativamente simmetrica. È un indice che, come la moda, ha una finitezza.

Quartili.

I quartili sono i valori che dividono in quattro parti uguali la distribuzione:

Q1 è detto primo quartile, mentre Q3 è chiamato terzo quartile.

Hanno la stessa unità di misura della variabile.

Come la mediana, non sono influenzati dai valori anomali.

Percentili.

I percentili dividono la distribuzione in 100 parti uguali fornendo una divisione più fine rispetto ai quartili:

Si noti che Q1=P25, Q2=P50 = mediana ecc.

Più utilizzati: P1, P5, P10, …, P90, P95, P99.

Range.

Il range è la differenza tra i valori osservati più grande e più piccolo. È una misura di variabilità molto semplice e intuitiva. Tuttavia, non prende in considerazione l'intera distribuzione dei valori. Ad esempio, di seguito sono riportate due diverse distribuzioni con lo stesso range:

ATTENZIONE: il range è estremamente sensibile agli outlier. FanIECXi6 ex E Fan

Varianza, secondo momento.

La varianza è definita come:

Il denominatore, n − 1, serve per tener conto del fatto che i dati che si hanno di fronte rappresentano un campione e non l’intera popolazione. Indica quanto è larga la distribuzione, ovvero quanto si discosta dal valore centrale.

È piuttosto sensibile agli outlier. La sua unità di misura corrisponde al quadrato di quella della variabile. Per esempio, se la variabile è espressa in € è la varianza sarà espressa in € alla seconda.

Dev. standard.

La deviazione standard è definita come la radice quadrata della varianza.

Rappresenta la misura più comune di variabilità per una variabile numerica. È sensibile agli outlier, ma meno della varianza. La sua unità di misura corrisponde a quella della variabile. Per questo motivo, è un indice che non è possibile confrontare per variabili diverse.

Coef. di variazione.

Il coefficiente di variazione è definito come il rapporto tra la deviazione standard e il valore assoluto della media.

È espresso come percentuale, per cui non ha nessuna unità di misura. Per questo motivo, è tipicamente utilizzato per confrontare la variabilità di diverse variabili.

Esempio – Donazioni ex-alunni: analisi univariate per variabili numeriche

Riportiamo qui sotto le principali misure di sintesi per le quattro variabili che riportano le donazioni effettuate dagli ex-alunni negli anni 2000-2004, fy00giving–fy04giving:

Le deviazioni standard e i coefficienti di variazione sono dati da:

Gli indici riportati nella precedente slide permettono di concludere tra le altre cose che:

• Almeno la metà degli ex-alunni non ha mai donato nulla nei diversi anni, poiché le mediane risultano essere tutte nulle: le donazioni nei vari anni mostrano una quota considerevole di valori pari a 0
• Le medie delle donazioni mostrano un andamento altalenante negli anni con i valori più elevati osservati nel 2001 e 2003.
• Almeno il 75% degli ex-alunni nei vari anni ha contribuito con una donazione al massimo pari a 75$, come mostrato per dai valori dei terzi quartili, a parte il 2000, in cui il terzo quartile è pari a 60$.
• Le distribuzioni delle donazioni sono molto variabili, come mostrato dalle deviazioni standard e dai coefficienti di variazione: per esempio, nel 2001 la deviazione standard delle donazioni è risultata essere quasi 17 volte più grande della media per lo stesso anno.
• Tale forte variabilità è dovuta alla presenza di outlier è nel 2001 si è registrata la donazione più alta in assoluto, massimo, pari a circa 161370$.

Potrebbe essere utile ripetere la stessa analisi anche per il totale delle donazioni sui 5 anni. A tal fine, creiamo una nuova variabile corrispondente alla somma di fy00giving–fy04giving, che chiamiamo totgiving:

Ulteriori percentili sono riportati nell’output seguente:

Box plot.

Il box plot fornisce una visualizzazione semplice ma potente dei dati. Il box plot è costruito a partire da 5 numeri:

Il box plot permette di scoprire:

• Asimmetrie nella distribuzione
• Potenziali valori anomali Ehi FixitAAASIMMETRIA M 3 E Finicurtosi mea faialE leilungheindica sonoquanto Efunile code

Esempio – Donazioni ex-alunni: istogramma e box plot

Analisi univariate per variabili numeriche.

Qui sotto riportiamo l’istogramma, a sinistra, e il box plot, a destra, per la variabile totgiving, dai quali si conclude che la distribuzione è fortemente asimmetrica a destra a causa della presenza di pochi valori molto estremi, outlier:

Per evidenziare meglio la distribuzione dei dati, ripetiamo la stessa analisi ma tralasciando le donazioni totali pari a 0 e quelle più grandi di 1000$:

Analisi bivariate

Dopo aver esplorato i dati con le analisi univariate, è opportuno verificare se due variabili sono legate tra loro da qualche tipo di relazione.

Questo tipo di analisi vanno sotto il nome di analisi bivariate: correlazione tra due variabili dipendenti, categoriche o numeriche, es: tra età e dimensione aziendale.

Le due variabili vengono solitamente indicate con Y ed X, di cui la prima viene detta variabile di risposta, o variabile dipendente, e la seconda predittore, o variabile indipendente.

È PA biF variata è Si ottiene una superficie.

Analisi bivariate – Numerica vs. categorica

Supponiamo di voler confrontare l’importo complessivo delle donazioni nei due sottogruppi di ex-studenti che hanno partecipato all’evento di raccolta fondi e quelli che non hanno partecipato al medesimo evento. In particolare vogliamo capire se il fatto di aver partecipato a quell’evento ha determinato una distribuzione delle somme donate diversa. Se così fosse, potremo concludere che esiste un’associazione tra il totale donato e la partecipazione all’evento.

Una rap