Appunti di Business Data Science

1_ Review di Descriptive analytics

Introduzione

La pratica del business sta cambiando. Sempre più aziende stanno accumulando quantità crescenti

di dati in molti aspetti della vita delle persone. Non si tratta di un fenomeno che riguarda solo

Internet, ma gli stessi cambiamenti sono in atto anche in finanza, nel settore medico-sanitario, nel

settore farmaceutico, nell’istruzione, nelle vendite al dettaglio, ecc.

Il tema comune in tutti questi esempi è il fatto di basarsi sulla raccolta e l’analisi dei dati con

l’obiettivo di prendere le migliori decisioni aziendali. In altre parole, i dati e la capacità di estrarre

conoscenza dagli stessi dovrebbero essere considerati come un asset strategico dalle aziende.

I driver principali che hanno contribuito alla rivoluzione a cui stiamo assistendo in questi anni sono:

1. i cosiddetti Big Data

2. un drastico aumento delle capacità di calcolo

3. lo sviluppo di nuovi e più potenti algoritmi di machine learning

Il termine Big Data ha origine in ambito informatico e si riferisce a insiemi di dati talmente grandi da

non poter essere immagazzinati o caricati nella memoria di un singolo computer.

Per dare un’idea di cosa si intende per Big Data, si consideri che ogni minuto:

– su Twitter vengono creati più di 300,000 tweet

– gli abbonati di Netflix scaricano più di 70,000 ore di video

– gli utenti di Apple scaricano più di 30,000 app

– più di 2,000,000 di foto vengono condivise su Instagram

I Big Data sono definiti attraverso alcune loro caratteristiche, a cui ci si riferisce spesso come le «3

V»:

– Volume è la quantità di dati (in termini soprattutto di righe del data set, ovvero di casi/osservazioni)

– Velocità è la rapidità con cui questo tipo di dati sono generati

– Varietà è la diversità dei formati (strutturati e non) e delle fonti dei dati (applicativi gestionali interni,

sensori, social network, Internet of Things, ecc.)

L’unico modo con cui è possibile gestire tali enormi set di dati è spezzettando il data set in blocchi

di dimensioni più ridotte, i quali vengono quindi distribuiti su molti computer collegati tra loro via

Internet (cloud).

Per questo motivo, i Big Data pongono innanzitutto un problema infrastrutturale, infatti, un’azienda

che intende sfruttare questo tipo di informazioni deve prima di tutto dotarsi di un sistema hardware

che sia in grado di gestire tali moli di dati attraverso la predisposizione di server adeguati.

In secondo luogo, l’azienda deve procurarsi le competenze informatiche (ovvero il personale)

necessarie per organizzare i dati grezzi in un formato che sia fruibile da chi deve poi effettuare le

analisi.

Mentre i costi legati all’acquisizione della struttura hardware necessaria all’acquisizione e alla

gestione dei Big Data possono essere molto elevati, sul fronte software la situazione è meno critica

poiché praticamente tutti i software ad oggi in uso nell’ambito dei Big Data sono di tipo open

source.

La piattaforma software che ad oggi è diventata praticamente sinonimo di Big Data è Hadoop.

Hadoop è un software open source per l’archiviazione e l’elaborazione distribuita di grandi set di

dati.

La principale differenza tra Hadoop e altri soluzioni per la gestioni di grandi volumi di dati è che

Hadoop può essere configurato su un cluster di computer costruiti con hardware tradizionali, cioè

sistemi a basso costo che non hanno le caratteristiche di affidabilità delle macchine specializzate

più costose. Hadoop è infatti in grado di garantire la disponibilità del sistema e di prevenire la

perdita di dati a fronte di problemi hardware.

Insieme ad Hadoop sono stati sviluppati altri software complementari (il cosiddetto «ecosistema

Hadoop») che consentono di eseguire una serie molto articolata di

operazioni. Per esempio, MapReduce è la componente di Hadoop che permette di eseguire delle

elaborazioni su ognuno dei computer collegati in rete e di combinare quindi i relativi risultati.

Un’altra componente importante è Spark, che fornisce un’implementazione alternativa e più

efficiente rispetto a MapReduce e per questo motivo è diventato uno degli strumenti principali per i

Big Data analytics.

Tipi di dati

I dati che compongono un tipico data set di tipo Big Data possono avere diversa natura:

– dati strutturati: dati che sono rappresentabili in formato tabellare all’interno di un database

relazionale.

«Rappresentabili in formato tabellare» significa che i dati si trovano in un file (tipicamente di testo,

come ad esempio file in formato CSV), nel quale i singoli campi (ovvero le colonne) sono ben

separati e identificabili.

– dati non-strutturati è ovvero dati che non è possibile rappresentare in formato tabellare.

Tipici esempi di dati non- strutturati sono i dati testuali (email, file PDF, tweet, post in un blog, ecc.),

le immagini, i video e i file audio. L’analisi dei dati non-strutturati richiede l’uso di tecniche ad hoc

che solitamente prevedono una serie di operazioni preliminari di pulizia e trasformazione dei dati

stessi.

Machine learning

• Il machine learning è la parte dell’intelligenza artificiale che si occupa di sviluppare gli algoritmi

usati dalla macchine per apprendere in modo automatico. Da un punto di vista operativo, il machine

learning produce previsioni e raccomandazioni che sono poi usate dai sistemi di intelligenza

artificiale per decidere quale azione prendere.

Mentre il machine learning si occupa solo della parte strettamente algoritmica, gli analytics hanno

come obiettivo quello di estrarre informazioni utili dai dati e includono anche operazioni di raccolta,

pulizia e sintesi degli stessi.

A differenza del machine learning, gli analytics richiedono un continuo intervento da parte

dell’analista nei vari step dell’analisi. Un altro termine oggi in voga è data science, con il quale si

identifica il campo di studio multidisciplinare che combina capacità di programmazione,

conoscenze di matematica e statistica insieme a competenze specifiche nel settore oggetto di

indagine.

Tipi di analytics

Gli strumenti di analytics si dividono in funzione del loro obiettivo in:

• Descriptive analytics: l’obiettivo è riassumere ciò che è accaduto in passato. Gli output sono

generalmente report e cruscotti (dashboard) predefiniti. Un esempio di descriptive analytics

consiste nel valutare quali sono le caratteristiche dei clienti più attivi negli ultimi 3 mesi.

• Predictive analytics: l’obiettivo è determinare cosa potrebbe accadere in futuro. Ad esempio, quali

segmenti di clienti hanno maggiori probabilità di rispondere a una nuova campagna

promozionale?

• Prescriptive analytics: queste tecniche forniscono indicazioni sui potenziali risultati di una

decisione e indicano cosa accadrà se tali risultati saranno raggiunti. Vengono solitamente

utilizzate per individuare le azioni ottimali da intraprendere per raggiungere gli obiettivi di

business. Impiegano tecniche di ottimizzazione e simulazione.

Software per gli analytics

Tra i software attualmente disponibili per gli

analytics, i più utilizzati nell’ambito dei Big Data

sono:

– R (https://www.r-project.org) :è un linguaggio

di scripting nato in ambito statistico che può

essere esteso installando package aggiuntivi.

Esistono package che consentono di effettuare

praticamente qualsiasi tipo di analisi ad oggi

disponibile.

– Python (https://www.anaconda.com) :è un

linguaggio di programmazione molto potente

che include numerevoli funzionalità per gli

analytics. E’ uno strumento più generale di R,

ma anche meno immediato da imparare. E’

particolarmente efficiente per le analisi di dati testuali.

– KNIME (https://www.knime.com) :è un software per gli analytics semplice da usare e basato sulla

costruzione di flussi di analisi (pipelines).

Tutti questi software sono open source.

L’esplorazione dei dati

In questo corso diamo per scontato che i dati

siano già stati raccolti da alcune fonti e

passiamo direttamente allo step successivo,

ovvero l’esplorazione dei dati.

L’esplorazione dei dati è uno dei passi più importanti in qualsiasi progetto di analytics poiché

consente di familiarizzare con i dati stessi individuando pattern/relazioni potenzialmente di interesse

ed eventuali anomalie (outlier, asimmetrie, inconsistenze nei dati, ecc.).

L’esplorazione dei dati si effettua con gli strumenti di descriptive analytics.

Un tipico data set è una tabella composta da alcune righe, ognuna delle quali si riferisce ai

cosiddetti casi o osservazioni, e da un certo numero di colonne dette variabili.

Indicheremo genericamente con il numero di casi/osservazioni e con il numero di variabili.

P

M

Le variabili possono contenere informazioni di tipo diverso:

L’esplorazione dei dati si effettua dapprima analizzando le caratteristiche di ogni singola variabile

(analisi univariate) e successivamente verificando se le varie coppie di variabili sono legate da un

qualche tipo di relazione (analisi bivariate).

Per quanto riguarda le analisi univariate, gli strumenti principali disponibili sono:

1. tabelle delle frequenze

2. rappresentazioni grafiche univariate (diagrammi a barre o torta, istogrammi, box plot, ecc.)

3. statistiche di sintesi (come ad esempio, la media, la mediana o la deviazione standard)

Gli strumenti più comuni per le analisi bivariate sono invece:

1. tabelle a doppia entrata (cross-tabs)

2. rappresentazioni grafiche bivariate (diagrammi a barre impilate, box plot affiancati, diagrammi di

dispersione, ecc.)

3. indici di sintesi delle associazioni tra variabili (indici di connessione, indici di correlazione lineare)

Esempio – Donazioni ex-alunni

Per illustrare gli strumenti di descriptive analytics per l’esplorazione dei dati utilizziamo un data set

contenente le donazioni di ex-alunni di un’università americana. Il set di dati è composto da 1230

ex-studenti e contiene le somme di denaro che ognuno di essi ha donato all’università negli anni

2000- 2004 (fy00giving–fy04giving).

In aggiunta, il data set include anche le seguenti variabili:

– gender è genere

– class_year è anno di corso

– marital_status è stato civile

– major è materia principale in cui si sono diplomati

– next_degree è eventuale ulteriori titoli conseguiti dopo la laurea

– attendance_event è indicatore della partecipazione a uno specifico evento per la raccolta di fondi

L’obiettivo di questo primo esempio consiste nell’analisi di questi dati per identificare i principali

driver delle donazioni provenienti da questi ex-studenti. Fox

Kim

E

t

m

con fai

E

Analisi univariate per variabili numeriche

– Media (primo momento della distribuzione)

La media è definita come:

dove ti rappresenta il valore della variabile per l’osservazione i-esima.

E’ l’indice più semplice e più frequentemente utilizzato per descrivere il «centro» di una serie di

valori numerici. Ha la stessa unità di misura della variabile.

ATTENZIONE: è fortemente influenzato dai valori estremi (outlier).

– Mediana

La mediana rappresenta il valore centrale della distribuzione:

Come la media, ha la stessa unità di misura della variabile. Diversamente dalla media, non è

influenzato da valori estremi (outlier).

Se la mediana e la media sono (approssimativamente) uguali (sulla scala della variabile) allora la

distribuzione è (approssimativamente) simmetrica. È un indice che, come la moda, ha una finitezza.

– Quartili

I quartili sono i valori che dividono in quattro parti uguali la

distribuzione:

Q1 è detto primo quartile, mentre Q3 è chiamato terzo quartile.

Hanno la stessa unità di misura della variabile.

Come la mediana, non sono influenzati dai valori anomali.

– Percentili

I percentili dividono la distribuzione in 100 parti uguali

fornendo una divisione più fine rispetto ai quartili:

Si noti che Q1=P25, Q2=P50 = mediana ecc.

Più utilizzati: P1, P5, P10,…., P90, P95, P99.

– Range

Il range è la differenza tra i valori osservati più grande e più piccolo. È

una misura di variabilità molto semplice e intuitiva. Tuttavia, non

prende in considerazione l'intera distribuzione dei valori. Ad esempio,

di seguito sono riportate due diverse distribuzioni con lo stesso range:

ATTENZIONE: il range è estremamente sensibile agli outlier. Fan

I

E

C

Xi

6 ex E Fan

– Varianza (secondo momento)

• La varianza è definita come:

Il denominatore (n − 1 ) serve per tener conto del fatto che i dati che si hanno di fronte

rappresentano un campione e non l’intera popolazione. Indica quanto è larga la distribuzione,

ovvero quanto si discosta dal valore centrale.

E’ piuttosto sensibile agli outlier. La sua unità di misura corrisponde al quadrato di quella della

variabile. Per esempio, se la variabile è espressa in € è la varianza sarà espressa in € alla seconda.

– Dev. standard

La deviazione standard è definita come la radice quadrata della varianza.

Rappresenta la misura più comune di variabilità per una variabile

numerica. E’ sensibile agli outlier, ma meno della varianza. La sua unità di misura corrisponde a

quella della variabile. Per questo motivo, è un indice che non è possibile confrontare per variabili

diverse.

– Coef. di variazione

Il coefficiente di variazione è definito come il rapporto tra la deviazione

standard e il valore assoluto della media.

E’ espresso come percentuale, per cui non ha nessuna unità di misura. Per

questo motivo, è tipicamente utilizzato per confrontare la variabilità di diverse variabili.

Esempio – Donazioni ex-alunni

Analisi univariate per variabili numeriche

Riportiamo qui sotto le principali misure di sintesi per le

quattro variabili che riportano le donazioni effettuate dagli ex- alunni negli anni 2000-2004

(fy00giving–fy04giving):

Le deviazioni standard e i coefficienti di variazione sono dati da:

Gli indici riportati nella precedente slide permettono di concludere tra le altre cose che:

– almeno la metà degli ex-alunni non ha mai donato nulla nei diversi anni, poiché le mediane

risultano essere tutte nulle: le donazioni nei vari anni mostrano una quota considerevole di valori pari

a 0

– le medie delle donazioni mostrano un andamento altalenante negli anni con i valori più elevati

osservati nel 2001 e 2003.

– almeno il 75% degli ex-alunni nei vari anni ha contribuito con una donazione al massimo pari a

75$, come mostrato per dai valori dei terzi quartili (a parte il 2000, in cui il terzo quartile è pari a

60$).

– le distribuzioni delle donazioni sono molto variabili, come mostrato dalle deviazioni standard e dai

coefficienti di variazione: per esempio, nel 2001 la deviazione standard delle donazioni è risultata

essere quasi 17 volte più grande della media per lo stesso anno.

– tale forte variabilità è dovuta alla presenza di outlier è nel 2001 si è registrata la donazione più alta

in assoluto (massimo) pari a circa 161370$.

Potrebbe essere utile ripetere la stessa analisi anche per il

totale delle donazioni sui 5 anni. A tal fine, creiamo una

nuova variabile corrispondente alla somma di fy00giving–

fy04giving, che chiamiamo totgiving:

Ulteriori percentili sono riportati nell’output seguente:

– Box plot

Il box plot fornisce una visualizzazione semplice ma

potente dei dati. Il box plot è costruito a partire da 5

numeri:

Il box plot permette di scoprire: – asimmetrie nella distribuzione

– potenziali valori anomali Ehi Fixit

A

A

ASIMMETRIA M 3 E Fini

curtosi mea fai

al

E lei

lunghe

indica sono

quanto E

funi

le code

Esempio – Donazioni ex-alunni

Analisi univariate per variabili numeriche

Qui sotto riportiamo l’istogramma (a sinistra) e il box plot (a

destra) per la variabile totgiving, dai quali si conclude che la

distribuzione è fortemente asimmetrica a destra a causa della

presenza di pochi valori molto estremi (outlier):

Per evidenziare meglio la distribuzione dei dati, ripetiamo la

stessa analisi ma tralasciando le donazioni totali pari a 0 e quelle

più grandi di 1000$:

Analisi bivariate

• Dopo aver esplorato i dati con le analisi univariate, è opportuno verificare se due variabili sono

legate tra loro da qualche tipo di relazione.

• Questo tipo di analisi vanno sotto il nome di analisi bivariate: correlazione tra due variabili

dipendenti (categoriche o numeriche) es: tra età e dimensione aziendale

• Le due variabili vengono solitamente indicate con Y ed X, di cui la prima viene detta variabile di

risposta (o variabile dipendente) e la seconda predittore (o variabile indipendente).

È P

A bi

F variata

è Si ottiene una super cie

Analisi bivariate – Numerica vs. categorica

Supponiamo di voler confrontare l’importo complessivo delle donazioni nei due sottogruppi di ex-

studenti che hanno partecipato all’evento di raccolta fondi e quelli che non hanno partecipato al

medesimo evento. In particolare vogliamo capire se il fatto di aver partecipato a quell’evento ha

determinato una distribuzione delle somme donate diversa. Se così fosse, potremo concludere che

esiste un’associazione tra il totale donato e la partecipazione all’evento.

Una rap