Business Intelligence

Business intelligence

Il Business Intelligence è associato ai modelli di business. BI è una nuova funzione nelle aziende basata sull’analizzare un enorme quantità di dati. BI è un’attività davvero critica per molti BM. I knowledge workers devono prendere decisioni critiche per il breve o lungo termine di carattere strategico come per esempio quali utenti contattare per una campagna di fedeltà. La maggior parte delle decisioni che i K.W. devono prendere sono complesse e non basta l’esperienza, ma un metodo analitico e modelli matematici.

Ad esempio, esaminiamo il caso di una tipica azienda che cerca di trattenere gli utenti dal passaggio ad un'altra compagnia. Abbiamo un budget per la campagna di customer retention solo per 2000 utenti mentre gli utenti totali sono 2 milioni. La decisione in questo caso è quali utenti contattare. In casi come questi l’esperienza non è sufficiente. Altro esempio per cui c’è bisogno di altri strumenti oltre l’esperienza è la pianificazione di un logistic plan di medio termine, problema che si compone di decine di strutture, centinaia di fornitori e migliaia di beni finiti e componenti, tutto ciò in un intervallo di 1 anno.

Lo scopo della BI è fornire ai K.W. gli strumenti e le metodologie per prendere decisioni importanti in maniera efficace e tempestiva.

• Efficace: le migliori decisioni per raggiungere l’obiettivo nel modo più efficace;
• Decisioni tempestive: rispondere rapidamente alle azioni dei competitors e alle nuove condizioni di mercato.

In organizzazioni complesse senza BI è impossibile aggiungere questi risultati in maniera efficiente e tempestiva, questo perché tutti i modelli matematici e tutte queste tecniche rendono possibile analizzare un largo numero di azioni alternative e una grande quantità di dati. È il poter avere molti diversi risultati ognuno dei quali rende possibile valutare le alternative, compararle e trovare la migliore tra tutte le possibili. È diventato difficile prendere decisioni all’interno della compagnia perché ci sono molti dati sia da fonti interne che esterne e tutti questi dati non possono essere usati per prendere la decisione nella loro versione grezza.

Esempio pratico

Pensiamo ad esempio al supermercato, i dati che colleziona sono: tutte le transazioni, come si effettua il pagamento, se si è iscritto ad un programma di fedeltà, informazioni su azioni di marketing (per esempio, nel caso degli sconti sanno quali sono i loro clienti), informazioni sui fornitori. Hanno un’enorme quantità di dati derivanti dall’esterno (i clienti ed utenti) e dall’interno (sanno cosa fanno gli impiegati, quando lavorano). Tutti questi dati possono essere usati per prendere decisioni come il prossimo articolo in sconto (problema tradizionale nel supermarket), quali sono gli utenti a cui offrire lo sconto (se offrirlo a tutti o selezionarne alcuni). Queste sono tipiche decisioni nel supermarket.

Questi dati necessitano di essere processati tramite strumenti e modelli matematici che rendono possibile trasformarli in informazioni e conoscenza. I dati associati per esempio alle transazioni sono solamente dati (cioè numeri) riguardanti l’ID dei clienti, quello degli articoli, quanto è stato speso, ecc. Quindi BI attraverso modelli analitici trasforma questi numeri in informazioni e successivamente in conoscenza.

• Dati: singola entità primaria strutturata e codificata, così come le transazioni coinvolgenti due o più entità primarie.
• Informazione: il risultato di estrazione e lavorazione di attività sui dati.

Se estraggo una specifica parte di dati dal mio database e processo questi dati li trasformo in informazioni. Per esempio, la proporzione delle ricevute di vendita oltre i 100$ per settimana o il numero di clienti in possesso di una carta di fedeltà che riduce del 50% l’importo mensile speso sono informazioni significative, in quanto rendono possibile distinguere tra consumatori che hanno speso maggiormente o meno di 100$. Rende possibile dividere i consumatori in diverse classi a cui dare o meno lo sconto.

• La conoscenza: un’informazione trasformata in conoscenza ed usata per prendere decisioni e sviluppare le azioni corrispondenti (migliorata dall’esperienza e competenza dei decisori nel risolvere problemi complessi). Per esempio, rilevare che un gruppo di clienti che vive in un’area ha ridotto la sua usuale quantità di acquisti, ciò conduce la conoscenza alle azioni mirate a risolvere il problema rilevato.

Quindi quando abbiamo i dati abbiamo numeri, applicando l’estrazione dei dati e analizzandoli è possibile convertirli in informazioni (per esempio distinguere tra diverse tipologie di consumatori), quando connetti i puntini puoi prendere le decisioni basate sulle informazioni, quando accade ciò si ha la conoscenza.

Architettura della BI

Questa è l’architettura tradizionale del BI process, il quale parte dal basso: dalle fonti di dati, li si mette nei data warehouse (magazzini dati), quindi si parte da dati grezzi poi si manipolano, si esplorano per poi applicare tecniche di data mining e dopo aver ottenuto i diversi risultati si seleziona il migliore e si prende la decisione basata su quest’ultima.

• Data Sources: raccogliere, unificare/integrare i dati memorizzati in varie fonti eterogenee primarie e secondarie. Collezionare dati (per esempio da call-center, riguardo fornitori, transazioni ecc.) è un compito davvero difficile avendo diverse forme i dati, primo step è prendere tutti i dati e unificarli (al prendere i dati si associano molti problemi complessi).
• Data Warehouse e Data Mart: i dati da diverse fonti sono immagazzinati in database destinati a supportare BI attraverso l’estrazione e strumenti di trasformazione. Loro sono il risultato della collezione dati e unificazione di tutti i dati derivanti da differenti fonti.
• Data Exploration: anche chiamata come Passive BI Analysis (questo consiste nell’applicare alcune domande e reporting systems, metodi statistici). Passive: i decision makers generano ipotesi precedenti e utilizzano strumenti per trovare risposta e conferma all’intuizione originale. Ad esempio, i ricavi diminuiti in una data area geografica per uno specifico gruppo di clienti si fanno ipotesi utilizzando strumenti di estrazione e visualizzazione e quindi si applicano test statistici per verificare se le conclusioni sono verificate dai dati.
• Data Mining: Active BI Process (estrazione di informazioni e conoscenze dai dati). Attivo: non richiede di formulare precedentemente una qualsiasi ipotesi che debba poi essere verificata. Lo scopo è di espandere la conoscenza. Per esempio, si prendono tutte le passate transazioni del cliente del supermarket e si cerca di scoprire se ci sono alcuni tipi di associazioni. Nell’esempio si scopre che i clienti che erano soliti comprare pane anche comprano generalmente Nutella. Questa analisi non richiede alcuna ipotesi, si mettono semplicemente i dati nell’algoritmo e si cerca di estrarre qualche tipo di informazione che possiamo usare.
• Optimization: modelli determinano la migliore soluzione di un insieme di azioni alternative.
• Decisions: prendere una decisione di lungo termine.

Considerando l’architettura del BI process, partendo dal basso e andando verso la punta della piramide, le competenze e i ruoli che devi avere sono diverse: nel primo step le informazioni sono date da information systems specialists, muovendosi verso il mezzo della piramide vi sono analisti ed esperti in modelli matematici e statistici, nella punta vi sono invece attività dei responsabili delle decisioni, responsabili del dominio dell'applicazione.

Le funzioni di Business che utilizzano la BI sono il Marketing e le Sales Function.

Ciclo della BI

• Analysis: rappresentazione del fenomeno attraverso analisi e identificazione dei fattori critici.
• Insight (intuizione): capire più profondamente il problema, trasformando l’analisi in conoscenza.
• Decision: le informazioni ottenute dall’Intuizione vengono convertite in decisioni e in seguito in azioni.
• Evaluation: misura delle performance e valutazione.

Data Mining: processo iterativo finalizzato all'analisi di database di grandi dimensioni, con lo scopo di estrarre informazioni e conoscenza che potrebbe dimostrarsi accurata e potenzialmente utile per i knowledge worker coinvolti nel processo decisionale e problem solving. Il significato è applicare strumenti per estrarre conoscenza che puoi usare per prendere decisioni, questo è il core process della BI. Il DM è basato su learning methods, prendere dati, cercare di trovare ricorrenze di dati e cercare di applicarle ai nuovi dati. Quindi lo scopo è partire da un campione di dati passati e generalizzare le conclusioni.

Tecniche di data mining

Le tecniche di DM sono di due tipi:

• Interpretazione: identificare schemi ricorrenti nei dati ed esprimerli attraverso regole e criteri che possono essere facilmente compresi dagli esperti di dominio dell'applicazione. Gli schemi devono essere originali e non banali per poter effettivamente aumentare il livello di conoscenza e comprensione del sistema di interesse. Si riportano i due esempi di panettone acquistato assieme al prosecco nel supermarket e di birre acquistate con i pannolini. Nel primo caso lo schema non è originale, è qualcosa di senso comune. Il secondo schema ci permette nel layout del supermarket di mettere i due articoli lontani tra loro perché so che dopo aver preso i pannolini il cliente andrà a prendere anche le birre, posso forzare il cliente a passare ad altri articoli con lo scopo di incrementare le possibilità che possa acquistare altri articoli. Quali articoli frapporre tra i due menzionati nel “cammino del cliente” sono tra le problematiche che affrontano i KW, cosa che possono fare solo andando ad analizzare i dati. Per capire la ragione di queste associazioni spesso poco intuitive si utilizzano ad esempio interviste ai consumatori, in questo caso fuori dal supermarket.
• Previsione: anticipare il valore che una variabile assumerà nel futuro o stimare la probabilità di eventi futuri. Ciò vuol dire che in altri casi posso utilizzare algoritmi/strumenti per predire qualcosa. Esempio di Netflix che fa raccomandazioni nei film da vedere, per far ciò effettua passate osservazioni su tutte le passate transazioni (ovvero i film visti dal cliente) e li usa per prevedere una variabile, quali film potrebbe voler vedere il cliente. Questo tipo di risultato è anch’esso uno scopo delle DM (diverso dal precedente volto invece ad estrarre schemi ricorrenti da usare nel business), l’output in questo caso è una probabilità associata ad esempio che ti piaccia il film.

Molte applicazioni del DM, come già detto, si trovano nel Marketing:

• Posso identificare i segmenti di clienti (customer segments).
• Posso capire quali clienti potrebbero acquistare un nuovo prodotto.
• Posso identificare i segmenti di clienti per le campagne di fidelizzazione.
• Prevedere il tasso di risposte positive a campagne di marketing, interpretazione e comprensione del comportamento d'acquisto dei clienti (esempio dei pannolini e birre).
• Analisi dei prodotti acquistati congiuntamente dai clienti (analisi del paniere di mercato).

Si possono usare i DM technics per applicazioni quali:

• Identificazioni di frode, infatti BI e DM sono usati in ambito bancario ad esempio per le carte di credito. Capire/predire quando queste transazioni sono frodi o meno rende possibile bloccare nel caso la carta. Si analizza le transazioni passate e si predice un valore della variabile studiata, analizzano le transazioni passate (quali sono i negozi in cui sono solito comprare, quando). Applicano un learning method e comprendono quali sono gli schemi di comportamento dell’utente. Quindi con un algoritmo creano un learning profile e lo comparano con le transazioni che l’utente fa, in caso di mismatch mandano un allert.
• È usato inoltre per Valutazioni di Rischio, Text Mining, Diagnosi Mediche. In tutti questi casi ci sono osservazioni passate, il metodo è analizzare queste transazioni e il learning methods per essere poi applicate a nuove transazioni.

L’Input Data è un Dataset:

• Le righe sono osservazioni passate, alcune volte chiamati esempi, casi, records.
• Le colonne sono informazioni disponibili per ogni osservazione (anche chiamati attributi, variabili, caratteristiche).

Gli attributi nei dataset possono essere:

• Categoriali: numero finito di valori distinti, proprietà qualitativa di un'entità a cui si riferiscono. Nessuna operazione aritmetica, anche se i valori sono codificati da numeri interi. Per esempio, un’informazione categoriale è 1/0 se l’acquisto (la transazione) è stato fatto meno con una carta di credito, ogni riga è una transazione, ogni colonna un attributo (come il tipo di pagamento) 1 se il pagamento è stato fatto con la carta di credito, 0 fatto con i contanti, è quindi un attributo categoriale rappresentando infatti una informazione qualitativa su cui quindi non è possibile effettuare alcun tipo di operazione aritmetica.
• Numerico: numero finito o infinito di valori (ad esempio l’età).

Tassonomia degli attributi

• Counts: attributo categoriale quando una proprietà specifica può essere vera o falsa - Boolean (true / false) o binaria (0/1) (pagamento con carta di credito, variabile categoriale).
• Nominale: attributi categoriali senza un ordinamento naturale (possono essere on-line o store1, store 2, può assumere più valori senza un ordine tra loro).
• Ordinale: attributi categoriali con un ordinamento naturale ma per il quale esso non ha senso calcolare differenze o rapporti tra i valori (momento della giornata, ha un ordine essendo mattina prima del pomeriggio e così via, altro esempio è la valutazione di qualcosa da 1 a 5 in quanto le variabili possono variare tra questi numeri e come precedentemente c’è un ordine).
• Discreto: attributi numerici con infinito finito o numerabile di valori (quantità).
• Continuo: attributi numerici con infinito innumerevole di valori (quantità).

In questo campione di Dataset ci sono passate osservazioni e gli attributi associati ad esse. Abbiamo attributi categoriali e numerici: Amount continuo, Quantity discreto, Payment by credit card count, Store nominale, Moment of the day ordinale. A seconda della possibile esistenza di un target variabile, le attività di data mining possono essere supervisionate o non supervisionate. La differenza principale è che la Supervised learning quando si ha un attributo il cui valore lo si vuole identificare, le Unsupervised learning non sono tipologie di attributi che si vuole prevedere. Per esempio, se si vuole prevedere la probabilità che l’utente lasci la compagnia questo è un Supervised learning perché è un valore che si vuole prevedere, al contrario se si vuole trovare associazioni tra gli articoli acquistati dal cliente questo è un Unsupervised learning, non c’è uno specifico valore che si vuole prevedere.

Nel Supervised learning l’attributo obiettivo rappresenta la classe (class) a cui tutti i records appartengono, per cui ogni predizione e interpretazione è fatta rispetto all’attributo target. Tutte le analisi sono fatte rispetto a quell’attributo obiettivo. L’Unsupervised learning significa che non c’è un attributo target specifico per esempio segmentare i clienti (operazione effettuata senza usare un target attribute).

Vi sono 7 metodologie di DM tasks che possono essere identificate:

• Caratterizzazione e discriminazione: dividere i clienti diversi tra loro (per esempio clienti leali e non, è supervisionata perché l’analisi è fatta sapendo la target class - appunto leale e non).
• Classificazione: identifica per ogni utente ad esempio se sono heavy user o light user, è supervisionata perché è un target variabile.
• Regressione: i modelli di regressione permettono di predire il valore di un attributo, anche questa è supervisionata appunto perché vuole predire con una regressione il valore futuro di un attributo.
• Analisi delle serie temporali: effettuate mediante l’uso di regressioni applicate ad un asse orizzontale/una analisi temporale, anche queste sono supervisionate.
• Regole di associazione: sono algoritmi che rendono possibile trovare quali sono le entità maggiormente associate con altre (per esempio pannolini e birra), sono non supervisionate.
• Clustering: significa trovare utilizzatori simili tra loro, non supervisionata.
• Descrizione e Visualizzazione: sono tecniche che visualizzano i risultati e sono ancora non supervisionati.

Analisi delle metodologie

Caratterizzazione e discriminazione: analisi esplorativa prima di iniziare a sviluppare un modello di classificazione (con una variabile di classe). Quindi per costruire un modello di classificazione si prendono i dati e si cerca di analizzarli, esplorarli. Gli scopi di queste tipologie di compiti sono per esempio confrontare la distribuzione dei valori di attributi per i record appartenenti alla stessa classe, attraverso la caratterizzazione e discriminazione.

In questa schermata abbiamo il numero di utilizzatori che sono in ciascuna area geografica e si ha il numero di utenti che abbandona la compagnia e il numero di utenti fedeli per ogni area. Facendo questo tipo di analisi si rende possibile comparare valori distribuzionali di attributi (come il numero di utenti) con i record appartenenti alla stessa classe (come leali e non). È possibile comparare i valori di ciascuna area. Tutti questi dati esplorativi/ queste analisi sono fatte con queries e counts, un modo per contare il numero di utenti che...