Lezioni, Business intelligence M

Business intelligence M 6 CFU

Stefano Rizzi Prof. – Data Warehouse

Fabio Grandi Prof. – Data Mining

Appunti di Simone Benassi

Indice

Data Warehouse – Prof. Stefano Rizzi

• 1. La Business Intelligence – BI ....................................................................................... 1
• 2. Il Data Warehousing ..................................................................................................... 4
• Il modello relazionale (ripasso) ................................................................................. 4
• Le interrogazioni ....................................................................................................... 9
• Le architetture ........................................................................................................... 13
• ETL – Extraction, Transformation and Loading ....................................................... 18
• Il modello multidimensionale ................................................................................... 20
• Il cubo delle vendite ............................................................................................. 21
• Le gerarchie .......................................................................................................... 22
• Tecniche di analisi dei dati ........................................................................................ 23
• 3. Il ciclo di vita del Data Warehouse .............................................................................. 26
• La progettazione del Data Mart ................................................................................ 28
• 1) Analisi e riconciliazione delle sorgenti operazionali ............................................ 30
• 2) Analisi dei requisiti ............................................................................................... 33
• 3) Progettazione concettuale ..................................................................................... 34
• Dimensional Fact Model (DFM) ............................................................................... 35
• A) Definizione dei fatti ........................................................................................ 39
• B.1) Costruzione dell’albero degli attributi ......................................................... 40
• B.2) Editing dell’albero ........................................................................................ 40
• B.3) Definizione delle dimensioni ....................................................................... 41
• B.4) Definizione delle misure .............................................................................. 41
• B.5) Creazione dello schema di fatto ................................................................... 41
• 4) Carico di lavoro e volume dati .............................................................................. 42
• 5) Progettazione logica .............................................................................................. 42
• Le viste ...................................................................................................................... 48
• 6) Progettazione dell’alimentazione .......................................................................... 51

Appunti dell’A.A. 2012/2013

Business intelligence M – Indice moduli – Simone Benassi i

• 4. L’analisi what-if ............................................................................................................ 54
• 5. Business Performance Management – BPM .............................................................. 55
• 6. La BI 2.0 ......................................................................................................................... 56
• Esercizi ............................................................................................................................. 58
• Acronimi .......................................................................................................................... 65
• Definizioni ...................................................................................................................... 66

Data Mining – Prof. Fabio Grandi

• 1. Introduzione al Data Mining ........................................................................................ 1
• 2. Scoperta di regole associative ....................................................................................... 6
• Algoritmo Apriori ..................................................................................................... 7
• 3. Clustering ....................................................................................................................... 13
• A) Algoritmo K-means ............................................................................................. 14
• B) Metodi di clustering gerarchici ............................................................................ 17
• C) Metodi di clustering basati sulla densità .............................................................. 20
• E) Metodi gerarchici basati su modelli statistici ....................................................... 21
• 4. I dati ............................................................................................................................... 22
• Similarità e Dissimilarità .......................................................................................... 26
• 5. Classificazione con alberi di decisione ........................................................................ 29
• Alberi decisionali ...................................................................................................... 30
• Bit .............................................................................................................................. 31
• Apprendere attraverso alberi decisionali ................................................................... 35
• Algoritmi di apprendimento ................................................................................................ 37

Appunti dell’A.A. 2012/2013

Business intelligence M – Indice moduli – Simone Benassi ii

• 6. Altri metodi di classificazione ...................................................................................... 42
• Metodi basati su regole di classificazione ................................................................. 42
• Classificazione Bayesiana ......................................................................................... 46
• Classificatore Bayesiano semplice (Naive) .......................................................... 46
• Modelli bayesiani per la classificazione di documenti ........................................ 47
• Bayes Naive Multinomiale ................................................................................... 47
• Bayesian Belief Network (BBN) ......................................................................... 48
• Altri metodi ............................................................................................................... 49
• Classificatore basato su istanze (Classificatori Nearest Neighbor) ..................... 49
• Conceptual Clustering .......................................................................................... 49
• Classificazione mediante backpropagation (Reti neurali) ................................... 50
• Support Vector Machines (SVM) ........................................................................ 55
• Predizione di valori numerici .................................................................................... 56
• 7. Valutazione dei risultati del mining ............................................................................ 57
• Valutazione del clustering ......................................................................................... 60
• 8. Data Mining Standards ................................................................................................ 61
• 9. Serie storiche ................................................................................................................. 63
• 10. Rilevazione di anomalie .............................................................................................. 64
• Acronimi .......................................................................................................................... 67
• Definizioni ...................................................................................................................... 68

Appunti dell’A.A. 2012/2013

Business intelligence M – Indice moduli – Simone Benassi iii

Business Intelligence M

Data Warehouse – 3 CFU

Stefano Rizzi Prof.

Negozio BigWare 15 Prodotto Vite Data

1. La Business Intelligence – BI

La funzione svolta dalle basi di dati in azienda è stata fino a qualche anno fa solo quella di dati operazionali, memorizzare ossia dati generati da operazioni svolte all’interno dei processi gestionali: i dati operazionali sono generati dalle attività di routine, quotidiane dell’azienda.

L’informatica era vista come una scienza di supporto che permetteva di rendere più rapide ed economiche le operazioni di gestione delle informazioni ma che non creava di per sé ricchezza.

Il ruolo dei sistemi informatici è radicalmente cambiato dai primi anni ’70 ad oggi: i sistemi informatici si sono trasformati da semplici strumenti per migliorare l’efficienza dei processi gestionali a elementi centrali dell’organizzazione aziendale in grado addirittura di rivoluzionare la struttura degli stessi processi aziendali.

Il duplice ruolo dell’informatica

Tecnologia di supporto alla gestione del sistema informativo aziendale.

Disciplina organizzativa che influenza i processi, i servizi e la struttura.

L’aumento esponenziale dei dati operazionali ha reso il calcolatore l’unico supporto adatto ai processi decisionali: il ruolo dell’informatica è passato da passivo strumento per la memorizzazione delle operazioni a fattore decisivo per l’individuazione di elementi critici dell’organizzazione e di potenziali aree di business.

Oggi il top management deve prendere importanti decisioni che si traducono in ingenti investimenti: per prendere decisioni difficili è necessario avere informazioni il più possibile corrette che a loro volta sono estrapolate da una grande quantità di dati.

Il portafoglio applicativo è costituito da:

• Portafoglio direzionale
• Portafoglio istituzionale
• Portafoglio operativo
• Amministrazione e vendita
• Approvvigionamento
• Fabbricazione
• Post-vendita e distribuzione
• Gestione delle risorse umane e progettazione
• Altri processi di supporto
• CIM
• CRM
• ERP

Business Intelligence M – DW – modulo 1 La Business Intelligence – Simone Benassi 1

Sistema informativo aziendale rappresenta tutto il patrimonio informativo dell’azienda che può essere informatizzato o meno.

Sistema informatico aziendale rappresenta l’insieme delle applicazioni informatiche dell’azienda.

DB Sistema informativo Sistema informatico DBMS Parte del sistema informativo gestita in maniera informatizzata.

DB Data Base rappresenta l’insieme dei dati di interesse per l’azienda memorizzati e gestiti nel sistema informatico e organizzati in modo strutturato.

DBMS Data Base Management System programma in grado di gestire un DB.

Quindi un sistema informativo ≠ DB ≠ DBMS.

Altre definizioni

ERP Enterprise Resource Planning software che automatizza i processi del portafoglio istituzionale e operativo (amministrazione, gestione delle risorse umane, altri processi di supporto, progettazione e industrializzazione, approvvigionamento, fabbricazione).

Il più famoso ERP è SAP.

Molte organizzazioni sono fallite nel tentativo di adottare un ERP poiché farlo significa riorganizzare tutti i processi aziendali in tempi relativamente lunghi.

Un ERP è molto flessibile e può essere adattato al business dell’azienda (“Non è SAP che si adatta all’azienda, bensì l’azienda che si adatta a SAP”).

CRM Customer Relationship Managament software che automatizza i processi di gestione delle relazioni con il cliente (distribuzione e vendita, post-vendita).

Business Intelligence M – DW – modulo 1 La Business Intelligence – Simone Benassi 2

Il portafoglio direzionale è l’insieme delle applicazioni utilizzate dai manager aziendali per:

• Analizzare lo stato dell’azienda;
• Prendere decisioni rapide;
• Prendere le decisioni migliori.

Può essere anche chiamato piattaforma per la Business Intelligence.

La Business Intelligence è un insieme di strumenti e procedure che consentono all’azienda di trasformare i propri dati di business in informazioni utili al processo decisionale, da rendere disponibili alla persona giusta e nel formato idoneo.

Le informazioni così ottenute sono utilizzate dai decisori aziendali per definire e supportare le strategie di business, così da prendere decisioni consapevoli e informate con l’obiettivo di trarre vantaggi competitivi, migliorare le prestazioni operative e la profittabilità e, più in generale, creare valore per l’azienda.

Il software per la BI non è un “software off-the-shell”, come lo è Word.

Per consentire ai manager aziendali analisi potenti e flessibili è necessario definire un’apposita infrastruttura hardware e software di supporto, costituita da:

• Hardware dedicato;
• Infrastruttura di rete;
• DBMS;
• Software di back-end;
• Livelli al quale l’utente si rivolge per formulare interrogazioni e ricevere risposte.
• Software di front-end.

DB Rete Back-end Front-end DB MS

Come detto in precedenza il ruolo chiave della piattaforma di BI è trasformare i dati di business (tanti, “sporchi”) in informazioni (poche, “pulite”) fruibili a diversi livelli di dettaglio e quindi in conoscenza per prendere le migliori decisioni possibili.

Dati → Informazioni → Conoscenza → Decisioni

Business Intelligence M – DW – modulo 1 La Business Intelligence – Simone Benassi 3

La piramide della BI

La piramide della BI è così composta:

• Decisioni
• Analisi What-if
• Data Mining
• Conoscenza
• Esplorazioni delle informazioni
• Informazioni
• Analisi OLAP
• Applicazioni gestionali
• Dati

Il ciclo decisionale in BI

Il ciclo decisionale in BI è costituito da quattro fasi:

• Analisi: 1. Identificare e formulare il problema e ottenere dai dati informazioni rilevanti;
• Comprensione: 2. Comprendere il problema e trasformare le informazioni in conoscenza;
• Decisione: 3. Tradurre la conoscenza in decisioni e quindi in azioni;
• Misura: 4. Misurare le prestazioni conseguenti alle azioni intraprese.

I fattori abilitanti per la BI, ossia i fattori necessari per realizzare tutto ciò, sono:

• Tecnologie:
  • Potenza di calcolo;
  • Tecniche avanzate di visualizzazione;
  • Capacità di memorizzazione di una grande mole di dati;
  • Connettività di rete;
  • Interoperatività software.
• Metodologie analitiche;
• Risorse umane:
  • Cultura aziendale;
  • Creatività;
  • Agilità mentale;
  • Disponibilità al cambiamento.

DSS Decision Support System

DW Data Warehouse

Business Intelligence M – DW – modulo 1 La Business Intelligence – Simone Benassi 4

2. Il Data Warehousing

L’obiettivo del Data Warehousing è trasformare i dati in informazioni: le informazioni costituiscono la materia prima che viene trasformata dai sistemi informativi, come i semilavorati vengono trasformati dai sistemi di produzione.

Dati ≠ Informazioni

Spesso la disponibilità di troppi dati rende arduo, se non impossibile, estrapolare le informazioni davvero importanti per prendere le decisioni.

I dati operazionali sono creati, gestiti ed elaborati dai livelli base del portafoglio direzionale: si tratta una grandissima quantità di dati, troppo dettagliati e spesso con molti errori o “buchi” (dati mancanti).

Ai manager aziendali, per prendere importanti decisioni, servono informazioni corrette, a diversi livelli di dettaglio e sintetiche.

Un tempo la trasformazione dei dati in informazioni era realizzata a mano: tanto più i dati sono numerosi, tanto minore è il loro valore (numerosità e valore dei dati sono inversamente proporzionali).

Report riassunto di un fenomeno di business, su cui si basano le decisioni strategiche.

CIO Chief Information Officer manager responsabile della parte informatica dell’azienda.

Oggi un manager aziendale può interrogare direttamente il Data Warehouse (DW), che gli fornisce le informazioni necessarie per prendere le decisioni.

Il DW è un raccoglitore di informazioni che integra e riorganizza i dati provenienti da sorgenti di varia natura e li rende disponibili per analisi e valutazioni finalizzate alla pianificazione e al processo decisionale.

Modello relazionale (ripasso)

Ogni DBMS si appoggia su un modello di rappresentazione dei dati che rappresenta un’astrazione dei dati stessi (non si può ragionare con i bit, 0 e 1).

In letteratura esistono quattro modelli di rappresentazione dei dati, ma solo uno copre il 99% del mercato: il modello relazionale.

RDBMS Relationship Data Base Management System DBMS basati sul modello relazionale.

Il concetto di base è la relazione.

Cos’è una relazione fra due insiemi?

A = {a, b, c}

B = {1, 2}

A x B = {a1, b1, c1, a2, b2, c2}

x prodotto cartesiano (non è commutativo, le coppie sono ordinate)

Business Intelligence M – DW – modulo 2 Il Data Warehousing – Simone Benassi 5

Una relazione è un s