Appunti modulo 1 Business intelligence e big data m

Business intelligent and big data - Modulo 1

Prof: Stefano Rizzi

Esame

Durata: 1h

• Appelli: 2 giugno-luglio; 1 novembre; 1 gennaio; 1 febbraio
• Progettazione concettuale/logica di data warehouse + quesiti sui contenuti teorici del corso (2 domande in forma aperta)
• Piattaforma MIRO per esercitazioni

25/2/22

Ruolo dell'informatica nelle aziende

Inizialmente l'informatica ha avuto un ruolo di supporto. Qualche decina di anni fa l'idea era che l'informatica era utile ma con ruolo limitato, usata per memorizzare dati operazionali o transazionali (dati generati da operazioni svolte all'interno dei processi gestionali). Essa permetteva di rendere più rapide ed economiche le operazioni di gestione delle informazioni ma non creava in sé per sé ricchezza.

Sistema informativo: tutto il patrimonio di dati e informazioni che viene gestito in maniera organizzata e coerente da un'azienda. In un SI rientrano anche documenti cartacei. SI = digitale + carta.

Data base: fa parte del sistema informatico. Raccolta di dati memorizzati sul supporto informatico organizzati secondo un modello. Modello = collezione di concetti che usiamo per descrivere i dati. Modello relazionale è uno dei possibili modelli; concetto base è la relazione (tabelle). Esistono altri modelli oltre a quello relazionale, ad esempio, il document based.

DBMS: programma per la gestione dei database.

Dati transazionali perché nei database quando si fa un'operazione si dice che si fa una transazione: sotto tante operazioni elementari che non possono essere fatte singolarmente, ma bisogna farle tutte insieme → transazione = insieme di più operazioni che devo fare in toto.

Più recentemente si è iniziato a capire che l'informatica poteva essere più di questo: poteva avere un ruolo fondamentale nell'azienda, creare ricchezza e influenzare il modo in cui si faceva business.

• L’aumento esponenziale del volume dei dati operazionali ha reso il calcolatore l'unico supporto adatto al processo decisionale.
• L'utilizzo massiccio di tecniche di analisi dei dati aziendali ha reso il sistema informativo un elemento strategico per la realizzazione del business.

Duplice ruolo dell'informatica

• Tecnologia di supporto alla gestione del SI
• Disciplina organizzativa che influenza i processi, i servizi e la struttura aziendale

A noi interessa il processo decisionale (livello alto dell'organigramma), i manager che devono prendere le decisioni. Nel processo decisionale, che è un processo di importanza strategica, il ruolo dell'informatica è fondamentale. Esempio: sono una casa automobilistica e devo decidere se aprire in un paese x; devo prendere una decisione basata sui dati (data-driven). Il problema è che i dati sono tantissimi, per analizzarli e capirli ho bisogno di uno strumento informatico.

ERP: enterprise resource planning → gestisce dati e comprende una parte molto alta del business aziendale. Caratteristiche:

• Unicità del dato
• Configurazione che gli permette di adattarsi in parte all'azienda
• Modularità

Il più famoso è SAP.

CRM customer relationship management è orientata al cliente → Noi ci collochiamo sopra: nell'insieme di applicazioni che usano i manager per poter prendere decisioni valide velocemente, si usa il termine di business intelligence.

Business intelligence: un insieme di strumenti e procedure che consentono a un'azienda di trasformare i propri dati (operazionali) di business in informazioni utili al processo decisionale, da rendere disponibili alla persona giusta e nel formato idoneo. I dati sono tantissimi e "sporchi": ovvero hanno una percentuale non trascurabile di errori o incompletezza. Tanta quantità ma poca qualità.

Con informazione invece si indica meno quantità ma più qualità → è un condensato dei dati dove abbiamo corretto gli errori e rinunciato alla quantità. Conoscenza: quantità ancora minore ma valore ancora più elevato. A partire dalla conoscenza possiamo prendere decisioni. La conoscenza la do ai decisori aziendali per prendere decisioni consapevoli e informate con l'obiettivo di trarre vantaggi competitivi.

Si parla di piattaforma di BI in quanto si ha bisogno di:

• Hardware dedicato
• Infrastrutture di rete
• Dbms
• Software di back-end: software lato server vicino ai dati
• Software di front-end: software vicini all'utente (interfacce ecc.)

Piramide della BI

Man mano che si sale si ottiene un risultato più prezioso.

Dati

A livello più basso ci sono i dati gestiti da applicazioni gestionali: tra utente e dati ho bisogno di un programma che da un lato ha interfaccia adatta ad utente, dall'altro deve essere in grado di parlare con utente.

Es. in azienda ho bisogno di programma per far fatture e per farlo ho bisogno di database. Per accedere al db ho bisogno di un dbms, l'utente non può accedere direttamente al db in quanto il db comunica in linguaggio SQL. Tra db e utente ho bisogno quindi di programma che da una parte ha un'interfaccia utente e dall'altra deve essere in grado di parlare con il db.

Db → dbms logica applicativa utente → Sinonimi: applicazioni operazionali/gestionali/transazionali. I database che stanno sotto vengono anche chiamati di produzione.

Informazioni

Dei due livelli successivi entriamo nelle informazioni. Abbiamo una specie di distillato del dato. Ci sono due sottolivelli:

• Operational data store: livello di database intermedio tra i due mondi. Dentro ci sono dati dettagliati ma puliti
• Data warehouse: ho la vera informazione (faccio sintesi). ODS lo uso per fare reporting operativo: per lanciare query che generano listoni. DW: contenitore di informazioni e qui l'interazione avviene mediante paradigma OLAP e cruscotti o dashboard.

Conoscenza

A livello successivo entriamo della conoscenza. Si riduce ancora la quantità a favore della qualità. Qui si trova il data mining: gli strumenti di data mining implementano algoritmi complessi che sono in grado di estrarre conoscenza nascosta in grandi quantità di dati.

Analisi what if (cosa se): esempio, cosa succederebbe se io facessi un'offerta speciale del prodotto x nel mercato? Data warehouse passato; → data mining passato - futuro; → analisi what if futuro. → Se io ho uno strumento che mi permette di prevedere allora prendere decisioni è semplice. Ma non è facile da ottenere.

Fattori che permettono di prendere decisioni che devono essere codificate nell'analisi what if nell'esempio offerta mercato:

• Stima clienti che possono accettare offerta → da analisi dati del passato
• Elementi a stock
• Cannibalismo

Bisogna capire il trade-off tra guadagno e perdita → l'analisi what if aiuta.

Ciclo decisionale

Quando si lavora in BI si ha un CICLO DECISIONALE

• Analisi: identificare il problema e ottenere dai dati le informazioni rilevanti
• Comprensione: Comprendere il problema e trasformare le informazioni in conoscenza
• Decisione: tradurre la conoscenza in decisione e quindi in azioni
• Misura: misurare le prestazioni conseguenti alle azioni intraprese

Per permettere il ciclo ho bisogno di:

• Supporto tecnologico
  • Potenza di calcolo
  • Tecniche avanzate di visualizzazione
  • Capacità di memorizzare grandi moli di dati
  • Connettività di rete
  • Interoperabilità SW
• Metodologie analitiche
  • Modelli matematici espressivi, precisi e flessibili
  • Tecniche di apprendimento induttivo e di ottimizzazione
• Risorse umane
  • Cultura aziendale
  • Creatività
  • Agilità mentale
  • Disponibilità al cambiamento

Quello che ci interessa è la parte tecnologica che si concretizza nei DATA WAREHOUSING.

Data warehousing

Gestiscono il passaggio da dati all'informazione. Dati e informazioni non sono sinonimi. Per ogni azienda è fondamentale poter disporre in maniera rapida e completa delle informazioni necessarie al processo decisionale: le indicazioni strategiche sono estrapolate principalmente dalla mole dei dati operazionali contenuti nei database aziendali, attraverso un procedimento di selezione e sintesi progressiva.

Si parte dalle fonti informative primarie, si estrapolano le informazioni, si ottengono i rapporti e infine si ottengono le informazioni strategiche → si vuole automatizzare questo processo.

Problemi per ottenere informazioni:

• Eterogeneità
• Query troppo grandi

Soluzione → il data warehouse: è un raccoglitore di informazioni che integra e riorganizza i dati provenienti da sorgenti di varia natura e li rende disponibili per analisi e valutazioni finalizzate alla pianificazione e al processo decisionale. Il dw è direttamente consultabile dall'utente finale.

Per capire come funziona il data warehouse bisogna distinguere due tipologie di interrogazioni/query:

• OLTP (On-Line Transactional Processing): Le interrogazioni eseguono transazioni che leggono e scrivono un ridotto numero di record da diverse tabelle legate da semplici relazioni. Il nucleo sostanziale del carico di lavoro è congelato all'interno dei programmi applicativi. Essendo sempre le stesse query il carico di lavoro è sempre uguale. Può avvenire però un guasto quindi situazione inattesa, per risolvere il problema ho bisogno di scrivere una query apposta. Per il resto è tutto prevedibile e tutte le query sono già pronte. Le query eseguono transazioni. Sono interrogazioni in lettura e scrittura. Vengono lanciate dai livelli medio bassi dell'organigramma.
• OLAP (On-Line Analytical Processing): Le interrogazioni effettuano un'analisi multidimensionale che richiede la scansione di un'enorme quantità di record per calcolare un insieme di dati numerici di sintesi che quantifichino le prestazioni dell'azienda. L'interattività è una caratteristica irrinunciabile delle sessioni di analisi e fa sì che il carico di lavoro effettivo vari continuamente nel tempo. Sono query solo in lettura in quanto ci si limita ad analizzare. L'analista decide di volta in volta che informazioni gli interessano → il carico di lavoro non è prevedibile. Vengono lanciate dai decisori.

Mescolare interrogazione analitiche e transazionali di routine porta a inevitabili rallentamenti che rendono insoddisfatti gli utenti di entrambe le categorie. Bisogna separare l'elaborazione OLAP da quella OLTP. Qui entra il data warehouse.

Si usano 2 database separati: sotto vi sono tutti i db operazionali; sopra creo un nuovo db (data warehousing) in cui accolgo, integrandoli, tutti i dati che mi arrivano dalle sorgenti sotto. Questi dati li metto in una forma appropriata e li metto a disposizione dei decisori per fare poi scelte.

Il ponte tra i due db è l'ETL (procedura batch - non iterativa) che viene lanciata periodicamente per estrarre i nuovi dati che si sono accumulati in un certo istante di tempo nel db operazionali, li pulisce e li mette nel data warehouse. Essendo ETL lanciato periodicamente le informazioni nel data warehouse sono latenti. ETL ha bisogno di tempo quindi non posso farla ogni secondo ma ho un minimo di tempo per un'occorrenza e l'altra.

Esistono trucchi per mantenere aggiornato il data warehouse però non usati molto in quanto il decisore non ha bisogno in ogni istante ma magari richiede qualcosa ogni tot. Negli esempi supporremo di avere una frequenza settimanale.

Alcune aree di business dove servono queste tecnologie - tutte:

• Commercio
• Manifattura
• Servizi finanziari
• Trasporti
• Telecomunicazioni
• Sanità
• ...

Data warehousing: si intende il processo che estrae i dati dalle sorgenti e li mette nel data warehouse. Una collezione di metodi, tecnologie e strumenti di ausilio al knowledge worker (dirigente, amministratore, gestore, analista) per condurre analisi dei dati finalizzate all'attuazione di processi decisionali e al miglioramento del patrimonio informativo.

Lamentele

Decisore senza data warehouse problemi:

• Abbiamo montagne di dati ma non possiamo accedervi!
• Come è possibile che persone che svolgono lo stesso ruolo presentino risultati sostanzialmente diversi?
• Vogliamo selezionare, raggruppare e manipolare i dati in ogni modo possibile!
• Mostratemi solo ciò che è importante!
• Tutti sanno che alcuni dati non sono corretti!

Dalle lamentele a caratteristiche fondamentali del processo di warehousing:

• Accessibilità a utenti con conoscenze limitate di informatica e strutture dati;
• Integrazione dei dati sulla base di un modello standard dell'impresa;
• Flessibilità di interrogazione per trarre il massimo vantaggio dal patrimonio informativo esistente; sintesi per permettere analisi mirate ed efficaci;
• Rappresentazione multidimensionale per offrire all'utente una visione intuitiva ed efficacemente manipolabile delle informazioni;
• Correttezza e completezza dei dati integrati.

4/3 Trasformazione dati a info

Si concretizza nel data warehouse. Separare query OLTP da OLAP. Sul data warehouse viene dirottato tutto il carico di lavoro OLAP. Due ambienti: data warehouse e database operazionale. Per gestire i due livelli ETL - procedura complessa lanciata periodicamente. C'è ritardo tra data warehouse e quello operazionale.

Data warehouse

Al centro del processo (che estrapola i dati), il data warehouse è un contenitore di dati che si fa garante dei requisiti preposti (vedi pag precedente). Data warehousing è il processo che si appoggia su db che è data warehouse.

Un data warehouse è una collezione di dati di supporto per il processo decisionale che presenta le seguenti caratteristiche:

• È orientata ai soggetti di interesse: nel mondo OLTP l'accento è sulle applicazioni, ovvero quando in un contesto aziendale si progetta un db OLPT si progetta in base a una specifica applicazione che serve. Ogni db è un mondo a sé che si riferisce a processi singoli che azienda deve svolgere. Ciò significa che ogni processo ha suo db. Es: in ogni processo ho concetto di docente. Ma non è detto che la replica sia fatta in maniera consistente. Il mondo data warehouse non è application oriented ma subject oriented: per ogni soggetto del business (i concetti fondamentali di quel business), per ciascun soggetto devo fornire visione a 360 gradi e consistente. Non ho tutti mondi separati ma ho i soggetti di business che guidano la presentazione.
• È integrata e consistente: le sorgenti dati sono eterogenee dal punto di vista dello schema e del modello e c'è un problema di inconsistenza dei dati legati agli errori. Mi devo liberare di questi problemi. Per liberarmi uso ETL → estraggo dati E, pulisco, trasformo T e infine li carico dentro il data warehouse L. Vengono così riconciliati i dati provenienti da sorgenti eterogenee.
• È rappresentativa dell'evoluzione temporale: nei db gestionali OLTP spesso il contenuto storico è limitato (non si tiene traccia della storia passata es. si sovrascrivono info) e i dati sono soggetti ad aggiornamento → è come se venisse fatta una foto. Nel data warehouse buona parte delle organizzazioni OLAP lavorano sui trend temporali, analizzano i trend temporali quindi devo considerare la storia. Ogni volta che si lancia ETL viene scattata fotografia del business e viene aggiunta alle vecchie. È come se ottenessi un film in quanto non butto via le foto precedenti. La profondità storica è minimo 3 anni, spesso 5, a volte 10.
• Non volatile: nei db operazionali il carico di lavoro è lettura e scrittura (insert, delete, update) e in questo senso il dato è volatile. Nel data warehouse potenzialmente nulla si cancella: dentro ci si accumula grandi volumi di dati. Nel data warehouse non ho il problema di gestione delle transazioni. Questi problemi nascono quando 2 o più utenti scrivono nello stesso dato oppure se ho errori. Essendo solo in lettura non ho questo problema, ho scrittura ma solo quando ho ETL ma è procedura batch (non è accessibile). Ho solo problemi di throughput in quanto posso avere numerose richieste di lettura tutte contemporaneamente.

Architetture - Requisiti

Possibili architetture per un sistema data warehouse:

• Separazione: l'elaborazione analitica e quella transazionale devono essere mantenute il più possibile separate.
• Scalabilità: l'architettura hardware e software deve poter essere facilmente ridimensionata a fronte della crescita nel tempo dei volumi di dati da gestire ed elaborare e del numero di utenti da soddisfare.
• Estendibilità: deve essere possibile accogliere nuove applicazioni e tecnologie senza riprogettare integralmente il sistema.
• Sicurezza: il controllo sugli accessi è essenziale a causa della natura strategica dei dati memorizzati.
• Amministrabilità: la complessità dell'attività di amministrazione non deve risultare eccessiva.

Tipologie di architetture

2 tipologie di architetture:

• A livelli
• Distingue le diverse architetture a seconda del modo in cui riescono a ottenere integrazione livello enterprise.

Architettura a 1 livello

È un'architettura che non rispetta il concetto di separazione. No separazione olap oltp.

Architetture a 2 livelli

Il livello di data warehouse diventa fisico.