Appunti modulo 2 Business intelligence e big data m - BD

Modulo 2 - Business intelligence and big data

22/2/22

L’obiettivo è trasformare i dati in informazioni utili per la conoscenza e come fine prendere decisioni migliori.

I big data sono una grande sfida nel mondo odierno e offrono enormi opportunità ad imprese, istruzioni, ricerca e in generale a tutta la società in cui viviamo. La rivoluzione digitale ha infatti portato ad una esplosione delle sorgenti informative e della quantità di dati a disposizione. La capacità di reperire, analizzare e correlare questi big data è diventato un elemento di innovazione distintivo per ogni organizzazione.

I big data sono però difficili da gestire.

→ Dati → informazioni e conoscenza → decisioni migliori

Le organizzazioni sono da sempre in cerca di dati e informazioni per competere sul mercato, comprendere e anticipare le esigenze di clienti e/o cittadini, migliorare i propri servizi, prodotti, strategia, ottimizzare i processi e in modo generale prendere decisioni migliori e più consapevoli.

Grazie all’informatica, a internet, alla digitalizzazione dei processi aziendali, alla digital transformation ora ci sono tantissimi dati a disposizione.

Non è facile trasformare i dati in informazioni utili e prendere decisioni migliori.

Big data dal 2011 al 2027:

Digital transformation è il processo di utilizzo delle tecnologie digitali; internet, mobile, cloud, big data, intelligenza artificiale … per migliorare i processi di un’azienda re-immaginandosi il modo di interagire con clienti, cittadini e partner.

Data revolution: con l’arrivo di internet e della digital transformation una marea di dati è iniziata ad arrivare da nuove sorgenti informative (social, smartphone, Industry 4.0 ...).

I dati si caratterizzano in 3 categorie:

• Machine generated data: dati generati da macchine.
• People generated data.
• Organization generated data → data warehouse and business intelligence.

Legge di Moore: ogni 2 anni il numero di transistor duplica → più spazio, più capacità di calcolo → big data esplosi.

L’obiettivo è fare salire i dati.

Dati: sono la rappresentazione originaria e non interpretata di un fenomeno o evento effettuate attraverso simboli o combinazioni di simboli, o di qualsiasi altra forma espressiva. I dati non una raccolta di elementi grezzi utilizzati per il calcolo, il raggiungimento o la misurazione.

I dati nella loro forma primordiale sono grezzi e inutili finché non sono organizzati; quando vengono elaborati, organizzati, strutturati e presentati un determinato contesto si parla di informazione.

I dati sono diversi dalle informazioni.

L’informazione deriva da un dato o da un insieme di dati che sono stati sottoposti a un processo di interpretazione che li ha resi significativi e interpretabili per il destinatario.

Conoscenza: l’informazione non è altro che la forma raffinata dei dati, che è utile per comprenderne il significato. D’altra parte, la conoscenza è un’informazione pertinente e obiettiva che aiuta a trarre conclusioni. Quando l’informazione è all’interno di un modello si ottiene la conoscenza.

L’informazione diventa conoscenza quando è accettata e conservata come una corretta comprensione di ciò che è vero e una valida interpretazione della realtà.

Tipologie di analisi grazie ai dati: descrittiva, diagnostica, predittiva, prescrittiva.

“Il dato è il petrolio, le analitiche / algoritmi sono il grande motore che fa girare questa economia”.

Decisioni: il risultato di processi analitici, cognitivi ed emozionali, che determinano la selezione di una linea d’azione tra diverse alternative. Il decision making viene studiato da diverse discipline come economia comportamentale, psicologia, neuroscienze, filosofia, statistica, sociologia, politologia, informatica, etc. La ricaduta applicativa di tali studi è di enorme importanza poiché i processi decisionali sono trasversali a diversi e molteplici contesti, tra cui ad esempio le decisioni in ambito medico, politico economico, legale, organizzativo e aziendale, in contesti di emergenza di diverso tipo e così via.

“Tra un buon dato e una buona decisione esiste un elemento non neutro: l’essere umano” → nel prendere decisioni in condizioni di incertezza, le persone non seguono un calcolo razionale ma si affidano a un numero limitato di euristiche che a volte danno giudizi ragionevoli e a volte portano e errori sistematici e irrazionalità.

1/3/22

Data revolution

Ovvero nuove sorgenti informative che contengono i big data.

I dati grezzi/operazionali/transazionali non sono utili → lo diventano quando vengono trasformati in informazioni e successivamente in conoscenza.

Dai dati all’informazione esperti di dati →

Dall’informazione alla conoscenza algoritmi (data mining, what if..) →

Obiettivo finale: prendere decisioni migliori.

Dati: il dato grezzo va trasformato.

Il dato quando viene processato, organizzato, strutturato e presentato in un contesto dato è chiamato informazione.

I dati bisogna trasformarli in un contesto in cui è facile navigarci → OLAP.

Da dove vengono i dati

Da dove vengono i dati? Vengono dai processi aziendali: logistica, operation, marketing, sale, service (ricollegamento alla catena del valore di Porter attività primarie e secondarie).

I primi dati che si analizzano sono quelli interni all’azienda.

Dati di sell in - be to be.

Dati sell out – dati del consumatore finale che compra il prodotto (GDO).

Tutte le attività della catena del valore generano dati in digitale. Tutte le aziende hanno investito in una classe di prodotti software chiamati sistemi gestionali che gestiscono il patrimonio di dati dell’azienda.

• Front end.
• Back end.
• Data base gestito da un DBMS → OLTP sono i sistemi gestionali che gestiscono le transazioni.

ERP vs best of breed

L’approccio ERP è approccio che copre tutti i processi dell’azienda con un unico prodotto → 1 database.

L’approccio best of breed (il meglio della razzio, il meglio che puoi avere sul mercato) per ogni singolo processo io compro il miglior prodotto → + database → pulizia del dato più complicata ma ho prodotti migliori (CMR).

Sistemi ERP: anagrafiche univoche con dati univoci alla fonte. Leader mondiale SAP.

Database: dati raccolti in uno schema predefinito → un modello: modello relazionale.

Tutti i DBMS gestiscono le proprietà affinché il dato sia consistente → proprietà ACID (atomicità - consistenza - isolamento - durabilità).

Nel mondo dei big data il sistema relazionale non va bene!

Quando si parla i database relazionali si parla di dati strutturati.

Dati strutturati: dato che ha definito lunghezza e formato (numeri, lettere, dati..).

Nei big data si utilizzano dati destrutturati → es immagine, video, mappe, XML.

Sistemi gestionali – gestiscono i processi e aiutano a far fatture /scontrini/gestire risorse umane e memorizzano tutti i dati in un database relazionale. Questi dati devono essere analizzati. E per analizzarli si usa il datawarehouse (per passare da dato a dataw DTL).

Inizialmente tutte le aziende pensano che salvare i dati dentro sistemi gestionali sia abbastanza per prendere decisioni → non è utile in realtà.

Di conseguenza l’informatica ha fatto nascere una nuova branca, una nuova scienza ovvero i sistemi analitici.

Storia dei sistemi analitici

Si è capito che avere dati grezzi non serviva → primi sistemi analitici MIS e avevano l’obiettivo di fare reporter però molto di basso livello.

Essi facevano delle query in SQL direttamente sul database.

Poi si aveva la necessità di avere un sistema con interfacce più per gli utenti finali (user friendly) e le informazioni erano di più alto livello → sistemi DSS decision support system.

Sono sistemi di supporto alle decisioni, aiutano a prendere decisioni.

Poi sono arrivati gli EIS executive information system, dato molto aggregato e per la prima volta si introduce il concetto di integrare dati esterni.

Intorno agli anni Novanta nascono i sistemi BI business intelligence → da qui tutto cambia.

È un sistema intelligente, nasce il concetto che per fare un sistema analitico bisogna dedicargli un hardware, interfaccia ecc dedicato.

Il BI prima estrae, poi trasforma e poi carica del datawarehouse i dati.

Con la nascita di questi sistemi il mondo informatico si è diviso in due.

I dati nascono a sinistra mentre a destra si analizzano.

Cambiamento di paradigma: non è facile gestire e trasformare i dati grezzi nei sistemi gestionali in informazioni e quindi il mercato e il mondo accademico aveva trovato delle soluzioni BI →

Ma poi è avvenuta la data revolution che ha cambiato tutto.

CAGR: compare annual grow rate - crescita annua.

Data revolution: dopo l’arrivo di internet e rivoluzione digitale una miriade di dati stanno arrivando da nuove sorgenti informative e sono i social, cellulari, industria 4.0, dati GPS, dati da smart city…

Le aziende / organizzazioni cercano dati grezzi per migliorare il loro processo decisionale.

Grazie alla data revolution questi dati sono tantissimi. Se non era facile BI prima ora è ancora più difficile in quanto questi dati hanno caratteristiche estreme.

A livello accademico si è iniziato a fare una caratterizzazione delle sorgenti dati – dove nascono i dati.

Categorie di sorgenti dati

• La prima categoria sono i dati generati da macchine senza l’intervento umano – machine generated data: es i portali di e-commerce. Dati generati automaticamente da dispositivi digitali, processi informatici, applicazioni o altri meccanismi senza l'intervento attivo di un essere umano.
• Internet of things sensori. Crea dati in tempo reale: dà agli oggetti la capacità di sentire, percepire e collaborare.

Rete delle apparecchiature e dei dispositivi, connessi a Internet, equipaggiati con un software che permetta di scambiare dati con altri oggetti connessi. Obiettivo di questi dispositivi è raccogliere dati e comandare e controllare particolari attività.

Le due caratteristiche principali di un ‘oggetto connesso’ sono:

• Avere indirizzo IP che ne consenta l’identificazione univoca su internet.
• Avere la capacità di scambiare dati attraverso la rete stessa senza bisogno dell’intervento umano.

Industria 4.0 sistemi fisici. →

Con il termine Industry 4.0 si fa riferimento ad un processo il cui obiettivo principale è digitalizzare il settore manifatturiero, rinnovando la catena del valore fino a trasformare la natura stessa delle organizzazioni. Oggi il sinonimo di Industry 4.0 è smart-manufacturing, dove il prefisso “smart” diventa la base di una gestione integrata dei dati e delle informazioni, unitamente all’uso della tecnologia digitale.

La chiave di volta dell'Industry 4.0 sono i sistemi ciberfisici (CPS) ovvero sistemi in grado di interagire in modo continuo con il sistema fisico in cui operano e composti da elementi fisici dotati ciascuno di capacità computazionale, comunicazione e capacità di controllo, che sono strettamente connessi con i sistemi informatici e che possono interagire e collaborare con altri sistemi CPS. Questo sta alla base della decentralizzazione e della collaborazione tra i sistemi, che è strettamente connessa con il concetto di industry 4.0.

• People generated data - dati molti voluminosi e destrutturati.

Le persone generano, ogni giorno, enormi quantità di dati attraverso le loro attività su social media come Facebook e LinkedIn o siti di condivisione di foto online come Instagram e Flickr o video come YouTube. Un'enorme quantità di informazioni viene generata tramite blog e commenti, ricerche su Internet, messaggi di testo, e-mail e documenti personali. L’immensa quantità di informazioni generata spontaneamente dagli utenti del web in riferimento ad esempio ad un’azienda, a un brand o a un servizio, costituisce un’enorme collezione di dati, che può rappresentare per le aziende un vantaggio solamente se si è in grado di analizzarli in maniera efficace, cioè solo se si è in grado di tradurli in informazione e conoscenza!

• Organization generated data. Derivano dai sistemi gestionali interni e rappresentano la maggioranza dei dati che le aziende hanno attualmente a disposizione per l’analisi. Anche se sono considerati un po' fuori moda, o tradizionali, rispetto alle ‘nuove’ sorgenti informative «machine» & «people» sono importanti almeno quanto gli altri tipi di «big data». Ogni organizzazione ha pratiche operative e modelli di business distinti, che si traducono in una varietà di dati differenti che hanno la caratteristica comune di essere fortemente strutturati. I dati di questi tipo vengono archiviati in database relazionali e sono la stragrande maggioranza dei dati interni dell’azienda e vengono analizzati nei sistemi di business intelligence e data warehouse.

Key enabler

Key enabler - abilitatori dei dati:

• Data revolution.
• Technological progress: legge di Moore → ogni 18 mesi la potenza e velocità dei computer raddoppiano dato che raddoppia il numero di transistor.

Si hanno server e computer sempre più potenti e veloci ogni 18 mesi.

Se abbiamo il doppio di potenza di calcolo ogni 18 mesi ma è costosa effettivamente non serve. C’è riduzione di prezzo della capacità tecnologica nel tempo è sempre più → accessibile a tutti.

Anche il tasso di crescita di archiviazione è aumentato → capacità di archiviazione significativa e poco costosa.

Cloud

È un altro progresso tecnologico.

Nasce perché le grandi big tech del web si erano rese conto che (es Google) se aumenta anche di poco la risposta del sistema, loro perdevano % alta di utenze (quando c’è la latenza).

Hanno creato dei data center (con distribuzione mondiale, per tollerare guasti) affinché i sistemi rispondessero in millisecondi per non perdere clienti.

Hanno creato talmente tante risorse che erano sovradimensionate rispetto alle loro esigenze → hanno pensato di iniziare a venderla sotto il nome di cloud.

I leader mondiali in questo mondo sono Amazon, Google, Microsoft.

La definizione ufficiale di Cloud Computing del Nist (National Institute of Standards, ➔ Information Technology Library) è:

"Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction”.

Perché si possa parlare di cloud computing è necessario che:

• L’utente abbia la facoltà, unilaterale, di approvvigionarsi di risorse computazionali (ad esempio tempo macchina e storage di rete) automaticamente, senza che ci sia la necessità di una interazione umana con i fornitori del servizio.
• Le risorse siano accessibili via rete attraverso standard che promuovano l’uso di piattaforme client eterogenee come, ad esempio smartphone, tablet, laptop, etc.
• Le risorse computazionali (storage, capacità elaborative, memoria, ecc.) del fornitore siano messe in comune per servire molteplici utenti, usando uno schema multi-client, che gestisca risorse fisiche e virtuali, dinamicamente assegnate e riassegnate, in accordo con le indicazioni degli utenti.
• Le risorse siano in grado di essere allocate rapidamente ed elasticamente, in alcuni casi automaticamente, per adattarsi, in maniera veloce, alle maggiori o minori richieste degli utenti.
• I sistemi controllino automaticamente e ottimizzino l’utilizzo delle risorse tramite strumenti di misura basati su adeguati livelli di astrazione. L’utilizzo delle risorse deve poter essere monitorato, controllato ed elaborato, sia dal fornitore che dall’utente del servizio.

Il cloud si divide in 3 tipi di offering:

• IaaS: infrastructure as a service. Vado a chiedere al mio provider dell’hardware che fisicamente non sta da me, ma tutto ciò che faccio sopra l’hardware devo farlo io. In pochi secondi, collegandomi online, posso avere la potenza di calcolo che voglio.
• Posso chiedere di avere un’offerta PaaS (platform as a service) → chiedo di avere un database o un ambiente di programmazione. Es Google app engine, Microsoft.
• SaaS software as a service - ho un software finale. Es g-mail, Facebook.

Altre definizioni migliori

I 3 modelli standard del mondo cloud sono così definiti:

• IaaS (Infrastructure as a Service): mette a disposizione macchine virtuali, storage virtuale, infrastrutture virtuali e altre risorse hardware di cui i clienti possono usufruire. Il provider che fornisce il servizio gestisce l’infrastruttura mentre il cliente si occupa del suo sviluppo che include il sistema operativo, le applicazioni e le interazioni utente con il sistema.
• PaaS (Platform as a Service): offre macchine virtuali, sistemi operativi, applicazioni, servizi, framework di sviluppo e strutture di controllo. Il cliente può sviluppare le sue applicazioni usando l’infrastruttura cloud o le applicazioni programmate per mezzo di linguaggi e strumenti supportati dal provider. Il provider gestisce l’infrastruttura cloud, i sistemi operativi e il software abilitante. Il cliente invece installa e gestisce le applicazioni che sviluppa.
• SaaS (Software as a Service): è un ambiente completamente operativo con applicazioni, gestione e interfaccia utente. Le applicazioni sono offerte al cliente attraverso una comoda interfaccia (di solito un browser) e la competenza dell’utente è limitata all’inserimento, alla gestione e all’interazione con l’applicazione finale mentre tutto il resto è a carico del provider.

Cloud è grande dinamismo.