Esame di Big Data

Modulo 2 Big Data

Introduzione ai big data

L'obiettivo è quello di trasformare i dati in informazioni utili che possono essere sfruttati come conoscenza per le aziende al fine di prendere le decisioni migliori. I big data sono una grande sfida nel mondo odierno e offrono enormi opportunità ad imprese, istruzione, ricerca e in generale in tutti gli ambiti della società. I big data sono il risultato di una rivoluzione digitale che ha portato ad una esplosione delle sorgenti informative e di conseguenza ad una grande quantità di dati a disposizione. Le organizzazioni sono da sempre in cerca di dati e informazioni per competere sul mercato, comprendere e anticipare le esigenze dei clienti, migliorare i propri prodotti/servizi, la propria strategia, ottimizzare processi e in generale prendere decisioni migliori e più consapevoli.

Dal dato all'informazione

Parliamo di Digital transformation (trasformazione digitale) come quel processo di utilizzo delle tecnologie digitali, quali internet, mobile, cloud, big data, intelligenze artificiali, per migliorare i processi di un'azienda re-immaginandosi il modo di interagire con i clienti, i cittadini e i partner. Con l’arrivo di internet, dell’informatica e della trasformazione digitale, una marea di dati è iniziata ad arrivare da nuove sorgenti informative: smartphone, social network, internet of things, industry 4.0, dispositivi indossabili, smart city, ERP, e-commerce, etc.; in particolare possiamo distinguere tre categorie di dati, in base alle rispettive sorgenti:

• Machine Generated Data
• People Generated Data
• Organization Generated Data

Data questa enorme quantità di dati, la sfida principale è: come sfruttare questi dati per acquisire informazioni utili e conoscenza, da poter utilizzare per prendere decisioni migliori.

Definizioni

• Dati sono la rappresentazione originaria e non interpretata di un fenomeno o evento effettuate attraverso simboli o combinazioni di simboli, o di qualsiasi altra forma espressiva; sono elementi grezzi utilizzati per il calcolo, il ragionamento e la misurazione. Diciamo che i dati, nella loro forma primordiale, sono grezzi e inutili, finché non vengono elaborati, organizzati, strutturati e presentati in un determinato contesto.
• Informazione quando i dati subiscono questo processo allora possiamo parlare di informazione. L’informazione deriva da un dato o da un insieme di dati, sottoposti ad un processo interpretazione, che li ha resi significativi e interpretabili per il destinatario.
• Conoscenza l’informazione permette di comprendere il significato dei dati (dati in forma raffinata); la conoscenza è l’informazione pertinente e obiettiva che aiuta a trarre conclusioni: quando l’informazione è all’interno di un modello si ottiene la conoscenza, ovvero quanto è accettata e conservata come una corretta comprensione di ciò che è vero e una valida interpretazione della realtà.

Da qui possiamo partire con un processo di analisi; grazie ai big data possiamo effettuare 4 tipi di analisi per arrivare a prendere decisioni migliori: descrittiva - diagnostica - predittiva - prescrittiva.

Tra un buon dato e una buona decisione esiste un elemento non neutro: l’essere umano.

• Decisioni il risultato di processi analitici, cognitivi ed emozionali, che determinano la selezione di una linea di azione tra diverse alternative. Il decision making viene studiato in diverse discipline ed è di enorme importanza poiché i processi decisionali sono trasversali e diversi a seconda dei contesti.

Data driven company

"Data driven" significa che le organizzazioni sono guidate dai dati e sono in grado di prendere decisioni basandosi su fatti oggettivi. Questa è la conseguenza del processo, complesso ed essenziale, che permette di trasformare i dati grezzi in informazioni e conoscenza su cui prendere decisioni migliori. Le organizzazioni data driven usano il dato come il blocco centrale che guida il business e come questo deve competere, innovare ed essere efficiente in un mondo digitale.

Data revolution

Data revolution

Un processo aziendale (logistica, operations, marketing, sales..) è un insieme di attività che, una volta completate, raggiungono un obiettivo organizzativo. Fin dal principio dell'era digitale le aziende hanno fortemente investito sui sistemi gestionali che gestiscono il patrimonio di dati dell’azienda. I sistemi gestionali sono una classe di programmi software in grado di supportare applicazioni orientate alle transazioni e archiviare i dati: digitalizzano, gestiscono, e automatizzano i processi aziendali, memorizzando i dati all’interno di un database; quando accade un evento che cambia lo stato dell’azienda, in questi sistemi avviene una transazione, che si riflette in un cambiamento corrispondente nel database.

Data management

Ci sono due tipi di approcci per realizzare dei sistemi gestionali:

• ERP (Enterprise Resource Planning): gestione integrata dei processi aziendali. È un software che permette di integrare tutti i dati che fluiscono in un’azienda (finanziari, contabili, risorse umane, supply chain), utilizzando un solo database, una sola applicazione e una sola interfaccia unificata per l’intera azienda. SAP ERP è il leader mondiale dei sistemi ERP: raccoglie e combina i dati in un unico database centralizzato.

• Vantaggi: personalizzazione, scambio di informazioni, efficienza, protocolli standard.
• Svantaggi: costi di implementazione, modifica dei processi, tempi di implementazione e diffusione.

• Best Of Breed: per ogni processo aziendale vengono selezionati i migliori software gestionali.

• Vantaggi: l’utilizzo dell’approccio best of breed ha il vantaggio di aumentare la flessibilità e l’allineamento del software alle esigenze dei processi.
• Svantaggi: aumento della complessità del progetto, dovendo integrare piattaforme tecnologiche differenti e avendo una duplicazione dei dati su diversi database.

Modello relazionale

È stato introdotto da Codd nel 1970: i dati sono strutturati in tabelle, chiamate relazioni, costituite da righe, che contengono i record, e da colonne che rappresentano gli attributi, e che quindi contengono elementi dello stesso tipo secondo le regole definite per ogni colonna. I motivi per cui il modello relazionale è leader di mercato da oltre 40 anni sono:

• Proprietà ACID: Atomicità, Consistenza, Isolamento, Durabilità
• SQL – Accesso ai dati
• Dati normalizzati
• Query optimizer

I limiti del modello relazionale sono che funziona bene quando gestisce dati strutturati ed è progettato per essere eseguito su un singolo server (non è performante se eseguito su un cluster di macchine distribuite). I dati strutturati sono dei dati con una lunghezza e un formato definito (numeri, lettere, date, stringhe), e possono essere facilmente archiviati all’interno di tabelle e mappati in campi e schemi predefiniti.

Sistemi analitici

Sin dall’inizio le aziende hanno investito in sistemi gestionali archiviando tutti i dati grezzi che i processi generano ogni giorno, tuttavia la sola archiviazione non permetteva di disporre di informazioni utili al processo decisionale, per questo motivo nascono i sistemi analitici.

• MIS (Management Information Systems): Anni ’60 sistemi di reporting statici e standardizzati che lavorano su sistemi gestionali esistenti allo scopo di supportare un processo decisionale strutturato e operativo. Gli utenti sono i manager e i dipendenti, che ricevono feedback sugli indicatori di performance.
• DSS (Decision Support Systems): Anni ’70 sistemi analitici interattivi e di facile utilizzo per fornire supporto per decisioni complesse e non strutturate, nascono come combinazione di modelli o tecniche con le tradizionali funzioni di accesso e recupero dei dati.
• EIS (Executive Information Systems): Anni ’80 sistemi di supporto al processo gestionale a livello executive delle aziende, vengono utilizzati per formulare decisioni strategiche di alto livello che incidono sulla direzione dell’organizzazione. Hanno interfacce facili da usare e la capacità di estrarre dati di riepilogo da sistemi interni ed esterni all’azienda.
• BI e Data Warehouse (Business Intelligence): Anni ’90 grande innovazione e spinta sul mercato, hanno superato numerosi limiti dei modelli precedenti. La business intelligence è un insieme di strumenti e procedure che consentono a una azienda di trasformare i propri dati di business in informazioni utili al processo decisionale, da rendere disponibili alla persona giusta e nel formato idoneo. Le informazioni così ottenute sono utilizzate dai decisori aziendali per definire e supportare le strategie di business, così da operare decisioni consapevoli e informate con l’obiettivo di trarre vantaggi competitivi, migliorare le prestazioni operative e la profittabilità e, più in generale, creare valore per l’azienda. La business intelligence prima estrae i dati e poi li archivia in un data warehouse.

Sorgenti informative

Con la Data Revolution la quantità di dati a disposizione è diventata enorme, inoltre si sono sviluppate diverse sorgenti di dati:

• Machine generated data: i dati generati automaticamente da processi digitali, processi informatici, applicazioni o altri meccanismi senza l’intervento dell’essere umano.

Internet of Things:

• Sensori: sono una rete di apparecchiature e di dispositivi, connessi a Internet, equipaggiati con un software che permette di scambiare dati con altri oggetti connessi. L’obiettivo di questi dispositivi è raccogliere dati, comandare e controllare particolari attività. Le due caratteristiche principali di un oggetto connesso sono: avere un indirizzo IP, che ne consenta l’identificazione univoca su internet, avere la capacità di scambiare dati attraverso la rete senza l’intervento umano. Esempi di IoT: industria automobilistica, domotica, industria biomedicale, smart cities.

Industry 4.0:

• Un processo il cui obiettivo principale è quello di digitalizzare il settore manifatturiero, rinnovando la catena del valore fino a trasformare la natura stessa delle organizzazioni, parliamo anche di smart manufacturing come gestione integrata di dati e informazioni uniti all’utilizzo della tecnologia digitale nei processi produttivi. L’industria 4.0 sfrutta i CPS (sistemi ciberfisici) in grado di interagire in modo continuo con i sistemi fisici in cui operano.

• People generated data: le persone generano ogni giorno enormi quantità di dati attraverso le attività di social media (Facebook, LinkedIn), siti di condivisione foto e video (Instagram, YouTube), blog, commenti, ricerche su internet, messaggi di testo, e-mail e documenti personali. Per le aziende questi dati possono rappresentare un vantaggio, ovviamente se si è in grado di tradurli, perché costituiscono il feedback diretto con il cliente finale rispetto ad un brand o un servizio. I big data derivanti da queste sorgenti informative sono dati ad alto volume, alta velocità, alta varietà ed altamente semantici.

• Organization generated data: derivano da sistemi gestionali interni all’azienda e rappresentano la maggioranza dei dati che le aziende utilizzano per l’analisi. Sono importanti e sono fortemente strutturati e per questo motivo sono analizzati in sistemi di Business Intelligence e archiviati in database relazionali (data warehouse).

Technological progress

Legge di Moore: ogni 18 mesi il numero di transistor per chip raddoppia. Non solo i transistor ma soprattutto anche la potenza e la velocità dei computer sono aumentate in modo esponenziale, anche il tasso di crescita della capacità di archiviazione è aumentato in modo costante. Da qui deriva la necessità di trovare un sistema alternativo per archiviare i dati:

Cloud

Il cloud computing è un modello per consentire l'accesso on-demand, conveniente e onnipresente alla rete a un pool condiviso di risorse di elaborazione configurabili (ad es. reti, server, storage, applicazioni e servizi) di cui è possibile eseguire rapidamente il provisioning e il rilascio con il minimo sforzo di gestione o interazione con il fornitore del servizio. Affinché si possa parlare di cloud è necessario che:

• L’utente sia in grado di approvvigionarsi di risorse computazionali automaticamente
• Le risorse siano accessibili attraverso la rete, tramite standard e piattaforme client eterogenee (smartphone, tablet, laptop)
• Le risorse computazionali del fornitore siano messe a disposizione di molteplici utenti (schema multiclient), che gestisca risorse fisiche e virtuali in accordo con le indicazioni degli utenti.
• Le risorse possano essere allocate rapidamente, in maniera elastica e automatica per adattarsi alle richieste degli utenti
• I sistemi controllino automaticamente e ottimizzino l’utilizzo delle risorse tramite strumenti di misura: l’utilizzo delle risorse deve essere monitorato, controllato e elaborato sia dal fornitore che dall’utente.

Il cloud si divide in 3 tipi di offerings:

• IaaS (Infrastructure as a service) mette a disposizione macchine virtuali, storage virtuali, infrastrutture virtuali e altre risorse hardware di cui i clienti possono usufruire. Il provider del servizio gestisce l’infrastruttura mentre il cliente si occupa del suo sviluppo che include sistema operativo, applicazioni e interazioni utente – sistema.
• PaaS (Platform as a service) offre macchine virtuali, sistemi operativi, applicazioni, servizi, framework di sviluppo e strutture di controllo. Il cliente può sviluppare le sue applicazioni utilizzando l’infrastruttura cloud o le applicazioni programmate, tramite linguaggi e strumenti messi a disposizione dal provider. Il provider gestisce l’infrastruttura cloud, i sistemi operativi e il software abilitante; mentre il cliente installa e gestisce le applicazioni che sviluppa.
• SaaS (Software as a service): è un ambiente completamente operativo con applicazioni, gestione e interfaccia utente; le applicazioni sono offerte al cliente attraverso un’interfaccia e la competenza dell’utente è limitata all’inserimento, alla gestione e all’interazione con l’applicazione finale, tutto il resto è a carico del provider.

Quadro magico

• Asse x: completezza di visione. Il vendor/provider è in grado di innovare anticipare i trend di mercato e di influenzarli.
• Asse y: capacità di esecuzione. Il vendor/provider è in grado di implementare le tecnologie che propone nelle aziende clienti. Riassume fattori come redditività finanziaria del venditore, la reattività al mercato, lo sviluppo del prodotto, i canali di vendita e la base dei clienti.
• Sfidanti: alta capacità di esecuzione, bassa completezza di visione.
• Operatori di nicchia: bassa capacità di esecuzione, bassa completezza di visione.
• Visionari: bassa capacità di esecuzione, alta completezza di visione.
• Leader: alta capacità di esecuzione, alta completezza di visione.

I vantaggi del cloud

• Scalabilità: consente di supportare carichi di lavoro fluttuanti poiché non si investe in infrastrutture hardware.
• Ampio accesso: ogni dispositivo connesso ad internet può accedere al cloud.
• Servizio misurabile: il cliente può avere informazioni riguardo allo storage usato, numero di transazioni, banda, etc.
• Outsourcing IT: permette di concentrare l’attenzione solo sul business dell’azienda.
• Manutenzione e aggiornamenti: gli utenti hanno sempre a disposizione versioni aggiornate.
• Self service: si possono gestire le risorse senza bisogno di interagire con il provider del cloud.

Big data: caratteristiche e definizioni

(Gartner) le 3 V dei big data:

• Varietà: i big data possono essere strutturati, semi strutturati o non strutturati. La maggior parte sono non strutturati, ad esempio dati geospaziali, immagini satellitari, foto, audio, video. I database tradizionali non possono gestire questi dati.
• Volume: si fa riferimento all’enorme quantità di dati generati; questo volume è in continua crescita, quindi richiedono uno storage fortemente scalabile e un approccio alle interrogazioni distribuito.
• Velocità: si fa riferimento alla velocità con cui questi dati vengono creati, elaborati, archiviati e analizzati. In particolar modo parliamo di dati real time, big data elaborati in tempo reale che richiedono delle piattaforme dedicate.

Definizione Big Data: “Big data è il termine che definisce una raccolta di set di dati così grandi e complessi da essere difficilmente gestibili e analizzabili utilizzando database o applicazioni di elaborazione dati tradizionali”.

Le tre tipologie di dati sono:

• Dati strutturati: dati con lunghezza e formato definiti, facilmente archiviabili in database relazionali, all’interno di tabelle con righe e colonne, e mappati in schemi predefiniti.
• Dati semi strutturati: possono avere una certa struttura, ma spesso non tutti i dati avranno una struttura identica e lo schema può essere mescolato con i valori dei dati (dati autodescrittivi).
• Dati non strutturati: non organizzati in modo riconoscibile e senza uno schema dati associato e con indicazione molto limitata del tipo di dati.

Problema: i primi dati apparsi sul mercato sono quelli operazionali e strutturati (sottoprodotto delle transazioni OLTP), i record vengono memorizzati su database relazionali, ogni volta che una transazione viene eseguita. Dopo la data revolution sono apparsi i big data.