Scienza dei dati e misurazione dei dati

Scienza dei dati

Lezione 1

Due pilastri fondamentali su cui la digitalizzazione dell’impresa si fonda sono la scienza dei dati e la misurazione. Data science, la scienza dei dati, combina più campi, tra cui statistica, metodi scientifici e analisi dei dati, per estrarre valore dai dati. I dati sono indicatori per prendere decisioni.

Quando si parla di dati, si usa spesso la metafora del petrolio. Come il petrolio, i dati sono un asset di grande valore, ma anche sottovalutato. I dati sono abilitanti, ma cosa vuol dire che i dati sono come il petrolio? Il petrolio è stato importante perché si trasforma, il petrolio è la pre-condizione, il fattore abilitante tra ciò che consente di produrre plastica, carburanti, ecc. I dati, quindi, sono utili perché producono qualcosa, i dati non in quanto tali, ma dati per...

Confrontando il 1986 (interpretabile come epoca pre-digitale) con il 2007, vent’anni dopo lo scenario è che c’è stato un incremento di un fattore 100 della quantità di dati (300 exabytes), l’1% dei dati digitali si è trasformato nel 94% del 2007. Tra il 2000 e il 2002 c’è stato il massimo livello di espansione di tipo analogico, ora invece il digitale produce sempre più dati in formato digitale. Nella sua sinteticità la figura porta a molta informazione.

Questo grande aumento che implicazioni ha avuto? Eric Schmidt era il CEO di Google e in un’intervista del 2010 fa emergere che il suo lavoro è quello di capire che cosa stia succedendo, e ciò risulta molto difficile perché siamo sommersi dalle quantità di dati generate che sono lontane dalle quantità prodotte nel passato.

Dall’alba della civilizzazione (dalla preistoria alla storia), a partire dal 3500 a.C. in cui iniziano a prodursi dei documenti scritti e fino al 2003 quindi in circa 5.500 anni, ovvero in 2 milioni di giorni, si è prodotta una quantità di dati pari a un tot. E, la stessa quantità di dati, oggi, la produciamo in due giorni. Quindi, ogni giorno produciamo dati in quantità mediamente un milione di volte maggiore.

Un fenomeno cresce di 10⁶, di 6 volte di grandezza, non è uno scherzo. Un cambiamento quantitativo può produrre anche un cambiamento qualitativo. Ad esempio, se un’automobile potesse percorrere infiniti chilometri con 1 litro di carburante, la gran parte del mercato dei carburanti si annullerebbe, anche se chiaramente questo non è possibile. Non bisogna stupirsi invece che, un cambiamento reale, come quello della quantità di dati sia anche un cambiamento qualitativo. Questo è interessante perché normalmente un cambiamento quantitativo è gestibile, quello qualitativo produce un altro, un nuovo mondo che magari non può essere facilmente prevedibile. Big Data rappresenta molto plausibilmente il segnale che indica un cambiamento verso qualcosa che non si sa ancora determinare con certezza.

Esempi di generazione di grandi quantità di dati

Per la gestione di questi dati ci vogliono delle strutture informatiche adeguate:

• Nel 2015 Esselunga: numero di registrazioni per giorno 10⁷ (10 milioni di righe) dati transazionali perché si riferiscono a transazioni di carattere commerciale
• Numero di tweet per giorno: 10⁸ (100 milioni)
• Numero di registrazioni per giorno: 10¹⁵ Dati IoT, le Tesla hanno a bordo un server web che attraverso una rete e SIM sistematicamente è in contatto con i server di Tesla, in questo modo i dati prodotti dai sensori delle automobili vengono inviati alla casa madre. Tesla riceve dei data point (punti legati ai singoli dati, ovvero legati ai singoli sensori) 10¹⁵ dati di righe al giorno (1 milione di miliardi).

I cambiamenti quantitativi possono quindi cambiarci il mondo. La scienza dei dati si occupa di un fenomeno dei dati che è cambiato in maniera radicale, questi cambiamenti sono stati indotti dal digitale che ha creato il software e interazioni. Un insieme di cose che produce tanto.

Data science e data-driven decision making (d m)

La scienza dei dati mette a disposizione degli strumenti per una data-driven decision making (d m). Di che cosa si occupa la scienza dei dati? L’immagine offre una prospettiva sintetica ma non banale sul tema della scienza dei dati, essa ha come dei cluster e intorno a questi punti di aggregazione ci sono delle aree di competenze. Ngram Viewer permette di inserire delle parole separate da virgole per produrre dei grafici e vedere la comparabilità e relatività (ad esempio data science, big data, computer).

Nell’immagine si osserva un confronto tra termini e si osserva che ci sono dei picchi di interesse con diverse eccezioni. La dinamica della tecnologia va a picchi di interessi e questo va in base al marketing. La teoria hype cycle è una metodologia sviluppata da Gartner, società di consulenza, ricerca e analisi nel campo dell'Information Technology, per rappresentare graficamente la maturità, l'adozione e l'applicazione di specifiche tecnologie. Molto interessante ed utilizzata per rappresentare i fenomeni indotti dalla tecnologia e tirata dal marketing, questo doppio effetto permette di avere un effetto di picco, talmente di moda tale poi da produrre un effetto opposto.

Esempi di Hype: industria 4.0, IoT, Bitcoin, AR, smartworking, Machine Learning, Big Data.

Datification e dataism

Datification: La dataficazione è una tendenza tecnologica che trasforma molti aspetti della nostra vita in dati che vengono successivamente trasferiti in informazioni realizzate come una nuova forma di valore. Il valore non è nei dati, ma nell’informazione.

Dataism: Dataismo è un termine che è stato utilizzato per descrivere la mentalità o la filosofia creata dal significato emergente dei Big Data.

Data science: un campo interdisciplinare

Data science è un campo interdisciplinare che utilizza metodi, processi, algoritmi e sistemi scientifici per estrarre conoscenze e approfondimenti da dati strutturati e non strutturati, e applicare conoscenze e approfondimenti fruibili dai dati in un'ampia gamma di domini applicativi. La data science è legata al data mining, al machine learning e ai big data.

Ci sono quindi tre dimensioni complementari: una tecnologica e una di mindset (competenze che ti insegnano a pensare) e poi un quadro più ampio di un campo che estrae conoscenza.

Si forma una triade: Il quadro di riferimento mostra che i dati non sono fenomeni, ma per parlare del fenomeno parliamo di dati. I dati sono relativi a un fenomeno, ma le decisioni vengono prese sul fenomeno, non sui dati. Si è interessati ai dati perché portano informazioni perché c’è un fenomeno a cui si riferiscono.

Con l’obiettivo di conoscere meglio il fenomeno (il “generatore dei dati”), e prendere migliori decisioni su di esso, si acquisiscono dati sul fenomeno e quindi li si analizza. Ci sono grandi quantità di dati, non c’è nulla di nuovo in tutto ciò: cosa c’è di nuovo dunque nella scienza dei dati?

Non si tratta solo di un cambiamento quantitativo, ma riguarda anche un aspetto qualitativo. Per riuscire a dare una risposta più corretta si utilizzano le terminologie dati, informazione e conoscenza. È necessario unire dati con informazione per avere conoscenza.

Dati: da soli non bastano devono essere messi insieme all’informazione e alla conoscenza. Hanno una propria teoria: Sintassi (regole di costruzione dei dati). I dati non hanno un proprio significato anche se dal punto di vista sintattico sono scritti correttamente. Una struttura sintattica è corretta e ben formata si dice WFF. Non hanno il problema di avere un significato. I dati puri sono contenuti nei computer non negli esseri umani.

Informazioni: si basano su dati, ma non basta. I dati più i significati generano informazioni. La domanda non è né vera né falsa ma significa. Vengono capite attraverso la semantica, è un’interpretazione dei dati. Ad esempio temperatura.

Conoscenza: si basa sulle informazioni più utilità/rilevanza/capacità di usarla. È la capacità di risolvere i problemi. È caratterizzata dalla pragmatica.

La piramide DIKW è un modo per interpretare e avvicinarsi alle definizioni di dati, informazioni e conoscenze. Bisogna associare un significato a un dato: SI diverso da NO, è un dato, se invece il SI ha un significato si trasforma in informazione. Una domanda non ovvia è quindi se le informazioni oggi possono essere trattate in maniera completamente automatica oppure no. I computer trattano solo dati oppure sono in grado di saperli interpretarli? I computer sanno operare con conoscenza, c’è qualcosa di nuovo nella scienza dei dati? E se sì, c’è qualcosa di buono?

Lezione 2

en.wikipedia.org/wiki/DIKW_pyramid

Si parte dai dati, entità puramente sintattiche utili per riconoscere differenze. Un numero messo in una tabella è ancora un dato senza significato attribuito. Un primo lavoro che si può fare è attribuire un significato e fare in modo che i dati si riferiscano a qualche cosa. Si come diverso da No è un dato, Si come risposta a una domanda diventa informazione perché esiste in relazione alla domanda. Quando i dati hanno un significato e questo è utile ai fini di qualcosa, diventa conoscenza. I computer trattano informazioni.