CIM-Appunti completi di Big Data e Algoritmi di apprendimento automatico

Big data e algoritmi di apprendimento automatico

Vocabolario: concetti base della teoria dell'informazione

Informazione -> Mezzi di informazione: televisione, radio, giornali, internet. Li chiamiamo così perché servono a informare l’opinione pubblica. Ma la parola informazione designa anche altre cose: può essere anche quella che un passante ci da per guidarci in una posizione.

Capire cos’è l’informazione nella teoria dell’informazione -> dobbiamo spiegare cos’è il rumore: possiamo usare questa espressione con significati molto diversi:

• Suono sgradevole e non controllabile.
• Segnale di disturbo che corrompe l’informazione trasmetta in un sistema.
• Disturbo della comunicazione causato dalla quantità eccessiva di informazioni o/e dalla ripetizione eccessiva di un segnale.

Nella teoria dell’informazione il rumore è un segnale che disturba la comunicazione -> quindi se io devo trasmettere un’informazione da un punto all’altro, devo assicurarmi che questa trasmissione non venga ostacolata da un segnale che la disturba.

Nel paradigma di datizzazione del mondo, che consiste nella riduzione della realtà a dei dati, questi dati sono fruibili nella misura in cui non subiscono il disturbo di un rumore. Ma succede anche che i dati smettono di essere decodificabili, incomprensibili, quindi smettono di diventare informazione, quando sono troppi -> troppi dati diventano rumore.

Siamo entrati nel contesto della datizzazione del mondo proprio perché improvvisamente, ci siamo trovati a fare i conti con una quantità enorme di dati -> c’è stata un’epoca, durata migliaia di anni, nella quale per definizione i dati erano ciò che mancava, non ce n’erano mai abbastanza. Alle aziende servivano i dati, per potersi muovere più agevolmente nelle loro scelte commerciali. Ci voleva un modello che trasformasse questa enorme quantità di dati, e la trasformasse da rumore, qualcosa che non comprendo, a un suono comprensibile.

Algoritmo

È la soluzione ai dati, perché sono troppi, sono un quantitativo eccessivo, perché una persona li possa umanamente gestire -> la soluzione è un artefatto, cioè qualcosa di non umano, che ha delle capacità diverse rispetto all’essere umano, e ha la capacità che l’essere umano non ha, che è la capacità di trovare un senso dentro una quantità sterminata di dati.

Ai manager questa soluzione piace ed è così che l’intelligenza artificiale si è fatta strada nel mondo dell’industria, dell’organizzazione d’impresa -> oggi tutte le imprese, dicono abbiamo bisogno dell’intelligenza artificiale, per muoverci in un contesto in cui i dati ci sovrastano e sono sovrabbondanti, e quindi sono solo rumore, non ci capiamo niente.

Dato

Anche nel caso dei dati ci troviamo a fare i conti con una straordinaria polisemia. Che è stato trasmesso, consegnato, assegnato, donato -> datum -> ciò che è immediatamente presente alla coscienza, proveniente dall’esterno e reso -> ciò che dai sensi prima di ogni forma di elaborazione intellettiva -> il mondo si presenta a noi in forma immediata e poi noi prendiamo coscienza del mondo, significa trasformarlo, che è un prodotto soggettivo, è il mondo conosciuto -> il dato è ciò che precede questo processo di coscienza, quindi il mondo che si manifesta così com’è, in modo immediato (cioè senza mediazione), ma poi la nostra coscienza interviene e fa un lavoro di mediazione e trasforma il dato in qualcosa di diverso. (Husserl)

Lavoro di machine learning, che è come se si sostituisse alla nostra coscienza e descrive il mondo al nostro posto. Elementare e codificata di una manifestazione della realtà -> i dati che mi caratterizzano possono essere che appartengo al sesso femminile, il mio stato civile, la cittadinanza, l’età, il peso ecc -> sono dati personali. Quindi la mia complessità viene ridotta ad una serie di dati che mi descrivono.

Spesso quando parliamo di dato ci riferiamo ad una descrizione elementare di una certa entità, di una certa manifestazione del reale. Sul diritto alla privacy e quindi alle regole che devono essere rispettate da chi tratta i dati personali altrui, si discute da molto tempo, e nel 2018 è stato introdotto un regolamento nell’UE, che rende molto complicato trattare i dati personali dei cittadini (GDPR).

Elaborabile elettronicamente -> il dato in informatica. È un’unità elaborabile -> unità elettronicamente, cioè ridotta in formato digitale, che è quello per cui ogni informazione è codificata in una sequenza di 0 e di 1. L’elaborazione comprende il trasporto, la memorizzazione, l’impiego nell’ambito dei calcoli. (Il mio nome viene trasformato in una sequenza di 0 e di 1, solo così questi dati possono essere processati elettronicamente)

Processati elettronicamente: vuol dire che possono essere acquisiti, si possono spostare da una parte all’altra, i dati sono organizzabili (mettere insieme tutti i dati con la stessa etichetta, es. etichetta età). I dati in formato digitale hanno un peso e occupano uno spazio -> i dati hanno una loro dimensionalità.

Digitale è la rappresentazione numerica del mondo, ossia la sua trasformazione in dati -> in informatica il dato è espresso in combinazioni di bit -> sostantivo che ha due significati:

• Cifra binaria, 0 o 1.
• Unità di misura della quantità di informazione.

Dati: oggettività e interpretazione

I dati sono oggettivi? Che differenza c’è tra la conoscenza che noi sviluppiamo, quando esercitiamo la nostra coscienza e la percezione che abbiamo del dato, nudo e crudo, quello immediato, che si presenta alle nostre coscienze come manifestazione del reale?

Quando qualcuno vuole risultare oggettivo fa appello ai dati -> i dati vengono contrapposti alle opinioni. Ma in realtà non è proprio così, il dato nella misura in cui è qualcosa di oggettivo, è anche un qualcosa di insignificante. Diventa ricco di significato, proprio nel momento in cui perde la sua dimensione oggettiva e diventa materia di un giudizio.

Diciamo “oggi fa freddo: è un dato di fatto”, ma in realtà formuliamo un giudizio sulla temperatura esterna: una giornata fredda per noi non è necessariamente tale per tutti. I dati da soli non parlano, iniziano a dirci qualcosa nel momento in cui diventano oggetto di un giudizio. Quindi da un lato abbiamo i retori che cercano di convincervi della loro tesi perché ci danno dei dati, dall’altro lato invece dobbiamo riconoscere che fino a quando non c’è qualcuno che fa un lavoro di analisi critica, di lettura dei dati, di interpretazione, i dati non ci servono granché.

I giornalisti vengono spesso scavalcati dai dati che ci vengono rovesciati, come se significassero qualcosa, senza la mediazione critica del giornalista -> questa cosa rischia di essere disfunzionale: il sistema delle informazioni in cui i giornalisti vengono tagliati fuori e i dati raggiungono direttamente il pubblico, l’opinione pubblica, non è detto che funzioni particolarmente bene. Il nostro compito è allora quello di giudicare i dati -> problemi posti dall’intelligenza artificiale, che in tante circostanze giudica al posto nostro, però noi ci fidiamo lo stesso.

Filosofia della percezione e dati

Nella filosofia della percezione e in fenomenologia il dato è ciò che si manifesta alla vostra coscienza. La percezione del dato è un’attività mentale che produce un giudizio.

Dati vs numeri

Il numero: “da i numeri” è sinonimo di raccontare un sacco di fandonie, mentre il dato è ciò che è certo. Il numero in quanto tale parla poco, ci dice poche cose, quindi ancora una volta ci troviamo a fare i conti con un problema: noi abbiamo bisogno di elementi diversi per descrivere la realtà, e quindi non possiamo considerare questo processo di datizzazione del mondo -> che è la trasformazione della realtà in dati, questo perché gli algoritmi capiscono i dati (il fatto che guardiamo immagini di gatti si trasformano in dati, il fatto che pubblichiamo i post 4 volte al giorno al mattino si può tradurre in dei dati -> noi per Instagram siamo dei dati).

Contrapponiamo i dati, cioè i risultati delle analisi empiriche, alle favole e ai numeri. Pensiamo che i dati si impongano per la loro oggettività, mentre favole e numeri sono ciò che si racconta a chi ci vuole credere, senza sostegno alcuno dei dati. Ma dietro ai dati, c’è la capacità creativa di ricavarne un senso e di esprimere un giudizio -> parlare dei dati significa parlare della loro qualità intime, dei loro aspetti soggettivi, imperfetti.

Data, database e big data

Le unità di misura dei dati

Sistema internazionale -> multipli decimali. Questa tabella rappresenta il rapporto tra le diverse unità di misura dei dati, secondo il Sistema internazionale. Il bit è l’unità di misura minima dell’informazione -> l’informazione è codificata secondo una logica binaria e quindi qualunque informazione è costituita da una sequenza di due possibili cifre, 0 o 1 -> il digitale si basa su un tipo di rappresentazione binaria. Dal livello minimo del bit, si passa ai livelli superiori: byte, kilobyte, megabyte ecc.

Problema che talvolta crea delle facoltà, perché questa è solo una delle due scale che si utilizza per misurare l’informazione, che è quella appunto del Sistema internazionale, che si basa sui multipli decimali: significa che ogni volta che si sale di un livello, il moltiplicatore è 1000.

International Electronic Commission -> multipli binari. Esiste poi un'altra scala, che è più corretta -> definita dall’International Electronic Commission. In questo caso la scala è costruita su una base di multipli binari. In questa scala, ad ogni passaggio di livello, il moltiplicatore è 1024. Lo scarto rispetto alla scala precedente cresce esponenzialmente a mano a mano che si sale -> quindi quando arriviamo agli yobibyte, la differenza rispetto allo schema del sistema internazionale è del 20%.

Siccome la capacità di immagazzinare, di processare i dati è un valore economico, è una cosa che si vende -> stiamo parlando di qualcosa che ha un valore economico. A mano a mano che nel mondo, privati, consumano quantità maggiori di capacità di storage di dati, c’è qualcuno che ci guadagna, perché c’è qualcuno che questa capacità di storage la vende. Quindi esiste un mercato, che prima ancora di essere un mercato di servizi, costruiti utilizzando sofisticati algoritmi, la materia prima cioè i dati, sono qualcosa che deve essere immagazzinato e protetto adeguatamente. E chi si occupa di questo tipo di servizi, opera in uno specifico ambito di business.

È difficile concepire il grandissimo numero di dati che produciamo nel mondo. Già facciamo fatica con le tecnologie che ci sono più familiari (chiavetta USB, hard disk) -> abbiamo materialmente idea della loro capacità di memoria?

Secondo alcune stime:

• La quantità di dati accumulati nel mondo passerà da 33 Zettabyte (2018) a 175 Zettabyte (2025).
• Fra 4 anni il 45% dei dati risiederà all’interno di infrastrutture cloud pubbliche.
• Entro il 2025, 150 miliardi di dispositivi saranno connessi e genereranno dati in tempo reale (smartphone, tv ed elettrodomestici di nuove generazioni).

Internet sarà una rete che prima di tutto servirà ai dispositivi per comunicare tra di loro, e solo in seconda istanza, in una misura molto più ridotta, per consentire agli esseri umani di comunicare tra di loro.

Il paradigma dei big data

Postula la capacità di un’infrastruttura tecnologica, non solo in grado di gestire una grande quantità di dati, ma anche di farlo in tempo reale -> ci sono applicazioni che riescono ad utilizzare in tempo reale i dati messi a disposizione e quindi a servirsene per gli scopi più diversi.

I dispositivi connessi, quindi in grado di comunicare con il resto del mondo grazie ad Internet, di ricevere e inviare dati, ricevere degli input e quindi modificare il loro comportamento in funzione di questi input, si chiamano dispositivi smart (dispositivi intelligenti). Questo fenomeno nel suo complesso viene chiamato Internet of Things: cioè si sta parlando del fatto che il mondo è sempre più ripieno di dispositivi smart, capaci di comunicare attraverso la rete internet. È un fenomeno che ha a che fare con il paradigma dei big data, perché produce zettabyte di dati.

Come i dati si muovono dalla macchina a noi, e viceversa

L’informatica si occupa di macchine che processano dati -> queste macchine, nella maggior parte dei casi vengono utilizzate da noi esseri umani per i più disparati scopi -> computer (lo smartphone, la smart tv, lavastoviglie smart). Che cosa rende, tutte queste macchine, così diverse nella loro funzione, dei computer? L’esistenza di una serie di elementi che permettono di processare informazioni. Potremmo dire che ogni macchina è fatta di 4 elementi: tutti questi strati sono comunque software.

• Dati: componente della macchina che è in grado di conservare i dati, prenderli in consegna (data ingestion) e renderli disponibili quando questi dati servono -> quindi questi dati non cambiano nel tempo e li protegge dalle minacce che possono esserci, e ogni volta che vengono richiesti mette i dati a disposizione.
• Programma: chiede i dati allo strato inferiore ogni volta che ne ha bisogno e dice allo strato superiore che cosa deve fare con quei dati. Strato che contiene la logica con cui la macchina funziona -> insieme di regole/istruzioni che governano il funzionamento della macchina. Il programma dice al controllo che cosa deve fare, con quali dati lo deve fare e quando lo deve fare.
• Controllo: le istruzioni vengono eseguite dal controllo.
• Interfaccia utente: (user interface) ha la funzione di gestire l’interazione con l’essere umano, ovvero ha la funzione di tradurre in un linguaggio comprensibile per l’essere umano tutto quello che è stato fatto dagli strati inferiori (linguaggio di 0 e 1 che l’essere umano non capirebbe).

La "data sphere", dal cuore alla periferia dell'ecosistema digitale

Un altro modo di rappresentare l’insieme dei dispositivi, dei sistemi che hanno a che fare con i dati, è quello di immaginarlo come una sorta di ecosistema che è fatto di funzioni centrali, intermedie e periferiche. Scopriamo che tante macchine hanno funzioni diverse all’interno di un ecosistema digitale. È un ecosistema costituito da 3 strati:

• Core: al centro dell’ecosistema ci sono delle grandissime macchine, addirittura degli insiemi di macchine, dei datacenter, dove tutti i dati che servono per l’intero funzionamento dell’ecosistema sono conservati e resi disponibili. Chi possiede questi giganteschi datacenter? 3 o 4 soggetti: Amazon web server, Google, Facebook e Microsoft. Queste 4 società controllano in occidente tra il 70 e l’80% del core. Dove sono i dati che Zoom sta utilizzando in questo momento per erogare il servizio di videoconferenza? Sono dentro un’infrastruttura di Microsoft. È dove ci sono delle infrastrutture private o pubbliche di tipo cloud.
• Edge: che è la periferia, è costituito da infrastrutture di altro tipo, che dialogano con le infrastrutture core di Amazon. E qualunque grande organizzazione può essere rappresentata come un branch offices dentro questo schema. Ma fanno parte delle infrastrutture periferiche anche tutti gli apparati di rete, quindi sistemi di telecomunicazione utilizzati per trasmettere i dati in giro per il mondo (stazione radiobase, ripetitore).
• Endpoint: sono gli oggetti che noi utilizziamo tutti i giorni -> computer, smartphone, ma anche tutti gli oggetti smart.

Database e Database Management System (DBMS)

Per database (base di dati) intendiamo una collezione di dati organizzati in modo che possano essere acceduti, gestiti e aggiornati -> insiemi, raccolte di dati organizzati. I dati devono essere organizzati perché è solo in questo modo che è possibile accedere ad essi, gestirli, processarli e spostarli da una parte all’altra, modificarli, correggerli. I dati possono essere organizzati in tanti modi diversi.

Un Database Management System è un applicativo software che permette di creare e gestire database. I database relazionali accolgono i dati all’interno di oggetti chiamati tabelle, fatte di righe e colonne. Le tabelle sono in relazione fra loro e compongono uno schema (es. Microsoft SQL server) -> organizza i dati all’interno di tabelle. Si chiamano relazionali perché un database non contiene una sola tabella, ma ne contiene tante e esistono delle relazioni che collegano tabelle diverse fra di loro. Esistono anche i database non relazionali.

SQL (Structured Query Language) è il linguaggio standard, un protocollo di comunicazione di accesso e manipolazione di un database relazionale.