Tecnologie Web

Alma Mater Studiorum - Università di Bologna

Campus di Cesena

Scuola di scienze

Corso di laurea triennale in ingegneria e scienze informatiche

Applicazione web per visualizzare e gestire

Tesi in Tecnologie Web

Presentata da: Emanuele Di Folca

Relatore: Prof.ssa Paola Salomoni

Correlatore: Dott.ssa Catia Prandi

Dott. Stefano Cacciaguerra

Sessione II

Anno Accademico 2015/2016

A mio nonno Renzo che quando mi lamentavo per lo studio ripeteva sempre “Ma lassa sté . . . ma va a stùdie valà.”

Elenco delle figure

• 1.1 Mappa Concettuale Web 2.0 - concetti base [39] . . . . . . . . 17
• 1.2 Diagramma di classificazione ”Starfish, Sclobe 2007 [52] . . . . 23
• 1.3 Diagramma di classificazione ”Social Media Landscape”, 2012 [48] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
• 1.4 Digital in 2016: Statistica sull’uso dei Social Network - We are Social 2016 [54] . . . . . . . . . . . . . . . . . . . . . . . . 27
• 1.5 Digital in 2016: Dati sull’accesso a Internet - We are Social 2016 [34] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
• 1.6 Digital in 2016: Dati sull’accesso a Internet in Italia - We are Social 2016 [34] . . . . . . . . . . . . . . . . . . . . . . . . 31
• 2.1 Rete Sismica Nazionale gestita dall’INGV. - Istituto Nazionale della Geologia e Vulcanologia [28] . . . . . . . . . . . . . . . . 40
• 2.2 Aggiornamento 6 Novembre 2016 ore 17.00 dal 24 Agosto 2016 - INGV [32] . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
• 2.3 Aggiornamento 6 Novembre 2016 ore 17.00 dal 30 Ottobre 2016 - INGV [32] . . . . . . . . . . . . . . . . . . . . . . . . . 41
• 2.4 ShakeMap del 24 Agosto 2016 - INGV [1] . . . . . . . . . . . . 43
• 2.5 ShakeMap dai questionari del web - INGV [25] . . . . . . . . . 44
• 2.6 Mappa delle zone sismiche - INGV [27] . . . . . . . . . . . . . 47
• 3.1 Worldcloud creato con software R [17] . . . . . . . . . . . . . 70
• 3.2 Grafico a torta con i termini ricavati dall’analisi - R . . . . . . 72
• 3.3 Ortogramma sulla geo-localizzazione dei tweet - SQL [47] . . . 72
• 3.4 Distribuzione a livello globale dei tweet - Google Maps . . . . 73
• 3.5 Ortogramma sull’andamento temporale dei tweet - SQL . . . . 74
• 3.6 Tweet riguardanti la disponibilità di rete e connessione - Applicazione progetto tesi . . . . . . . . . . . . . . . . . . . . . . . 76
• 4.1 Diagramma dei casi d’uso - Information Discovered 79
• 4.2 Pagina web di inserimento dati - Information Discovered . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
• 4.3 Pagina web di caricamento data-set - Information Discovered . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
• 4.4 Barra degli strumenti - Information Discovered . . . . . . . . 85
• 4.5 Pagina web dell’analisi tramite World-cloud - Information Discovered . . . . . . . . . . . . . . . . . . . . . . . . . . 86

Elenco dei codici

• 3.1 Caricamento dei dati . . . . . . . . . . . . . . . . . . . . . . . 60
• 3.2 Creazione corpus . . . . . . . . . . . . . . . . . . . . . . . . . 62
• 3.3 Conversione tweet in minuscolo . . . . . . . . . . . . . . . . . 62
• 3.4 Text cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . 63
• 3.5 Stemming . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
• 3.6 Creazione Term Document Matrix . . . . . . . . . . . . . . . 65
• 3.7 Confronto matrici tdm e tdm1 . . . . . . . . . . . . . . . . . 66
• 3.8 Calcolo parole e relative frequenze . . . . . . . . . . . . . . . 66
• 3.9 World-cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
• 3.10 Numero dei tweet per geo-localizzazione . . . . . . . . . . . . 68
• 3.11 Filtraggio dei dati . . . . . . . . . . . . . . . . . . . . . . . . 69
• 3.12 Test sulla Term Document Matrix . . . . . . . . . . . . . . . . 71
• 3.13 Output matrice tdm1 . . . . . . . . . . . . . . . . . . . . . . 71
• 4.1 PHP per esecuzione script R . . . . . . . . . . . . . . . . . . . 82

Indice

• Elenco delle figure 2
• Elenco dei codici 4
• Introduzione 11
• 1 Social Media e Big Data 15
• 1.1 Web 2.0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
• 1.1.1 Web come Piattaforma . . . . . . . . . . . . . . . . . . 17
• 1.1.2 Architettura Partecipativa . . . . . . . . . . . . . . . . 18
• 1.1.3 Evoluzione Tecnologica . . . . . . . . . . . . . . . . . . 18
• 1.1.4 Modello Centrato sui Dati . . . . . . . . . . . . . . . . 19
• 1.1.5 Modello Centrato sull’Utente . . . . . . . . . . . . . . 20
• 1.1.6 Enterprise 2.0 . . . . . . . . . . . . . . . . . . . . . . . 21
• 1.2 Social Media . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
• 1.2.1 Tipologie . . . . . . . . . . . . . . . . . . . . . . . . . 23
• 1.2.2 Social Network . . . . . . . . . . . . . . . . . . . . . . 25
• 1.2.3 Generazione dei Social Media . . . . . . . . . . . . . . 27
• 1.3 Big Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
• 1.3.1 Social Media e Big Data . . . . . . . . . . . . . . . . . 30
• 1.3.2 Microblogging: definizione . . . . . . . . . . . . . . . 31
• 1.3.3 Microblogging e Analisi di stati d’emergenza . . . . . . 33
• 1.4 Twitter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
• 1.4.1 Contenuti dei tweet . . . . . . . . . . . . . . . . . . . . 37
• 2 Emergenza in Analisi 39
• 2.1 Eventi Sismici Centro Italia 2016 . . . . . . . . . . . . . . . . 39
• 2.2 La prima forte scossa: 24 Agosto 2016 . . . . . . . . . . . . . 42
• 2.2.1 Misurazione ed effetti del sisma . . . . . . . . . . . . . 42
• 2.2.2 Reazioni sui Social . . . . . . . . . . . . . . . . . . . . 45
• 2.3 Obiettivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
• 2.3.1 Contenuti dell’analisi . . . . . . . . . . . . . . . . . . . 49
• 3 Design dell’Analisi 51
• 3.1 Estrazione dei Dati . . . . . . . . . . . . . . . . . . . . . . . . 51
• 3.1.1 Tipologia di dataset . . . . . . . . . . . . . . . . . . . 53
• 3.1.2 Parametri di ricerca . . . . . . . . . . . . . . . . . . . . 55
• 3.2 Tecnologie utilizzate . . . . . . . . . . . . . . . . . . . . . . . 56
• 3.2.1 Software R . . . . . . . . . . . . . . . . . . . . . . . . . 56
• 3.2.2 MySQL . . . . . . . . . . . . . . . . . . . . . . . . . . 58
• 3.3 Iter progettuale . . . . . . . . . . . . . . . . . . . . . . . . . 59
• 3.3.1 Configurazione di R e caricamento dei dati . . . . . . . 59
• 3.3.2 Preprocessing dei tweet . . . . . . . . . . . . . . . . . . 61
• 3.3.3 Studio delle parole . . . . . . . . . . . . . . . . . . . . 65
• 3.3.4 Studio sulla geo-localizzazione e temporizzazione dei tweet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
• 3.3.5 Filtraggio dei tweet . . . . . . . . . . . . . . . . . . . . 69
• 3.4 Risultati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
• 4 Applicazione: Information Discovered 77
• 4.1 Analisi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
• 4.1.1 Requisiti . . . . . . . . . . . . . . . . . . . . . . . . . . 78
• 4.2 Design dell’applicazione . . . . . . . . . . . . . . . . . . . . . 80
• 4.2.1 Interfaccia dell’applicazione . . . . . . . . . . . . . . . 81
• 4.2.2 Implementazione . . . . . . . . . . . . . . . . . . . . . 81
• 4.3 Guida all’Utente . . . . . . . . . . . . . . . . . . . . . . . . . 84
• 4.3.1 Funzionalità principali . . . . . . . . . . . . . . . . . . 85
• 4.4 Note di Sviluppo . . . . . . . . . . . . . . . . . . . . . . . . . 87
• Conclusioni 89
• Bibliografia 91
• Ringraziamenti 97

Introduzione

Gli ultimi anni sono stati un periodo di rivoluzione e innovazione, tanto che gli esperti hanno dato anche un nome preciso a questa fase di evoluzione: il “Web 2.0”. Questo ha portato con sé l’esplosione dei Social Media e l’incremento delle informazioni disponibili sul Web, sotto forma di User Generated Content [49]. In questo scenario diventa l’utente la figura centrale, in quanto diviene egli stesso il creatore dei contenuti di questo “nuovo” Web. Questa partecipazione dell’utente e conseguente aumento di dati sfocia nella nascita dei “Big Data”. Quest’ultimo termine ha impatto su tutti i aspetti collegati al web. Risulta interessante come ora, infatti, si abbia una crescita esponenziale di dati di natura destrutturata, diventati così il nuovo tesoro dell’informazione, contenente testi, informazioni e opinioni. Tutto questo quindi ha portato con sé l’esigenza di nuovi strumenti, che permettano un’analisi e un’estrazione di informazioni significative [50].

Il “Web 2.0” può essere definito un cambiamento tecnologico, ma anche culturale. L’impatto sociale del Web è una conseguenza anche dell’utilizzo e la diffusione dei Social Media, fra cui abbiamo anche i social network, blog, community e microblogging. Lo studio dei social network e dei microblog si è rilevato, fin dall’inizio, di grande utilità, poiché ha dato la possibilità di monitorare le persone, le loro relazioni e i pensieri che in modo costante ormai pubblicano.

Queste piattaforme rappresentato un enorme raccoglitore di contenuti di svariato genere, che hanno un grandissimo potenziale per ricerche di ogni tipo. Su questi dati quindi si possono fare ricerche sull’umore, su malattie ed epidemie, estrapolare informazioni o comportamenti tipici della società, prevedere situazioni che riguardano la società o il mondo e infine anche analizzare situazioni di emergenza in cui c’è bisogno di aiuto.

La tesi infatti si concentrerà sull’impatto dei social media su situazioni di emergenza. Una volta estrapolati i dati, il passo successivo consiste nel dare una forma a questi dati e riuscire, attraverso i nuovi strumenti, nati con l’avvento dei cambiamenti sopracitati, ad analizzarsi per trarre conclusioni e risultati utili, andando al cuore dell’informazione.

La mia analisi si concentra prevalentemente su Twitter, uno dei micro-blog più famoso e utilizzato a livello mondiale [34], e sulla visualizzazione del traffico dei dati che è stato prodotto durante la grossa scossa sismica in Centro Italia il 24 Agosto 2016 e i giorni successivi a questo evento. Twitter si è rivelato l’ambiente più “serio e sincero”, ed è per questo che i suoi contenuti, in contrapposizione agli altri social network, rappresentano in modo più veritiero il pensiero delle persone in quel particolare evento.

Il lavoro svolto mira, quindi, alla progettazione e allo sviluppo di un sistema d’analisi, effettuato tramite un’insieme di tecnologie diverse, in grado di esaminare ciò che gli utenti pubblicano. In generale l’idea di base dello studio consiste nell’analizzare un breve testo, nel nostro caso quindi si parla di “tweet”, e dimostrare o confutare l’utilità concreta di Twitter nelle situazioni di emergenza, come può essere quella dei terremoti avvenuti nel Centro Italia, evento alquanto significativo e attuale. Per fare questo si è deciso anche di ampliare quest’opportunità a tutti coloro che possiedono un insieme di tweet già completo, su cui effettuare una ricerca, senza possedere specifiche abilità di programmazione tramite la creazione di un applicazione web online.

Il progetto di tesi in questo documento è stato strutturato considerando sia la componente tecnologica sia quella sociale e culturale relativa al particolare contesto preso in considerazione.

Nel primo capitolo si vuole dare una panoramica dei cambiamenti tecnologici, sociali e culturali partiti con la nascita del “Web 2.0”. A seguito di una sua breve introduzione, intendo spiegare i principi base del “Web 2.0”, concepiti e spiegati in modo preciso da O’Really, nel suo documento in cui conia il termine che tutt’ora noi utilizziamo. In seguito andremo a toccare in particolare gli aspetti di nostro interesse: i Social Media (e di conseguenza i social network) e la nascita di quelli che vengono definiti “Big Data”. Infine andiamo a concentrare la nostra attenzione su Twitter, la piattaforma protagonista della nostra analisi.

Nel secondo capitolo si vuole andare a illustrare la situazione effettiva degli eventi sismici avvenuti quest’anno in Centro Italia. Ci focalizzeremo, in particolar modo, sulla prima forte scossa del 24 Agosto 2016, oggetto dell’analisi trattata come progetto di tesi, ponendo una particolare attenzione sull’impatto che questo ha avuto sul web in particolare sui social network. Infine andremo a delineare l’obiettivo e i contenuti dell’analisi in questione.

Il terzo capitolo invece risulta il cuore del progetto, in quanto spiegheremo le varie fasi dell’analisi, di conseguenza anche le tecnologie usate, fino ad arrivare ai risultati e alle conclusioni dello studio fatto.

Per concludere, nell’ultimo capitolo andremo ad illustrare in modo più dettagliato i requisiti e il design dell’applicazione, la quale abbiamo creato con lo scopo di rendere possibile a tutti gli utenti di effettuare un’analisi iniziale del problema. L’applicazione si chiamerà “Information Discovered”. A conclusione andremo anche a esporre i possibili sviluppi futuri della presente applicazione.

Capitolo 1 Social Media e Big Data

Il web nel corso del tempo ha subito tanti cambiamenti fino ad arrivare ad ora. Queste trasformazioni convergono in una nuova definizione del web: “web 2.0” [49].

Questa nuova visione del web ha dato all’utente un ruolo attivo e centrale nella creazione del web stesso. Tutto ciò quindi ha avuto anche un impatto a livello sociale, dovuto in maniera consistente alla diffusione e creazione dei Social Media. Con questo termine ci riferiamo ad una miriade di strumenti, i quali danno all’utente modo di partecipare in modo attivo sul Web. In particolare, possiamo notare questo aspetto in modo più visibile sui Social Network, piattaforme che, ad oggi, hanno acquisito maggior rilievo.

Una conseguenza di questa rivoluzione del Web consiste in una crescita repentina dei dati da gestire e per questo nasce anche il concetto di “Big Data”. Fra i Social Media, una delle le cause dell’incremento della quantità di dati, possiamo trovare una miriade di piattaforme social fra cui i “Microblog”. Questa forma di Social Media si è diffusa in modo capillare, divenendo rilevante sia per l’impatto sociale e informativo sia dal punto di vista dell’utenza. L’esempio più valido di Microblogging risulta “Twitter”, oggi una delle piattaforme più popolari fin dalla sua nascita. In questo capitolo, quindi, faremo una panoramica sul periodo sul del “Web 2.0” concentrandoci in modo particolare sui temi già sopra citati, concentrandoci infine su Twitter, un social media e in particolare microblog molto famoso e utilizzato.

1.1 Web 2.0

Il Web, fin dalla sua nascita, è sempre stato in perpetuo movimento, poiché non ha mai smesso di crescere e migliorare. Per questo il “web 2.0” può essere visto come un prodotto non finale dell’incessante sviluppo in atto. Di conseguenza, il “web 2.0” è generalmente definito come una fase dell’evoluzione di Internet e in particolare del World Wide Web [65]. È da mettere in luce, però, l’attuale dibattito aperto sul vero significato e la vera definizione, nel quale c’è persino una parte che lo ritiene uno mero slogan pubblicitario, privo di qualsiasi innovazione [49].

Il termine “Web 2.0” nasce nel 2004, durante una conferenza tra O’Reilly Media e MediaLive International, ad opera di Dale Dougherty e Tim O’Reilly. A O’Reilly, nato del 1954 a Cork, fondatore della O’Reilly Media, casa editrice internazione specializzata nella diffusione di testi di carattere tecnico informatico, viene riconosciuto il merito di aver tentato di dare una definizione chiara ed esauriente del termine. La prima definizione ufficiale di O’Reilly, la quale risulta anche più completa, è la seguente:

“Il Web 2.0 è la rete come piattaforma, attraverso tutti i dispositivi collegati; le applicazioni Web 2.0 sono quelle che permettono di ottenere la maggior parte dei vantaggi intrinsechi della piattaforma, fornendo il software come un servizio in continuo aggiornamento che migliora più le persone lo utilizzano, sfruttando e mescolando i dati da sorgenti multiple, tra cui gli utenti, i quali forniscono i propri contenuti e servizi in un modo che permetta il riutilizzo da parte di altri utenti, creando una serie di effetti attraverso un “architettura della partecipazione” e andando oltre la metafora delle pagine del Web 1.0 per produrre così user esperienze più significative” [43].

Nonostante l’incertezza del significato del termine scelto per denominare questo sviluppo del web, la nostra attenzione deve focalizzarsi su ciò che si porta dietro questo termine e sui concetti di base:

• Web come piattaforma
• Web centrato sull’utente
• Web centrato sui dati
• Enterprise 2.0
• Architettura partecipativa
• Evoluzione tecnologica.

Figura 1.1: Mappa Concettuale Web 2.0 - concetti base [39]

1.1.1 Web come Piattaforma

Il principio del “Web come piattaforma” è il perno attorno al quale O’Reilly fa girare il concetto di “Web 2.0”, formulato di già nella prima conferenza nell’Ottobre 2004. Non si deve quindi considerare “Web 2.0” come un’applicazione, ma bensì il concetto di “piattaforma” suggerisce una visione più globale e dinamica: non si parla più di un insieme di siti, applicazioni e risorse, ma di un insieme di servizi del web a misura dell’utente, quali strumenti comunicativi e applicazioni web [44].

1.1.2 Architettura Partecipativa

Con l’avvento del “Web 2.0” è cambiato anche il modo di vedere il web: ora gli utenti da semplici fruitori del web divengono utilizzatori attivi, poiché gli è lecito creare e diffondere informazioni. Si è quindi costruita una fiducia radicale che consente a gruppi