Tesi 30 REVSS

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

Scuola politecnica

Corso di Laurea in Ingegneria Informatica e delle Telecomunicazioni

Dipartimento dell’Innovazione Industriale e Digitale (DIID)

U S 'I G D P N ISTEMA PER L NTERAZIONE A ESTI CON ISPLAY UBBLICI

Elaborato breve di laurea di relatore

Dario Pirrello

Ing. Salvatore Sorce, Ph.D.

Matr. 0575146 Correlatore

Ing. Vito Gentile

Anno accademico 2015 - 2016

Indice generale

• Introduzione......................................................................................................................................3
• 1 Storia delle interfacce.....................................................................................................................4
• 2 Stato dell'arte.................................................................................................................................7
• 2.1 Modelli di interazione touchless.............................................................................................7
• 2.1.1 Interfacce a gesti touchless............................................................................................8
• 2.2 Dispositivi Kinect-Like...........................................................................................................10
• 2.2.1 ASUS XtionPro Live.......................................................................................................10
• 2.2.2 Creative Senz 3D...........................................................................................................11
• 2.3 Microsoft Kinect...................................................................................................................12
• 2.3.1 SDK e framework di programmazione..........................................................................13
• 2.3.2 Componenti del SDK.....................................................................................................13
• 2.4 Human Interface Guidelines.................................................................................................14
• 3 Ambiti applicativi..........................................................................................................................15
• 4 Interfacce grafiche per l’interazione gestuale...............................................................................18
• 4.1 UniApp...................................................................................................................................18
• 4.2 Interfaccia avatar-based.......................................................................................................21
• 4.3 Studio di comparazione tra interfacce..................................................................................22
• 5 Sviluppi futuri...............................................................................................................................24
• 6 Conclusioni...................................................................................................................................25
• 7 Bibliografia e Sitografia.................................................................................................................26

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

Introduzione

L’obiettivo di questa tesi è l’implementazione di un’interfaccia touchless per l’accesso a un sistema informativo destinato agli studenti dell'Università degli Studi di Palermo, facendo uso di un dispositivo di riconoscimento commerciale a basso costo (Microsoft Kinect).

Secondo la definizione proposta da de la Barré et al. [1], un’interfaccia si dice touchless se l'interazione può avvenire senza contatto meccanico tra l’utente e qualsiasi parte del sistema artificiale. L'interfaccia realizzata è stata chiamata UniApp, e si propone di consentire agli studenti di accedere alle informazioni attraverso il riconoscimento di gesti.

Questa interfaccia consente l’uso di display di dimensioni elevate, installati in luoghi pubblici in modo da essere leggibili ma non raggiungibili fisicamente. Le telecamere del sensore Kinect acquisiscono le informazioni dall'ambiente circostante e, attraverso un opportuno algoritmo, permettono di distinguere il movimento.

La tesi è suddivisa nei seguenti capitoli:

• Storia delle interfacce: verrà presentata una panoramica delle diverse tecnologie abilitanti che hanno permesso lo sviluppo delle interfacce touchless;
• Stato dell'arte: in esso viene presentata la situazione attuale delle interfacce touchless;
• Implementazione di un sistema a gesti: viene esposta nel dettaglio l'implementazione dell'interfaccia e le tecnologie utilizzate;
• Sviluppi futuri: sono descritti i possibili miglioramenti previsti nello sviluppo di UniApp;
• Conclusioni;
• Bibliografia e sitografia.

3

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

1 Storia delle interfacce

Uno degli ambiti più studiati fin dalla nascita dei primi calcolatori è l'interazione uomo-macchina. La sfida che progettisti ed ingegneri si sono posti sin da subito è quella di trovare nuovi modelli di interazione che risultassero allo stesso tempo naturali ed intuitivi.

I primi computer erano dotati di interfacce molto semplici, le cosiddette CLI (Command Line Interface), cioè interfacce a righe di comando. Per poter interagire con i computer, gli utenti dovevano conoscere a priori i comandi: ciò poneva delle barriere importanti alla diffusione di questa tecnologia, rendendola spesso inaccessibile ad utenti meno esperti.

Allo scopo di semplificare questa operazione, nel 1980 furono introdotte le cosiddette GUI (Graphical User Interface), che prevedevano la manipolazione visuale di oggetti grafici.

Con la diffusione degli smartphone si iniziarono a sperimentare nuove tecnologie, tra cui la tecnologia touchscreen, nata dall'unione di un display e di un sensore di tocco. Detta tecnologia permette all'utente di interagire con l'interfaccia grafica utilizzando semplicemente le dita. L'interazione touch, a seconda degli scopi e delle applicazioni, può essere realizzata con diverse tecnologie:

• Sensore magnetico: sfruttando i campi magnetici si permette l'interazione attraverso il contatto tra lo schermo ed un oggetto, in genere una penna;
• Ad infrarossi: viene creato sullo schermo un sorta di reticolo di infrarossi. Non appena il dito entra in contatto con lo schermo vengono interrotti alcuni fasci orizzontali e verticali, consentendo di localizzare il dito;
• Schermo capacitivo: sfrutta la variazione di capacità dielettrica dei condensatori sul vetro del display. Quest'ultimo viene ricoperto da un sottile strato di ossido metallico sulla parte esterna, mentre ai quattro angoli del pannello viene applicata una tensione che si propaga uniformemente su tutta la superficie dello schermo per via dell'ossido di metallo. Quando il dito, o un materiale conduttore di elettricità, tocca lo schermo, avviene una variazione di capacità superficiale, che viene letta da una matrice di condensatori a film posizionati su un pannello posto sotto la superficie del vetro;

4

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

• Schermo resistivo: utilizza due strati di materiale conduttivo sovrapposti ma separati tra di loro. Nel momento in cui viene esercitata una pressione sufficientemente grande sullo schermo, essi vengono a contatto e viene individuata la posizione dell'oggetto;
• Ottica o a videocamere: utilizzato da alcuni dispositivi, tra cui Microsoft Pixel-Sense, questa tecnologia sfrutta un sistema di videocamere che individuano gli oggetti o le dita che vi entrano a contatto. Attraverso la tecnologia ottica, a differenza degli infrarossi, consente un migliore riconoscimento degli oggetti che interagiscono con la superficie dello schermo.

Il difetto principale di questo tipo di interfacce è che propongono un tipo di interazione non naturale, secondo i concetti di interazione comuni tra esseri umani. In questo senso, negli ultimi anni sono stati fatti numerosi sforzi per ottenere interfacce che consentissero un’interazione quanto più naturale possibile, per evitare agli utenti di dover “imparare” il modo in cui interagire. Sono così state studiate e proposte diverse soluzioni di Natural User Interfaces (NUI).

Le NUI [5] si propongono come interfacce completamente trasparenti al processo di apprendimento, al fine di permettere un'interazione uomo-computer più intuitiva rispetto alle più tradizionali interfacce basate su mouse e tastiera, offrendo agli utenti la possibilità di manipolare i contenuti in maniera diretta.

Nel 2006 Nintendo realizzò WiiMote, parola-macedonia composta da Wii e Remote: si tratta di una console per videogiochi, che prevede un’interazione di tipo NUI, in cui l'utente, impugnando un controller senza fili, interagisce con il proprio avatar. Per utilizzare WiiMote è necessario, oltre alla console, uno schermo. Il controller è un oggetto simile ad un telecomando ed è dotato al suo interno di un accelerometro a 3 assi, sensibile all'orientamento che è in grado di reagire alle forze vettrici. Sebbene questa tecnologia esclude il contatto diretto tra l'utente e l'interfaccia, non rappresenta però un caso di interazione touchless, secondo la definizione di de la Barrè.

In seguito, Microsoft riuscì a completare il distacco da qualsiasi dispositivo fisico, sviluppando il sensore Microsoft Kinect e contribuendo significativamente alla diffusione delle interfacce touchless che fino a quel momento erano state confinate a progetti di ricerca o di nicchia. Kinect è stato annunciato il 1 Giugno 2009 durante la conferenza della Microsoft E3 2009 (Electronic Entertainment Expo) con il nome di Progetto Natal. Solo successivamente fu cambiato in Kinect.

Kinect fa del suo hardware e del prezzo contenuto il suo punto di forza. L'hardware è stato realizzato da PrimeSense, una compagnia israeliana, mentre il software è stato interamente sviluppato da Microsoft Game Studios, ed in particolare dai programmatori del gruppo Rare. Microsoft Kinect è nato per Xbox 360 a scopo video-ludico, ed il primo gioco ad fare uso di questa tecnologia fu Divine Soul da parte della società coreana GamePrix.

A partire dal 1 gennaio 2012 è stata resa disponibile la versione per Windows 7 o superiore, permettendo agli sviluppatori di estendere le interfacce touchless anche ai PC.

6

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

L'intera