Tesi 30 REVSS

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

SCUOLA POLITECNICA

Corso di Laurea in Ingegneria Informatica e delle Telecomunicazioni

Dipartimento dell’Innovazione Industriale e Digitale (DIID)

U S 'I G D P

N ISTEMA PER L NTERAZIONE A ESTI CON ISPLAY UBBLICI

ELABORATO BREVE DI LAUREA DI RELATORE

DARIO PIRRELLO ING. SALVATORE SORCE, Ph.D.

Matr. 0575146 CORRELATORE

ING. VITO GENTILE

ANNO ACCADEMICO 2015 - 2016

1

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

Indice generale

Introduzione......................................................................................................................................3

1 Storia delle interfacce.....................................................................................................................4

2 Stato dell'arte.................................................................................................................................7

2.1 Modelli di interazione touchless.............................................................................................7

2.1.1 Interfacce a gesti touchless............................................................................................8

2.2 Dispositivi Kinect-Like...........................................................................................................10

2.2.1 ASUS XtionPro Live.......................................................................................................10

2.2.2 Creative Senz 3D...........................................................................................................11

2.3 Microsoft Kinect...................................................................................................................12

2.3.1 SDK e framework di programmazione..........................................................................13

2.3.2 Componenti del SDK.....................................................................................................13

2.4 Human Interface Guidelines.................................................................................................14

3 Ambiti applicativi..........................................................................................................................15

4 Interfacce grafiche per l’interazione gestuale...............................................................................18

4.1UniApp...................................................................................................................................18

4.2 Interfaccia avatar-based.......................................................................................................21

4.3 Studio di comparazione tra interfacce..................................................................................22

5 Sviluppi futuri...............................................................................................................................24

6 Conclusioni...................................................................................................................................25

7 Bibliografia e Sitografia.................................................................................................................26

2

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

Introduzione

L’obiettivo di questa tesi è l’implementazione di un’interfaccia touchless per l’accesso a un

sistema informativo destinato agli studenti dell'Università degli Studi di Palermo, facendo

uso di un dispositivo di riconoscimento commerciale a basso costo (Microsoft Kinect).

Secondo la definizione proposta da de la Barré et al. [1], un’interfaccia si dice touchless se

l'interazione può avvenire senza contatto meccanico tra l’utente e qualsiasi parte del sistema

artificiale. L'interfaccia realizzata è stata chiamata UniApp, e si propone di consentire agli

studenti di accedere alle informazioni attraverso il riconoscimento di gesti. Questa

interfaccia consente l’uso di display di dimensioni elevate, installati in luoghi pubblici in

modo da essere leggibili ma non raggiungibili fisicamente. Le telecamere del sensore

Kinect acquisiscono le informazioni dall'ambiente circostante e, attraverso un opportuno

algoritmo permettono, di distinguere il movimento.

La tesi è suddivisa nei seguenti capitoli:

1. Storia delle interfacce: verrà presentata una panoramica delle diverse tecnologie

abilitanti che hanno permesso lo sviluppo delle interfacce touchless;

2. Stato dell'arte: in esso viene presentata la situazione attuale delle interfacce

touchless;

3. Implementazione di un sistema a gesti: viene esposta nel dettaglio

l'implementazione dell'interfaccia e le tecnologie utilizzate;

4. Sviluppi futuri: sono descritti i possibili miglioramenti previsti nello sviluppo di

UniApp;

5. Conclusioni;

6. Bibliografia e sitografia. 3

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

1 Storia delle interfacce

Uno degli ambiti più studiati fin dalla nascita dei primi calcolatori è l'interazione uomo-

macchina. La sfida che progettisti ed ingegneri si sono posti sin da subito è quella di

trovare nuovi modelli di interazione che risultassero allo stesso tempo naturali ed intuitivi.

I primi computer erano dotati di interfacce molto semplici, le cosiddette CLI (Command

Line Interface), cioè interfacce a righe di comando. Per poter interagire con i computer, gli

utenti dovevano conoscere a priori i comandi: ciò poneva delle barriere importanti alla

diffusione di questa tecnologia, rendendola spesso inaccessibile ad utenti meno esperti.

Allo scopo di semplificare questa operazione, nel 1980 furono introdotte le cosiddette GUI

(Graphical User Interface), che prevedevano la manipolazione visuale di oggetti grafici.

Con la diffusione degli smartphone si iniziarono a sperimentare nuove tecnologie, tra cui la

tecnologia touchscreen, nata dall'unione di un display e di un sensore di tocco. Detta

tecnologia permette all'utente di interagire con l'interfaccia grafica utilizzando

semplicemente le dita. L'interazione touch, a seconda degli scopi e delle applicazioni, può

essere realizzata con diverse tecnologie:

sensore magnetico: sfruttando i campi magnetici si permette l'interazione attraverso

• il contatto tra lo schermo ed un oggetto (in genere una penna);

ad infrarossi: viene creato sullo schermo un sorta di reticolo di infrarossi. Non

• appena il dito entra in contatto con lo schermo vengono interrotti alcuni fasci

orizzontali e verticali, consentendo di localizzare il dito;

schermo capacitivo: sfrutta la variazione di capacità dielettrica dei condensatori sul

• vetro del display. Quest'ultimo viene ricoperto da un sottile strato di ossido

metallico sulla parte esterna, mentre ai quattro angoli del pannello viene applicata

una tensione che si propaga uniformemente su tutta la superficie dello schermo per

via dell'ossido di metallo. Quando il dito, o un materiale conduttore di elettricità,

tocca lo schermo, avviene una variazione di capacità superficiale, che viene letta da

una matrice di condensatori a film posizionati su un pannello posto sotto la

superficie del vetro; 4

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

schermo resistivo: utilizza due strati di materiale conduttivo sovrapposti ma

• separati tra di loro. Nel momento in cui viene esercitata una pressione

sufficientemente grande sullo schermo, essi vengono a contatto e viene individuata

la posizione dell'oggetto;

ottica o a videocamere: utilizzato da alcuni dispositivi (tra cui Microsoft Pixel-

• Sense), questa tecnologia sfrutta un sistema di videocamere che individuano gli

oggetti o le dita che vi entrano a contatto. Attraverso la tecnologia ottica a

differenza degli infrarossi, consente un migliore riconoscimento degli oggetti che

interagiscono con la superficie dello schermo.

Il difetto principale di questo tipo di interfacce è che propongono un tipo di interazione non

naturale, secondo i concetti di interazione comuni tra esseri umani. In questo senso, negli

ultimi anni sono stati fatti numerosi sforzi per ottenere interfacce che consentissero

un’interazione quanto più naturale possibile, per evitare agli utenti di dover “imparare” il

modo in cui interagire. Sono così state studiate e proposte diverse soluzioni di Natural User

Interfaces (NUI).

Le NUI [5] si propongono come interfacce completamente trasparenti al processo di

apprendimento, al fine di permettere un'interazione uomo-computer più intuitiva rispetto

alle più tradizionali interfacce basate su mouse e tastiera, offrendo agli utenti la possibilità

di manipolare i contenuti in maniera diretta.

Nel 2006 Nintendo realizzò WiiMote, parola-macedonia composta da Wii e Remote: si

tratta di una console per videogiochi, che prevede un’interazione di tipo NUI, in cui

l'utente impugnando un controller senza fili, interagisce con il proprio avatar. Per utilizzare

WiiMote è necessario, oltre alla console, uno schermo. Il controller è un oggetto simile ad

un telecomando ed è dotato al suo interno di un accelerometro a 3 assi, sensibile

all'orientamento che è in grado di reagire alle forze vettrici. Sebbene questa tecnologia

esclude il contatto diretto tra l'utente e l'interfaccia, non rappresenta però un caso di

interazione touchless (secondo la definizione di de la Barrè).

In seguito, Microsoft riuscì a completare il distacco da qualsiasi dispositivo fisico,

sviluppando il sensore Microsoft Kinect e contribuendo significativamente alla diffusione

5

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

delle interfacce touchless che fino a quel momento erano state confinate a progetti di

ricerca o di nicchia. Kinect è stato annunciato il 1 Giugno 2009 durante la conferenza della

Microsoft E3 2009 (Electronic Entertainment Expo) con il nome di Progetto Natal. Solo

successivamente fu cambiato in Kinect.

Kinect fa del suo hardware e del prezzo contenuto il suo punto di forza. L'hardware è stato

realizzato da PrimeSense, una compagnia israeliana, mentre il software è stato interamente

sviluppato da Microsoft Game Studios, ed in particolare dai programmatori del gruppo

Rare. Microsoft Kinect è nato per Xbox 360 a scopo video-ludico, ed il primo gioco ad fare

uso di questa tecnologia fu Divine Soul da parte della società coreana GamePrix.

A partire dal 1 gennaio 2012 è stata resa disponibile la versione per Windows 7 o

superiore, permettendo agli sviluppatori di estendere le interfacce touchless anche ai PC.

6

Dario Pirrello - Un sistema per l'intera