Tesi 30 REVSS

Le NUI [5] si propongono come interfacce completamente trasparenti al processo di

apprendimento, al fine di permettere un'interazione uomo-computer più intuitiva rispetto

alle più tradizionali interfacce basate su mouse e tastiera, offrendo agli utenti la possibilità

di manipolare i contenuti in maniera diretta.

Nel 2006 Nintendo realizzò WiiMote, parola-macedonia composta da Wii e Remote: si

tratta di una console per videogiochi, che prevede un’interazione di tipo NUI, in cui

l'utente impugnando un controller senza fili, interagisce con il proprio avatar. Per utilizzare

WiiMote è necessario, oltre alla console, uno schermo. Il controller è un oggetto simile ad

un telecomando ed è dotato al suo interno di un accelerometro a 3 assi, sensibile

all'orientamento che è in grado di reagire alle forze vettrici. Sebbene questa tecnologia

esclude il contatto diretto tra l'utente e l'interfaccia, non rappresenta però un caso di

interazione touchless (secondo la definizione di de la Barrè).

In seguito, Microsoft riuscì a completare il distacco da qualsiasi dispositivo fisico,

sviluppando il sensore Microsoft Kinect e contribuendo significativamente alla diffusione

5

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

delle interfacce touchless che fino a quel momento erano state confinate a progetti di

ricerca o di nicchia. Kinect è stato annunciato il 1 Giugno 2009 durante la conferenza della

Microsoft E3 2009 (Electronic Entertainment Expo) con il nome di Progetto Natal. Solo

successivamente fu cambiato in Kinect.

Kinect fa del suo hardware e del prezzo contenuto il suo punto di forza. L'hardware è stato

realizzato da PrimeSense, una compagnia israeliana, mentre il software è stato interamente

sviluppato da Microsoft Game Studios, ed in particolare dai programmatori del gruppo

Rare. Microsoft Kinect è nato per Xbox 360 a scopo video-ludico, ed il primo gioco ad fare

uso di questa tecnologia fu Divine Soul da parte della società coreana GamePrix.

A partire dal 1 gennaio 2012 è stata resa disponibile la versione per Windows 7 o

superiore, permettendo agli sviluppatori di estendere le interfacce touchless anche ai PC.

6

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

2 Stato dell'arte

2.1 Modelli di interazione touchless

L'interazione con i sistemi touchless può avvenire tramite diverse tecnologie:

 eye tracking: interazione basata sul tracciamento oculare, che in base ad un sensore

misura il punto di fissazione oculare o del moto dell'occhio rispetto alla testa. Tale

tecnologia viene utilizzata per lo studio dell'apparato visivo, nella linguistica

cognitiva e nella progettazione di prodotti commerciali. Esistono diversi tipi di

tecnologie che consentono di tracciare lo sguardo:

video tracker: una telecamera rileva il posizionamento degli occhi e individua la

◦ posizione dello sguardo dell'utente;

infrared tracker: il dispositivo individua il centro della pupilla tramite raggi

◦ infrarossi. Una procedura di calibrazione riconosce il corretto posizionamento

tra la cornea e la superficie osservata dopo aver individuato il vettore di

riferimento;

eye-attached tracker: una lente a contatto con all’interno uno specchio o un

◦ sensore elettromagnetico, misura i movimenti dell'occhio, orizzontali, verticali

ed anche le rotazioni, permettendo un’accurata analisi oculare;

electric potential tracker: vengono posizionati attorno all'occhio dei sensori che

◦ rilevano il campo elettrico tra cornea e retina. Viene utilizzato prevalentemente

per rilevare i singoli movimenti dell'occhio, riuscendo a tracciare i movimenti

dell'occhio anche quando la palpebra è chiusa, ma non può essere utilizzato per

individuare il campo visivo dell'osservatore.

 stereo camera: utilizza due o più telecamere poste alla medesima distanza,

permettendo di simulare la vista binoculare umana, e quindi di catturare

un’immagine tridimensionale. La distanza tra le due lenti in genere è la stessa degli

occhi di un essere umano: 6,35 centimetri;

7

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

 radar: la tecnologia radar utilizza onde elettromagnetiche appartenenti allo spettro

delle onde radio o delle microonde, per la determinazione della posizione di alcuni

oggetti target, sia fissi che mobili. Un esempio che usa questa tecnologia è il

progetto Soli;

 single camera: permette di trasformare l'immagine in input di una telecamera in

un‘immagine 2D attraverso uno specifico algoritmo.

L'interazione con i sistemi touchless può avvenire anche per mezzo dei gesti, che possono

essere classificati in due tipi:

 il gesto statico, è definito dalla posizione della mano (o altre parti del corpo) nello

spazio;

 il gesto dinamico, è definito dal movimento compiuto da una parte del corpo.

2.1.1 Interfacce a gesti touchless

Le interfacce touchless stanno acquisendo un ruolo sempre più di rilievo. Elenchiamo

alcuni progetti che si basano su questa tecnologia:

Project Soli [7] è un progetto realizzato da Google, e precisamente dal team Atap

• (Advanced Technology and Projects), che permette l'interazione con un dispositivo

attraverso emissioni di onde radio e non più con utilizzo di telecamere. L'algoritmo

di Google valuta non solo la forma, ma anche altri parametri del segnale di ritorno,

8

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

al fine di stabilire il tipo di gesto. Il radar è integrato in piccoli accessori. Il

vantaggio di tale dispositivo sta nella precisione, ma anche nel fatto che può

funzionare attraverso i materiali, visto che sono usate onde radio. Si possono quindi

realizzare dispositivi indossabili come braccali, anelli, collane e così via.

Futurix è il frutto di una ricerca del laboratorio Ishikawa Komoro, dell'Università di

• Tokyo, permette il controllo di un dispositivo grazie ad un'interfaccia touchless che

riesce, per mezzo di una microcamera che cattura 154 frame al secondo, ad

individuare i movimenti del dito in 3D. Si differenzia dagli altri per l'utilizzo di un

solo tipo di telecamera e non due come avviene per altri progetti, offrendo una

visione stereoscopica. Questa interfaccia è in grado di seguire contemporaneamente

tutte le dita di una mano.

Flutter è una start-up nata a San Francisco, inventore dell'omonima applicazione

• Flutter App. Quello che caratterizza questa applicazione è il fatto di funzionare

come un sensore anche non avendo un hardware dedicato o periferiche aggiuntive,

basta poter disporre di una webcam. L’applicazione consente di riconoscere alcuni

gesti per interagire con alcuni software specifici, come Spotify, Windows Media

Player, VLC, iTunes e QuickTime. 9

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

L'interazione con i sistemi touchless può avvenire per mezzo dei gesti, che possono essere

classificati in due tipi:

il gesto statico, è definito dalla posizione della mano (o altre parti del corpo) nello

• spazio.

il gesto dinamico, è definito dal movimento compiuto da una parte del corpo

• (sequenza di gesti statici).

2.2 Dispositivi Kinect-Like

Negli ultimi anni sono stati prodotti diversi dispositivi Kinect-like [4], ossia dispositivi

basati su sensori a basso costo, che consentono di ottenere immagini di profondità e a

colori dello spazio circostante.

2.2.1 ASUS XtionPro Live

È un sensore della ASUS, dotato di un esclusivo sistema di sensori dedicato allo sviluppo

di applicazioni basate sul rilevamento di comandi gestuali e vocali in ambito PC. Si

propone come alternativa a Microsoft Kinect.

Il sensore Asus Xtion PRO LIVE è costituito da :

10

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

una telecamera RGB per il rilevamento di immagini a colori. Ha un campo visivo

• utile che oscilla tra 0,8 ed i 3,5 metri con una copertura d'angolo pari a 70°

diagonale, 45° verticale, 58° in orizzontale;

2 microfoni in grado di rilevare l'audio nell'ambiente e permettere all'utente

• l'utilizzo dei comandi vocali. Utili anche nelle video conferenze.

Il software che viene fornito insieme al kit rende disponibile all'utente interessanti funzioni

allo sviluppatore in ambiente OPEN NI SDK.

Con XtionPro Live è possibile:

rilevare il gesto senza latenze o ritardi significativi, trasformando la mano in un

• vero e proprio controller. Sono nativamente rilevabili 8 gesti per interagire con

l'interfaccia utente, ad esempio per fare click, spingere, cerchiare, eccetera. Questo

permette di risparmiare tempo nello sviluppo del software;

rilevare di tutto il corpo: consente allo sviluppatore di tracciare l'intero corpo degli

• utenti, ed è utile nello sviluppo di giochi, ma anche per il consentire il

riconoscimento multiplo dei giocatori.

rilevare audio: consente di rilevare l'audio dell'ambiente.

•

2.2.2 Creative Senz 3D 11

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

Creative Senz3D è una webcam con riconoscimento della profondità per PC, dotata di un

doppio microfono. Il riconoscimento della profondità permette anche di rimuovere e

sostituire gli sfondi nelle riprese della webcam. Senz3D vanta una tecnologia di

riconoscimento dei gesti e della profondità che apre le porte a nuove possibilità di gioco e

di interazione con il computer basate sui gesti. Cattura il contorno dei volti, creando nuove

opportunità per lo sviluppo di giochi e applicazioni. Insieme a Senz3D vengono forniti

molti giochi che si avvalgono della tecnologia avanzata di riconoscimento dei gesti.

2.3 Microsoft Kinect

Microsoft Kinect è un dispositivo hardware pensato in un primo momento per la console

XBOX 360, e di cui successivamente è stata sviluppata un versione per PC. Microsoft

Kinect utilizza la tecnologia degli infrarossi per rilevare i movimenti dell'utente e

discriminare il gesto.

L'hardware è composto da una telecamera RGB, doppio sensore di profondità a raggi

infrarossi composto da uno scanner laser a infrarossi e da una telecamera sensibile alla

stessa banda. La telecamera RGB ha una risoluzione di 640 x 480 pixel a differenza della

telecamera ad infrarossi che genera una matrice di 320 x 240 pixel. Il sensore Kinect

12

Dario Pirrello - Un sistema per l'interazione a gesti con display pubblici

dispone anche di un array di microfoni per rilevare la direzione da cui provengono i suoni.

Kinect dispone di un motore che permette il posizioname