Scanpath oculari come impronte biometriche: metodologie e limiti dell'Eye Tracking su Hololens 2

IMU

spaziale. Essa permette di acquisire informazioni sul movimento e sulla postura della testa, che

vengono quindi fuse con i dati derivanti dal tracciamento oculare. Tale integrazione consente di

distinguere tra i movimenti volontari della testa e le regolazioni automatiche dovute al sistema

visivo, rendendo possibile l’analisi del comportamento biometrico in situazioni di utilizzo

dinamico. In questo modo, combinando gli input dell’IMU e dei sensori IR, il sistema è in grado

di fornire un vettore di eye gaze aggiornato in tempo reale – una caratteristica fondamentale

per sviluppare interazioni hands-free che reagiscono in base allo sguardo dell’utente.

Il modulo di elaborazione centrale, composto da una CPU e dall’Holographic Processing

(HPU), gestisce il flusso di dati provenienti dai vari sensori. L’HPU è responsabile del-

Unit

l’elaborazione in tempo reale delle immagini catturate dalle telecamere IR e dei dati di pro-

fondità, permettendo di eseguire operazioni complesse di sensor fusion e analisi del movimento

oculare. Questo modulo garantisce aggiornamenti frequenti, con frequenze tipiche intorno a

30 Hz e, in scenari ottimizzati, frame rate ancora più elevati, assicurando un’esperienza d’uso

fluida e reattiva, elemento essenziale per implementazioni di applicazioni biometriche e per il

monitoraggio della salute visiva.

Sul fronte delle comunicazioni e dell’alimentazione, HoloLens 2 è dotato di una porta USB-C

che consente sia la ricarica che la connessione a dispositivi esterni. Inoltre, presenta un sistema

19

di gestione dell’energia che ottimizza il consumo dei vari componenti. I microfoni integrati

e gli altoparlanti, posizionati in modo strategico sul visore, permettono di eseguire comandi

vocali e offrono feedback audio contestuale, arricchendo così l’esperienza interattiva in modo

multimodale.

Nell’ambito software, Microsoft offre un ampio ecosistema di strumenti e API che permettono

agli sviluppatori di accedere direttamente ai dati di eye tracking. Le API, che possono essere

integrate con il Mixed Reality Toolkit (MRTK), consentono di ottenere informazioni specifiche

per ciascun occhio, gestire eventi in tempo reale e creare interfacce dinamiche che rispondono

automaticamente al punto in cui l’utente concentra lo sguardo. Grazie a questa integrazione,

è possibile realizzare interazioni hands-free, in cui gli elementi dell’interfaccia possono essere

messi in evidenza, ingranditi o attivati in base alla durata della fissazione e alla direzione

dello sguardo. Inoltre, la possibilità di monitorare in dettaglio le dinamiche oculari apre la

strada a molteplici applicazioni biometrico-cognitive e terapeutiche, fornendo dati preziosi per

il monitoraggio della fatica, dello stress e della salute visiva[42].

In conclusione, HoloLens 2 si presenta come una strumento all’avanguardia per la realtà mista,

grazie al suo design e a un sistema di sensori che combina telecamere RGB, sensori ToF, IMU

e, soprattutto, telecamere IR per il tracciamento oculare. La sua capacità di eseguire una

calibrazione personalizzata e di fondere dati provenienti da diverse fonti tramite algoritmi

avanzati consente di ottenere un tracciamento oculare di alta qualità, confermando quanto

evidenziato dallo studio sul segnale di eye tracking. L’accuratezza, la stabilità e la ricchezza

delle informazioni biometriche raccolte non solo migliorano l’esperienza interattiva in ambienti

hands-free ma offrono nuove prospettive per applicazioni cliniche e di ricerca. Questi elementi,

supportati da un ecosistema di sviluppo robusto e da una documentazione tecnica dettagliata,

rendono HoloLens 2 un dispositivo rappresentativo nel campo della realtà mista, capace di

rispondere a esigenze tecniche e applicative di livello accademico e industriale. 20

Capitolo 3

Metodologia e tecniche utilizzate

3.1 Infrastruttura hardware e software

In questo capitolo verranno illustrate le metodologie e le tecniche che ci hanno permesso di

muovere i primi passi nel tentativo di dimostrare il possibile utilizzo del visore di realtà mista

Hololens 2 per identificare un utente tramite pattern oculari. Per prima cosa è stato necessario

verificare la possibilità di accedere ai sensori dell’head-mounted display, per estrapolare le

informazioni relative al tracciamento oculare. Appurato questo, la seconda fase si è incentrata

su come ricavare i dati acquisiti dai sensori di Hololens 2, ed è qui che ci è venuto in aiuto

"The StreamRecorder app", un software capace di registrare simultaneamente gli stream del

dispositivo, oltre al tracciamento di testa, mani ed occhi. Inoltre fornisce la possibilità di

salvare i flussi registrati su disco e di effettuare postprocessing tramite degli script Python.

Infine, dopo aver effettuato una fase di raffinamento dati, questi sono stati passati all’"Eye

Movement Classification software", un applicativo che elaborando le informazioni tramite

algoritmi di machine learning, ci ha permesso di ottenere i primi scanpath dei movimenti

oculari di alcuni utenti, dandoci una prima conferma della possibilità di identificare un utente

attraverso i movimenti oculari.

3.1.1 Configurazione di Hololens 2

Per sfruttare al massimo le potenzialità di ricerca offerte da Hololens 2 tramite la Research

Mode API, è fondamentale seguire una procedura di configurazione ben precisa. Abbiamo

iniziato con la configurazione di base del dispositivo, che include la scelta della lingua e

della regione geografica, seguita dalla calibrazione del visore in base alle caratteristiche visive

dell’utente. Un passaggio importante è connettere il visore a una rete, che può avvenire

tramite Wi-Fi o, in alternativa, utilizzando un adattatore USB-C a Ethernet.

In seguito, l’utente dovrà effettuare l’accesso con un account Microsoft o, se il dispositivo è

fornito da un’organizzazione, con un account aziendale. Una volta completata la configurazio-

ne iniziale, per accedere alla Research Mode è necessario abilitare la Modalità Sviluppatore.

Questa opzione si trova nel menu Start, selezionando "Impostazioni", poi "Aggiornamento e

sicurezza" e infine "Per sviluppatori", dove bisognerà attivare sia la "Modalità Sviluppatore"

che il "Portale del Dispositivo". L’abilitazione vera e propria della Research Mode avviene

21

tramite il Portale del Dispositivo, accessibile inserendo l’indirizzo IP di Hololens 2 (che si trova

nelle impostazioni di rete) in un browser web connesso alla stessa rete. All’interno del Por-

tale, nella sezione "Sistema" e poi "Research Mode", bisogna selezionare l’opzione "Consenti

l’accesso ai flussi dei sensori".

Figura 3.1: Abilitazione accesso agli stream di Hololens 2 tramite il Portale del Dispositivo

Dopo aver abilitato questa opzione, è fondamentale riavviare il dispositivo utilizzando l’ap-

posita funzione nel menu di alimentazione del Portale. È importante tenere presente che la

Research Mode è disponibile a partire dalla build 19041.1364 del sistema operativo, quindi

è essenziale assicurarsi che il dispositivo sia aggiornato. Una volta riavviato, le applicazioni

caricate tramite il Portale del Dispositivo potranno accedere ai flussi di dati grezzi dei sensori,

tipicamente attraverso API come Microsoft Media Foundation. È importante tenere a mente

che l’uso della modalità di ricerca può portare a un consumo energetico più elevato e potreb-

be avere un impatto sulla sicurezza del dispositivo. Inoltre, quando si tratta di integrare con

ambienti di sviluppo come Unity o Unreal Engine, potrebbero essere richiesti ulteriori pas-

saggi di configurazione, come l’installazione di plugin specifici e l’attivazione di determinate

funzionalità del progetto.

3.1.2 The StreamRecorder app

La Research Mode di Hololens 2 offre una piattaforma completa per la ricerca avanzata nel

campo della computer vision e della robotica, permettendo di accedere ai flussi di dati grezzi

provenienti dai sensori del dispositivo. La repository HoloLens2ForCV, presentata all’Euro-

pean Conference on Computer Vision del 2020 e disponibile su GitHub, si presenta come

una risorsa completa, fornendo sia documentazione che codice di esempio per facilitare la

comprensione e l’utilizzo di queste risorse. Tra le varie applicazioni di esempio disponibili in

questa repository, l’app StreamRecorder si distingue come un utile strumento per i ricercatori,

consentendo di acquisire e archiviare in modo persistente e simultaneo, una vasta gamma di

22

flussi di dati provenienti dai sensori dell’head-mounted-display. Questa funzionalità è essen-

ziale per sfruttare HoloLens 2 come un strumento per analisi approfondite e sperimentazioni

in ambienti di realtà mista. La possibilità di registrare in modo affidabile flussi di dati dai

diversi tipi di sensori in maniera simultanea, è un notevole vantaggio per lo sviluppo e la

validazione di algoritmi.

Hololens 2 mette a disposizione diverse tipologie di sensori e telecamere, una volta abilitata

la modalità ricerca. Tra questi abbiamo:

• Telecamere a luce visibile (VLC), che sono telecamere in scala di grigi utilizzate dal

sistema per il tracciamento della testa e la mappatura spaziale:

• Telecamera di profondità a lungo raggio, che lavora ad una frequenza di 5 fps per acquisi-

re informazioni sulla profondità a distanze superiori al metro, essenziali per comprendere

la geometria dell’ambiente circostante.

• Telecamera di profondità AHAT (Active Holographic Alignment Technology), che offre

un rilevamento di profondità ravvicinata a 45 fps, utilizzato principalmente per il trac-

ciamento dettagliato delle mani e per fornire informazioni sulla profondità degli oggetti

più vicini.

• Telecamera RGB, che permette di acquisire immagini e video a colori dell’ambiente

circostante.

• Accelerometro, magnetometro e giroscopio, che permettono di tracciare i movimenti

della testa dell’utente a sei gradi di libertà (6DoF).

• Sensori a infrarossi, utilizzati per registrare i dati di tracciamento dei movimenti oculari,

fornendo l’origine, la direzione e la distanza dello sguardo dell’utente; informazioni pre-

ziose per comprendere l’identità,l’attenzione e l’intenzione dell’utente all’interno della

scena di realtà mista.

In particolare, i dati raccolti comprendono un timestamp per ogni fotogramma, la posizione

a 6DoF della testa, dettagli sulle articolazioni delle mani (quando tracciate) e informazioni

complete sullo sguardo, inclusa la sua origine, il vettore di direzione e la distanza dal punto<