Scanpath oculari come impronte biometriche: metodologie e limiti dell'Eye Tracking su Hololens 2

Università degli Studi di Salerno

Dipartimento di Informatica

Corso di Laurea Triennale in Informatica

Scanpath oculari come impronte biometriche: metodologie e limiti dell’eye tracking su HoloLens 2.

Relatore Candidato

Prof. Fabio Narducci Graziano Giuseffi

Matricola: 0512104852

Anno Accademico 2024/2025

Indice

• Abstract VI
• 1 Introduzione 1
• 1.1 Obiettivo del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
• 1.2 Introduzione alla realtà mista e all’eye tracking . . . . . . . . . . . . . . . . . 1
• 1.2.1 Realtà mista . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
• 1.2.2 Eye tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
• 1.3 Vantaggi, applicazioni e limiti dell’eye tracking . . . . . . . . . . . . . . . . 3
• 2 Inquadramento del problema e stato dell’arte 5
• 2.1 Principi teorici dell’eye tracking . . . . . . . . . . . . . . . . . . . . . . . . 5
• 2.1.1 Tecnologie di eye tracking . . . . . . . . . . . . . . . . . . . . . . . . . 6
• 2.1.2 Analisi dei movimenti oculari . . . . . . . . . . . . . . . . . . . . . . . 10
• 2.2 Applicazioni dell’eye tracking . . . . . . . . . . . . . . . . . . . . . . . . . . 13
• 2.2.1 Interazione uomo macchina . . . . . . . . . . . . . . . . . . . . . . . . 13
• 2.2.2 Analisi comportamentale e psicologica . . . . . . . . . . . . . . . . . . 14
• 2.2.3 Biometria e riconoscimento dell’identità . . . . . . . . . . . . . . . . . 14
• 2.3 Realtà aumentata e utilizzo dei sensori nei dispositivi indossabili . . . . . . 16
• 2.3.1 HoloLens 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
• 3 Metodologia e tecniche utilizzate 21
• 3.1 Infrastruttura hardware e software . . . . . . . . . . . . . . . . . . . . . . . 21
• 3.1.1 Configurazione di HoloLens 2 . . . . . . . . . . . . . . . . . . . . . . . 21
• 3.1.2 The StreamRecorder app . . . . . . . . . . . . . . . . . . . . . . . . . 22
• 3.1.3 Eye Movement Classification Software . . . . . . . . . . . . . . . . . . 27
• 3.2 Pre-elaborazione dati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
• 3.2.1 Analisi del file CSV generato da StreamRecorderConverter . . . . . . . 30
• 3.2.2 Progettazione e sviluppo degli script di raffinamento . . . . . . . . . . 31
• 3.3 Algoritmi di classificazione e validazione . . . . . . . . . . . . . . . . . . . . 32
• 3.4 Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
• 4 Risultati e discussione 37
• 4.1 Descrizione del Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
• 4.2 Risultati della classificazione biometrica . . . . . . . . . . . . . . . . . . . . 38
• 4.3 Analisi del codice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
• I
• 4.3.1 Script Python per la pre-elaborazione e l’estrazione delle feature . . . 43
• 4.3.2 Risultati del plotting e della Cross Validation . . . . . . . . . . . . . . 45
• 4.4 Discussione e interpretazione dei risultati . . . . . . . . . . . . . . . . . . . . 50
• Conclusioni 52
• A Snippet di Codice 58
• II

Elenco delle figure

• 1.1 La visione di Milgram e Kishino sul continuum realtà-virtualità [3] . . . . . . . 2
• 1.2 Interazioni tra computer, persone e ambienti [6] . . . . . . . . . . . . . . . . . 3
• 2.1 Anatomia dell’occhio umano . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
• 2.2 Principali movimenti oculari . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
• 2.3 Il visore HoloLens 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
• 2.4 Il sistema di eye tracking del visore HoloLens 2 [43] . . . . . . . . . . . . . . . 18
• 3.1 Abilitazione accesso agli stream di HoloLens 2 tramite il Portale del Dispositivo 22
• 3.2 Interfaccia iniziale dell’app StreamRecorder . . . . . . . . . . . . . . . . . . . 25
• 3.3 File generati grazie all’acquisizione tramite l’app StreamRecorder . . . . . . . . 25
• 3.4 La recorder console per il postprocessing dei dati . . . . . . . . . . . . . . . . 26
• 3.5 Interfaccia grafica dell’Eye Movement Classification Software . . . . . . . . . . 28
• 4.1 Utente 1, primo plotting I-DT della coordinata X . . . . . . . . . . . . . . . . 39
• 4.2 Utente 1, secondo plotting I-DT della coordinata X . . . . . . . . . . . . . . . 39
• 4.3 Utente 3, primo plotting I-DT della coordinata X . . . . . . . . . . . . . . . . 40
• 4.4 Utente 3, secondo plotting I-DT della coordinata X . . . . . . . . . . . . . . . 40
• 4.5 Utente 5, primo plotting I-KF della coordinata X . . . . . . . . . . . . . . . . 41
• 4.6 Utente 7, primo plotting I-KF della coordinata X . . . . . . . . . . . . . . . . 41
• 4.7 Utente 5, secondo plotting I-KF della coordinata X . . . . . . . . . . . . . . . 42
• 4.8 Utente 7, secondo plotting I-KF della coordinata X . . . . . . . . . . . . . . . 42
• 4.9 Utente 1, plotting della distribuzione delle features tra le diverse acquisizioni . . 46
• 4.10 Utente 3, plotting della distribuzione delle features tra le diverse acquisizioni . . . 46
• 4.11 Utente 6, plotting della distribuzione delle features tra le diverse acquisizioni . . 47
• 4.12 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata X espressa in gradi per l’occhio destro. . . . . . . . . . . . . . . . . . . . . . . . . 47
• 4.13 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata X espressa in gradi per l’occhio sinistro. . . . . . . . . . . . . . . . . . . . . . . . . 48
• 4.14 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata Y espressa in gradi per l’occhio destro. . . . . . . . . . . . . . . . . . . . . . . . . 48
• 4.15 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata Y espressa in gradi per l’occhio sinistro. . . . . . . . . . . . . . . . . . . . . . . . . 49
• III

Elenco delle tabelle

• 2.1 Principali tipologie di eye tracking . . . . . . . . . . . . . . . . . . . . . . . . 10
• 3.1 Tabella riassuntiva degli algoritmi di classificazione [46] . . . . . . . . . . . . . . 35
• V

Abstract

Il presente lavoro di tesi si colloca nel campo delle tecnologie immersive e dei sistemi di riconoscimento biometrico comportamentale. L’obiettivo è quello di esplorare se i movimenti oculari, acquisiti attraverso il visore di realtà mista Microsoft HoloLens 2, possano fungere da “firma” unica per ogni utente. La ricerca si concentra sull’importanza sempre più rilevante della realtà mista e delle tecnologie di riconoscimento biometrico, che stanno cambiando radicalmente il nostro modo di interagire con gli ambienti sia fisici che virtuali. In particolare, il tracciamento oculare apre a nuove opportunità per l’interazione tra uomo e macchina, oltre a trovare applicazioni interessanti nell’autenticazione biometrica.

Per raggiungere questo scopo, è stato creato un protocollo sperimentale suddiviso in fasi sequenziali. Inizialmente, le acquisizioni di eye-tracking vengono registrate tramite l’applicazione StreamRecorder su HoloLens 2. Successivamente, i file grezzi esportati vengono elaborati attraverso script Python personalizzati, che estraggono Timestamp, coordinate spaziali, velocità angolari e posizioni angolari, normalizzando i dati in un intervallo di [–10, 10] per garantire coerenza nelle analisi successive. I Dataset ottenuti sono stati poi inseriti nell’Eye Movement Classification Software, configurato con gli algoritmi di machine learning I-DT e I-KF, per identificare fissazioni e saccadi e ricostruire scanpath oculari confrontabili tra diversi soggetti.

Da ciascuna acquisizione sono state estratte caratteristiche statistiche fondamentali — medie e deviazioni standard delle coordinate X e Y per entrambi gli occhi — che hanno costituito l’input per sette classificatori basati su Scikit-learn (Decision Tree, Linear Discriminant Analysis, K-Nearest Neighbors, SVM, Random Forest, SGD e MLP), valutati tramite validazione incrociata k-fold e leave-one-out per stimare l’accuratezza predittiva su un campione di nove partecipanti. Sebbene l’analisi degli scanpath abbia mostrato una notevole stabilità intra-soggetto e differenze inter-soggetto che confermano il principio "eye-mind", i risultati quantitativi hanno rivelato performance di riconoscimento piuttosto moderate, con un massimo del 42,86% raggiunto dal classificatore MLP e valori decisamente più bassi per gli altri modelli.

Questi risultati mettono in luce le limitazioni legate alla frequenza di campionamento (30 Hz), alla variabilità naturale dei pattern oculari e alla dimensione relativamente piccola del Dataset e nel contempo evidenziano anche il grande potenziale di questo approccio. Le prospettive future includono l’espansione del campione, il miglioramento della qualità del segnale tramite dispositivi con frequenze più elevate, l’integrazione di analisi dinamiche degli scanpath e lo sviluppo di protocolli etici e di sicurezza per proteggere i dati biometrici oculari, rendendo così l’eye tracking un metodo affidabile e responsabile per l’identificazione in contesti di realtà mista. VI

Capitolo 1

Introduzione

1.1 Obiettivo del problema

Il seguente lavoro di tesi si è concentrato inizialmente nel verificare le capacità del sistema di eye tracking del visore di realtà aumentata HoloLens 2, di fornire informazioni riguardanti i movimenti oculari per ciascun utente e di sottomettere tali dati ad algoritmi di classificazione. Questi ultimi, dopo un raffinamento dei dati precedentemente ricavati, ci hanno permesso di constatare che i pattern oculari estrapolati si differenziano da un soggetto ad un altro. L’obiettivo ultimo è stato quello di stabilire la percentuale di accuratezza che alcuni algoritmi di machine learning hanno nel riconoscere un soggetto tramite l’analisi di pattern oculari.

1.2 Introduzione alla realtà mista e all’eye tracking

La realtà mista rappresenta un’evoluzione significativa nel panorama tecnologico contemporaneo, caratterizzato dalla crescente importanza delle tecnologie immersive e dei sistemi di riconoscimento biometrico. Queste, in rapida evoluzione, possiedono un potenziale rivoluzionario in molteplici domini, influenzando i modi in cui interagiamo con gli spazi virtuali e fisici. In particolare, l’influenza reciproca tra la realtà mista e l’eye tracking sta creando nuove opportunità nel campo dell’interazione uomo-macchina, con profonde implicazioni per applicazioni che vanno dalla formazione professionale all’intrattenimento.

Il tracciamento oculare, integrato in dispositivi avanzati di realtà mista come HoloLens 2, non solo aumenta l’esperienza immersiva, ma consente anche di raccogliere importanti informazioni sul comportamento umano e sulle reazioni cognitive. Tra le varie applicazioni possibili di questa sinergia, il riconoscimento basato sulla biometria del movimento oculare è un campo di studio particolarmente promettente per l’autenticazione sicura e personalizzata.

1.2.1 Realtà mista

La realtà mista (RM), nota anche come realtà ibrida o realtà unita, rappresenta una fusione tra ambienti virtuali e il mondo reale, in cui oggetti digitali e fisici coesistono e possono interagire reciprocamente[1]. A differenza della semplice realtà virtuale, la realtà mista non si limita a trasportare l’utente in un ambiente completamente digitale, ma crea una vera e propria ibridazione tra elementi fisici e virtuali, permettendo un’interazione naturale tra i due domini.

Il concetto di Realtà Mista può essere meglio compreso attraverso il "continuum di virtualità" 1.2.1 introdotto da Paul Milgram e Fumio Kishino nel 1994. Questo modello concettuale rappresenta uno spettro che spazia dall’ambiente reale a un ambiente completamente virtuale, con la RM che comprende tutte le possibili combinazioni intermedie. All’interno di questo continuum, la Realtà Aumentata si colloca come una sovrapposizione di elementi digitali sul mondo reale, mentre la Realtà Virtuale offre un’esperienza completamente immersiva in ambienti generati al computer. La Realtà Mista, quindi, si definisce come la fusione fluida e interattiva tra il mondo fisico e quello virtuale, consentendo agli utenti di interagire simultaneamente con entrambi[2].

Figura 1.1: La visione di Milgram e Kishino sul continuum realtà-virtualità [3]

Un sistema di realtà mista si basa su tre elementi fondamentali: la combinazione di oggetti reali e virtuali, l’interazione in tempo reale e la mappatura spaziale tra questi oggetti. Le esperienze di Realtà Mista sono rese possibili da tecnologie e dispositivi specifici. I visori indossabili (HMD) o gli occhiali intelligenti rappresentano i sistemi principali per accedere a tali esperienze[4]. Questi dispositivi utilizzano tecnologie di visualizzazione ottica see-through e video see-through per combinare la visione del mondo reale con elementi virtuali.

Esempi di tecnologie RM includono Microsoft HoloLens 2, Meta Quest 3 e Apple Vision Pro, ognuno con le proprie caratteristiche e capacità. L’uso di tali interfacce, che vanno oltre i tradizionali telecomandi o smartphone, offre un’esperienza più coinvolgente e convincente, rendendo l’interazione con gli oggetti virtuali molto vicina alla realtà. Nonostante il suo immenso potenziale, la Realtà Mista rimane una tecnologia emergente in via di sviluppo, con hardware costoso e requisiti tecnici significativi.

Le questioni relative alla calibrazione, alla stabilità e alla perfetta integrazione di oggetti reali e virtuali devono ancora essere completamente risolte. La RM, tuttavia, è destinata a rivoluzionare molti settori, tra cui l’istruzione, l’assistenza sanitaria e l’intrattenimento[5]. Gli scenari futuri indicano sviluppi nelle tecnologie di visualizzazione, nelle tecniche di interazione (come il tracciamento degli occhi e delle mani) e nell’incorporazione dell’intelligenza artificiale per superare le attuali limitazioni e aumentare le applicazioni pratiche della Realtà Mista[4]. 2

Figura 1.2: Interazioni tra computer, persone e ambienti [6]

1.2.2 Eye tracking

I moderni sistemi di eye tracking si basano su tecniche e metodologie consolidate. Tra le tecnologie più diffuse, sicuramente la tecnica pupil center corneal reflection (PCCR) è quella più impiegata. Essa consiste nell’emissione di un fascio di luce infrarossa diretto sulla pupilla, generando riflessi che vengono rilevati sia su quest’ultima che sulla cornea. Utilizzando una telecamera a infrarossi, viene tracciato un vettore che collega i riflessi provenienti da queste due strutture oculari, il dispositivo di eye tracking individua la direzione dello sguardo[7]. In ogni caso, per offrire un maggior grado di precisione, ogni eye tracker necessita di una fase di calibrazione, che deve essere effettuata da ogni utente che indossa il dispositivo.

L’analisi dei movimenti oculari si fonda su due concetti fondamentali: fissazione e saccade. La differenza tra questi due principi sta nel comportamento degli occhi. Durante una fissazione, l’occhio rimane relativamente immobile per un periodo più o meno breve e il cervello elabora l’informazione proveniente da quel punto. La saccade è, invece, un rapido movimento dell’occhio, presente tra una fissazione e l’altra, quasi paragonabile a un piccolo salto, durante il quale il cervello blocca il processo di acquisizione dell’informazione[8]. La durata e la frequenza delle fissazioni sono segnali dell’attenzione e dell’elaborazione cognitiva mentre la lunghezza e la velocità delle saccadi sono indicazioni dell’esplorazione visiva[9].

Altre metriche che possono aiutare a comprendere l’analisi dei movimenti oculari sono il Time To First Fixation (TTFF), che è indicativo della velocità con cui lo sguardo viene attirato inizialmente verso uno stimolo e la dilatazione pupillare, che è indicativa dei carichi cognitivi e della risposta emotiva[10]. Gli scanpath consentono di tenere traccia del movimento oculare all’interno di una scena o di un ambiente visivo. L’analisi di tali metriche consente di ottenere una comprensione più profonda dei processi cognitivi e delle intenzioni degli utenti.

1.3 Vantaggi, applicazioni e limiti dell’eye tracking

L’eye tracking offre numerosi vantaggi ed è utilizzato in diversi campi e ambiti di ricerca. Permette di misurare in modo oggettivo e in tempo reale l’attenzione visiva e il comportamento degli utenti; nelle ricerche in psicologia e neuroscienze si utilizza per studiare i processi cognitivi, l’attenzione, la memoria e le emozioni. Nel marketing aiuta a valutare l’accortezza dei consumatori verso pubblicità, siti web e prodotti[11]. Nei contesti di Human Computer Interaction (HCI) migliora l’usabilità delle interfacce e garantisce soluzioni di accessibilità per disabili[12]. Nel campo dell’istruzione sostiene l’apprendimento personalizzato e l’autovalutazione, mentre nel settore sanitario è utilizzato per diagnosticare, monitorare trattamenti e formazione[13]. Infine, in ambito videoludico, l’eye tracking garantisce un’esperienza più immersiva e interattiva.

Nonostante i suoi vantaggi, il tracciamento oculare presenta anche sfide e limitazioni. L’accuratezza può essere influenzata da fattori come le condizioni di illuminazione, le caratteristiche dell’utente (ad esempio, presenza di occhiali, lenti a contatto o colore degli occhi) e il movimento della testa, così come la precisione della calibrazione, possono favorire errori nell’acquisizione dei dati[14]. La latenza e il ritardo nella risposta possono compromettere l’interazione in tempo reale mentre processi di calibrazione frequenti o complessi possono causare affaticamento nell’utente. Infine, sorgono problematiche etiche relative alla privacy dei dati e al pote