Scanpath oculari come impronte biometriche: metodologie e limiti dell'Eye Tracking su Hololens 2

Università degli Studi di Salerno

Dipartimento di Informatica

Corso di Laurea Triennale in Informatica

Scanpath Oculari come Impronte

Biometriche: Metodologie e Limiti

dell’Eye Tracking su HoloLens 2

Relatore Candidato

Prof. Fabio Narducci Graziano Giuseffi

Matricola: 0512104852

Anno Accademico 2024/2025

Indice

Abstract VI

1 Introduzione 1

1.1 Obiettivo del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Introduzione alla realtà mista e all’eye tracking . . . . . . . . . . . . . . . . 1

1.2.1 Realtà mista . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2.2 Eye tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3 Vantaggi, applicazioni e limiti dell’eye tracking . . . . . . . . . . . . . . . . 3

2 Inquadramento del problema e stato dell’arte 5

2.1 Principi teorici dell’ eye tracking . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.1 Tecnologie di eye tracking . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.1.2 Analisi dei movimenti oculari . . . . . . . . . . . . . . . . . . . . . . . 10

2.2 Applicazioni dell’eye tracking . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.1 Interazione uomo macchina . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.2 Analisi comportamentale e psicologica . . . . . . . . . . . . . . . . . . 14

2.2.3 Biometria e riconoscimento dell’identità . . . . . . . . . . . . . . . . . 14

2.3 Realtà aumentata e utilizzo dei sensori nei dispositivi indossabili . . . . . . 16

2.3.1 Hololens 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3 Metodologia e tecniche utilizzate 21

3.1 Infrastruttura hardware e software . . . . . . . . . . . . . . . . . . . . . . . 21

3.1.1 Configurazione di Hololens 2 . . . . . . . . . . . . . . . . . . . . . . . 21

3.1.2 The StreamRecorder app . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.1.3 Eye Movement Classification Software . . . . . . . . . . . . . . . . . . 27

3.2 Pre-elaborazione dati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.2.1 Analisi del file CSV generato da StreamRecorderConverter . . . . . . . 30

3.2.2 Progettazione e sviluppo degli script di raffinamento . . . . . . . . . . 31

3.3 Algortimi di classificazione e validazione . . . . . . . . . . . . . . . . . . . . 32

3.4 Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4 Risultati e discussione 37

4.1 Descrizione del Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.2 Risultati della classificazione biometrica . . . . . . . . . . . . . . . . . . . . 38

4.3 Analisi del codice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

I

4.3.1 Script Python per la pre-elaborazione e l’estrazione delle feature . . . 43

4.3.2 Risultati del plotting e della Cross Validation . . . . . . . . . . . . . . 45

4.4 Discussione e interpretazione dei risultati . . . . . . . . . . . . . . . . . . . . 50

Conclusioni 52

A Snippet di Codice 58

II

Elenco delle figure

1.1 La visione di Milgram e Kishino sul continuum realtà-virtualità [3] . . . . . . . 2

1.2 Interazioni tra computer, persone e ambienti [6] . . . . . . . . . . . . . . . . . . 3

2.1 Anatomia dell’occhio umano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.2 Principali movimenti oculari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3 Il visore Hololens 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.4 Il sistema di eye tracking del visore Hololens 2 [43] . . . . . . . . . . . . . . . . 18

3.1 Abilitazione accesso agli stream di Hololens 2 tramite il Portale del Dispositivo 22

3.2 Interfaccia iniziale dell’app StreamRecorder . . . . . . . . . . . . . . . . . . . . 25

3.3 File generati grazie all’acquisizione tramite l’app StreamRecorder . . . . . . . . 25

3.4 La recorder console per il postprocessing dei dati . . . . . . . . . . . . . . . . . 26

3.5 Interfaccia grafica dell’Eye Movement Classification Software . . . . . . . . . . . 28

4.1 Utente 1, primo plotting I-DT della coordinata X . . . . . . . . . . . . . . . . . 39

4.2 Utente 1, secondo plotting I-DT della coordinata X . . . . . . . . . . . . . . . . 39

4.3 Utente 3, primo plotting I-DT della coordinata X . . . . . . . . . . . . . . . . . 40

4.4 Utente 3, secondo plotting I-DT della coordinata X . . . . . . . . . . . . . . . . 40

4.5 Utente 5, primo plotting I-KF della coordinata X . . . . . . . . . . . . . . . . . 41

4.6 Utente 7, primo plotting I-KF della coordinata X . . . . . . . . . . . . . . . . . 41

4.7 Utente 5, secondo plotting I-KF della coordinata X . . . . . . . . . . . . . . . . 42

4.8 Utente 7, secondo plotting I-KF della coordinata X . . . . . . . . . . . . . . . . 42

4.9 Utente 1, plotting della distribuzione delle features tra le diverse acquisizioni . . 46

4.10 Utente 3, plotting della distribuzione delle features tra le diverse acquisizio . . . 46

4.11 Utente 6, plotting della distribuzione delle features tra le diverse acquisizioni . . 47

4.12 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata X

espressa in gradi per l’occhio destro. . . . . . . . . . . . . . . . . . . . . . . . . 47

4.13 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata X

espressa in gradi per l’occhio sinistro. . . . . . . . . . . . . . . . . . . . . . . . . 48

4.14 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata Y

espressa in gradi per l’occhio destro. . . . . . . . . . . . . . . . . . . . . . . . . 48

4.15 Distribuzione inter-soggetto di Media e Deviazione Standard della coordinata Y

espressa in gradi per l’occhio sinistro. . . . . . . . . . . . . . . . . . . . . . . . . 49

III

Elenco delle tabelle

2.1 Principali tipologie di eye tracking . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1 Tabella riassuntiva degli algoritmi di classificazione [46] . . . . . . . . . . . . . . 35

V

Abstract

Il presente lavoro di tesi si colloca nel campo delle tecnologie immersive e dei sistemi di ri-

conoscimento biometrico comportamentale. L’obiettivo è quello di esplorare se i movimenti

oculari, acquisiti attraverso il visore di realtà mista Microsoft HoloLens 2, possano fungere

da “firma” unica per ogni utente. La ricerca si concentra sull’importanza sempre più rilevante

della realtà mista e delle tecnologie di riconoscimento biometrico, che stanno cambiando ra-

dicalmente il nostro modo di interagire con gli ambienti sia fisici che virtuali. In particolare,

il tracciamento oculare apre a nuove opportunità per l’interazione tra uomo e macchina, ol-

tre a trovare applicazioni interessanti nell’autenticazione biometrica. Per raggiungere questo

scopo, è stato creato un protocollo sperimentale suddiviso in fasi sequenziali. Inizialmente, le

acquisizioni di eye-tracking vengono registrate tramite l’applicazione StreamRecorder su Ho-

loLens 2. Successivamente, i file grezzi esportati vengono elaborati attraverso script Python

personalizzati, che estraggono Timestamp, coordinate spaziali, velocità angolari e posizioni

angolari, normalizzando i dati in un intervallo di [–10, 10] per garantire coerenza nelle analisi

successive. I Dataset ottenuti sono stati poi inseriti nell’Eye Movement Classification Soft-

ware, configurato con gli algoritmi di machine learning I-DT e I-KF, per identificare fissazioni

e saccadi e ricostruire scanpath oculari confrontabili tra diversi soggetti. Da ciascuna ac-

quisizione sono state estratte caratteristiche statistiche fondamentali — medie e deviazioni

standard delle coordinate X e Y per entrambi gli occhi — che hanno costituito l’input per set-

te classificatori basati su Scikit-learn (Decision Tree, Linear Discriminant Analysis, K-Nearest

Neighbors, SVM, Random Forest, SGD e MLP), valutati tramite validazione incrociata k-fold

e leave-one-out per stimare l’accuratezza predittiva su un campione di nove partecipanti. Seb-

bene l’analisi degli scanpath abbia mostrato una notevole stabilità intra-soggetto e differenze

inter-soggetto che confermano il principio "eye-mind", i risultati quantitativi hanno rivelato

performance di riconoscimento piuttosto moderate, con un massimo del 42,86% raggiunto dal

classificatore MLP e valori decisamente più bassi per gli altri modelli. Questi risultati mettono

in luce le limitazioni legate alla frequenza di campionamento (30 Hz), alla variabilità natu-

rale dei pattern oculari e alla dimensione relativamente piccola del Dataset e nel contempo

evidenziano anche il grande potenziale di questo approccio. Le prospettive future includono

l’espansione del campione, il miglioramento della qualità del segnale tramite dispositivi con

frequenze più elevate, l’integrazione di analisi dinamiche degli scanpath e lo sviluppo di pro-

tocolli etici e di sicurezza per proteggere i dati biometrici oculari, rendendo così l’eye tracking

un metodo affidabile e responsabile per l’identificazione in contesti di realtà mista. VI

Capitolo 1

Introduzione

1.1 Obiettivo del problema

Il seguente lavoro di tesi si è concentrato inizialmente nel verificare le capacità del sistema

di eye tracking del visore di realtà aumentata Hololens 2, di fornire informazioni riguardati i

movimenti oculari per ciascun utente e di sottomettere tali dati ad algoritmi di classificazione.

Questi ultimi, dopo un raffinamento dei dati precedentemente ricavati, ci hanno permesso

di constatare che i pattern oculari estrapolati si differenziano da un soggetto ad un altro.

L’obiettivo ultimo è stato quello di stabilire la percentuale di accuratezza che alcuni algoritmi

di machine learning hanno nel riconoscere un soggetto tramite l’analisi di pattern oculari.

1.2 Introduzione alla realtà mista e all’eye tracking

La realtà mista rappresenta un’evoluzione significativa nel panorama tecnologico contempo-

raneo, caratterizzato dalla crescente importanza delle tecnologie immersive e dei sistemi di

riconoscimento biometrico. Queste, in rapida evoluzione, possiedono un potenziale rivolu-

zionario in molteplici domini, influenzando i modi in cui interagiamo con gli spazi virtuali e

fisici. In particolare, l’influenza reciproca tra la realtà mista e l’eye tracking sta creando nuove

opportunità nel campo dell’interazione uomo-macchina, con profonde implicazioni per appli-

cazioni che vanno dalla formazione professionale all’intrattenimento. Il tracciamento oculare,

integrato in dispositivi avanzati di realtà mista come Hololens 2, non solo aumenta l’esperien-

za immersiva, ma consente anche di raccogliere importanti informazioni sul comportamento

umano e sulle reazioni cognitive. Tra le varie applicazioni possibili di questa sinergia, il ricono-

scimento basato sulla biometria del movimento oculare è un campo di studio particolarmente

promettente per l’autenticazione sicura e personalizzata.

1.2.1 Realtà mista

La (RM), nota anche come realtà ibrida o realtà unita, rappresenta una fusio-

realtà mista

ne tra ambienti virtuali e il mondo reale, in cui oggetti digitali e fisici coesistono e possono

interagire reciprocamente[1]. A differenza della semplice realtà virtuale, la realtà mista non

si limita a trasportare l’utente in un ambiente completamente digitale, ma crea una vera e

1

propria ibridazione tra elementi fisici e virtuali, permettendo un’interazione naturale tra i due

domini. Il concetto di Realtà Mista può essere meglio compreso attraverso il "continuum di

virtualità"1.2.1 introdotto da Paul Milgram e Fumio Kishino nel 1994. Questo modello con-

cettuale rappresenta uno spettro che spazia dall’ambiente reale a un ambiente completamente

virtuale, con la RM che comprende tutte le possibili combinazioni intermedie. All’interno

di questo continuum, la Realtà Aumentata si colloca come una sovrapposizione di elementi

digitali sul mondo reale, mentre la Realtà Virtuale offre un’esperienza completamente immer-

siva in ambienti generati al computer. La Realtà Mista, quindi, si definisce come la fusione

fluida e interattiva tra il mondo fisico e quello virtuale, consentendo agli utenti di interagire

simultaneamente con entrambi[2].

Figura 1.1: La visione di Milgram e Kishino sul continuum realtà-virtualità [3]

Un sistema di realtà mista si basa su tre elementi fondamentali: la combinazione di og-

getti reali e virtuali, l’interazione in tempo reale e la mappatura spaziale tra questi oggetti.

Le esperienze di Realtà Mista sono rese possibili da tecnologie e dispositivi specifici. I visori

indossabili (HMD) o gli occhiali intelligenti rappresentano i sistemi principali per accedere a

tali esperienze[4]. Questi dispositivi utilizzano tecnologie di visualizzazione ottica see-through

e video see-through per combinare la visione del mondo reale con elementi virtuali. Esempi

di tecnologie RM includono Microsoft HoloLens 2, Meta Quest 3 e Apple Vision Pro, ognuno

con le proprie caratteristiche e capacità. L’uso di tali interfacce, che vanno oltre i tradizio-

nali telecomandi o smartphone, offre un’esperienza più coinvolgente e convincente, rendendo

l’interazione con gli oggetti virtuali molto vicina alla realtà. Nonostante il suo immenso po-

tenziale, la Realtà Mista rimane una tecnologia emergente in via di sviluppo, con hardware

costoso e requisiti tecnici significativi. Le questioni relative alla calibrazione, alla stabilità

e alla perfetta integrazione di oggetti reali e virtuali devono ancora essere completamente

risolte. La RM, tuttavia, è destinata a rivoluzionare molti settori, tra cui l’istruzione, l’assi-

stenza sanitaria e l’intrattenimento[5]. Gli scenari futuri indicano sviluppi nelle tecnologie di

visualizzazione, nelle tecniche di interazione (come il tracciamento degli occhi e delle mani) e

nell’incorporazione dell’intelligenza artificiale per superare le attuali limitazioni e aumentare

le applicazioni pratiche della Realtà Mista[4]. 2

Figura 1.2: Interazioni tra computer, persone e ambienti [6]

1.2.2 Eye tracking

I moderni sistemi di eye tracking si basano su tecniche e metodologie consolidate. Tra le tec-

nologie più diffuse, sicuramente la tecnica (PCCR) è quella

pupil center corneal reflection

più impiegata. Essa consiste nell’emissione di un fascio di luce infrarossa diretto sulla pupilla,

generando riflessi che vengono rilevati sia su quest’ultima che sulla cornea. Utilizzando una

telecamera a infrarossi, viene tracciato un vettore che collega i riflessi provenienti da queste

due strutture oculari, il dispositivo di eye traking individua la direzione dello sguardo[7]. In

ogni caso, per offrire un maggior grado di precisione, ogni eye tracker necessita di una fase di

calibrazione, che deve essere effettuata da ogni utente che indossa il dispositivo. L’analisi dei

movimenti oculari si fonda su due concetti fondamentali: e La differenza

fissazione saccade.

tra questi due principi sta nel comportamento degli occhi. Durante una fissazione, l’occhio

rimane relativamente immobile per un periodo più o meno breve e il cervello elabora l’infor-

mazione proveniente da quel punto. La saccade è, invece, un rapido movimento dell’occhio,

presente tra una fissazione e l’altra, quasi paragonabile a un piccolo salto, durante il quale il

cervello blocca il processo di acquisizione dell’informazione[8]. La durata e la frequenza delle

fissazioni sono segnali dell’attenzione e dell’elaborazione cognitiva mentre la lunghezza e la

velocità delle saccadi sono indicazioni dell’esplorazione visiva[9]. Altre metriche che posso-

no aiutare a comprendere l’analisi dei movimenti oculari sono il Time To First Fixation

(TTFF), che è indicativo della velocità con cui lo sguardo viene attirato inizialmente verso

uno stimolo e la che è indicativa dei carichi cognitivi e della risposta

dilatazione pupillare,

emotiva[10]. Gli consentono di tenere traccia del movimento oculare all’interno

scanpath

di una scena o di un ambiente visivo. L’analisi di tali metriche consente di ottenere una

comprensione più profonda dei processi cognitivi e delle intenzioni degli utenti.

1.3 Vantaggi, applicazioni e limiti dell’eye tracking

L’eye tracking offre numerosi vantaggi ed è utilizzato in diversi campi e ambiti di ricerca.

Permette di misurare in modo oggettivo e in tempo reale l’attenzione visiva e il comporta-

3

mento degli utenti; nelle ricerche in psicologia e neuroscienze si utilizza per studiare i processi

cognitivi, l’attenzione, la memoria e le emozioni. Nel marketing aiuta a valutare l’accortezza

dei consumatori verso pubblicità, siti web e prodotti[11]. Nei contesti di Human Computer

Interaction (HCI) migliora l’usabilità delle interfacce e garantisce soluzioni di accessibilità per

disabili[12]. Nel campo dell’istruzione sostiene l’apprendimento personalizzato e l’autovalu-

tazione, mentre nel settore sanitario è utilizzato per diagnosticare, monitorare trattamenti

e formazione[13]. Infine, in ambito videoludico, l’eye tracking garantisce un’esperienza più

immersiva e interattiva. Nonostante i suoi vantaggi, il tracciamento oculare presenta anche

sfide e limitazioni. L’accuratezza può essere influenzata da fattori come le condizioni di il-

luminazione, le caratteristiche dell’utente (ad esempio, presenza di occhiali, lenti a contatto

o colore degli occhi) e il movimento della testa, così come la precisione della calibrazione,

possono favorire errori nell’acquisizione dei dati[14]. La latenza e il ritardo nella risposta

possono compromettere l’interazione in tempo reale mentre processi di calibrazione frequenti

o complessi possono causare affaticamento nell’utente. Infine, sorgono problematiche etiche

relative alla privacy dei dati e al pote