Progetto industriale per tesi triennale

Dipartimento di ingegneria industriale edell’informazione

Corso di laurea in ingegneria industriale indirizzo meccanica

Sistemi di feedback sensoriali per ambienti virtuali e interattivi

Tutor accademico: Prof. Marco Carnevale

Mattia Ludovico Afferr 491329

Anno Accademico 2024/25

Indice

• Sommario
• Introduzione .................................................................................................................... 4
• Feedback sensoriali .................................................................................................... 5
• Percezione degli stimoli sensoriali .................................................................................... 5
• Feedback visivo ................................................................................................................. 7
• Feedback aptico ............................................................................................................... 12
• Feedback uditivo .............................................................................................................. 15
• Feedback inerziale ........................................................................................................... 16
• Stato dell’arte ............................................................................................................. 18
• “The Kinesthetic HMD: Inducing Selfmotion Sensations in Immersive Virtual Reality with Head-Based Force Feedback”......... 19
• “Face/On: Multi-Modal Haptic Feedback for Head-Mounted Displays in Virtual Reality”................................................................................. 22
• “Can Haptic Feedback Improve the Perception of Self-Motion in Virtual Reality?”......................................................................................................... 25
• “Inducing Self-Motion Sensations in Driving Simulators Using Force-Feedback and Haptic Motion”................................................................ 28
• “Unconstrained Pedestrian Navigation Based on Vibro-Tactile Feedback Around the Wristband of a Smartwatch”............................... 31
• “Vibrotactile Localization on the Abdomen: Effects of Place and Space”........................................................................................................................ 34
• “Examination of Head and Chest Located Tactile Information for Infantry Wayfinding”....................................................................................... 37
• Conclusioni del lavoro ........................................................................................... 41
• Fonti .................................................................................................................................... 45
• Riferimenti bibliografici ..................................................................................................... 45

Introduzione

L’obbiettivo della presente tesi è lo studio di sistemi di feedback sensoriali per ambienti virtuali e interattivi. La trattazione inizierà con una parte teorica, con lo scopo di fornire le basi per comprendere i meccanismi fisiologici attraverso cui l’essere umano percepisce gli stimoli provenienti dall’ambiente circostante. Successivamente, verranno approfondite le diverse applicazioni dei feedback sensoriali, con i relativi vantaggi e svantaggi.

L’idea di sviluppare questa tesi ha preso spunto dalla lettura dell’articolo: “The Kinesthetic HMD: Inducing Selfmotion Sensations in Immersive Virtual Reality with Head-Based Force Feedback.” Questo articolo descrive l’impiego di un visore per la VR (HMD – Head-Mounted Display), dotato di un braccio meccanico in grado di simulare accelerazioni e decelerazioni della testa, per la riproduzione di un volo di un aliante. Nonostante l’efficacia della simulazione, il sistema risulta ingombrante e limita i movimenti dell’utente, a causa del collegamento fisso tra il visore e la struttura a terra. Di questo dispositivo sono stati analizzati il funzionamento, i punti di forza e i principali limiti.

Successivamente, è stata condotta una ricerca di studi analoghi, accomunati dall’utilizzo di dispositivi HMD, ma differenziati per approccio, tecnologia o campo di utilizzo. L’utilizzo di questi strumenti solleva alcune domande importanti: quali sono i principali prototipi utilizzati per le applicazioni multisensoriali? Quali sono le difficoltà ancora presenti nella realizzazione di dispositivi confortevoli?

Cercando di rispondere a tali domande, la ricerca si è evoluta, includendo dispositivi capaci di fornire feedback sensoriali su diverse parti del corpo, superando il limite iniziale, legato esclusivamente alla testa. L’ampliamento della ricerca ha permesso l’analisi di molteplici scenari applicativi: molti simulatori e dispositivi condividono soluzioni tecniche funzionali, distinguendosi in base all’utilizzo, alla loro struttura e al posizionamento dei componenti sul corpo umano (es. simulazione di guida, simulazione forze fisiche, contesti militari, ecc.).

La scelta degli articoli/studi, inclusi in questa tesi, è stata orientata all’ampliamento delle differenti esperienze sensoriali, includendo articoli in cui sono descritte diverse tipologie di tecnologie e dispositivi applicati su parti differenti del corpo utilizzati sia in ambito di VR, sia in ambito di sistemi di feedback sensoriali.

Feedback sensoriali

Percezione degli stimoli sensoriali

La percezione è una funzione cognitiva tra le più complesse, perché il cervello umano non riceve semplicemente e passivamente gli stimoli sensoriali, ma procede a una elaborazione e a un’interpretazione organizzata, attribuendo significato agli stimoli ricevuti. Questo processo coinvolge tutti i sensi: vista, udito, tatto, gusto e olfatto forniscono al cervello tutte le informazioni necessarie per elaborare una rappresentazione dell’ambiente esterno, che sia coerente, significativa e utile.

In questo processo sono coinvolte diverse regioni cerebrali, ciascuna specializzata nel trattare informazioni specifiche provenienti dai diversi sensi: il cervello elabora gli stimoli che riceve, utilizzando le conoscenze acquisite, le esperienze vissute e le aspettative, ma può essere influenzato anche da fattori individuali, da influenze esterne (un esempio possono essere le illusioni ottiche) o da differenze culturali che possono condizionare e suggestionare l’elaborazione della percezione degli stimoli.

Il processo di percezione si svolge in modo rapido e continuo e si realizza attraverso diverse fasi. La prima fase è la recezione, in cui i recettori sensoriali del nostro corpo captano gli stimoli dall’ambiente circostante. Questi recettori possono essere situati nella retina degli occhi per la vista, nei follicoli piliferi per il tatto, nelle cellule olfattive per l’olfatto, nei recettori gustativi per il gusto e così via.

Nella fase di trasduzione, le informazioni sensoriali vengono trasmesse al cervello attraverso il sistema nervoso. Nella fase di selezione, il cervello sceglie quali stimoli elaborare in base alla rilevanza per l’individuo e il contesto, in base al livello di attenzione, all’interesse personale, allo stato emotivo e alle esperienze passate. La fase di organizzazione prevede che le informazioni selezionate vengano organizzate e integrate per creare una rappresentazione coerente e significativa del mondo esterno che nella fase seguente, l’interpretazione, il cervello interpreta sulla base delle conoscenze esperienze pregresse, aspettative e contesto attuale. Questa fase è influenzata dalle nostre credenze, valori, culture e stati emotivi.

L’ultima fase è quella della consapevolezza, in cui le informazioni elaborate vengono portate alla coscienza, consentendo all’individuo di diventare consapevole delle proprie percezioni sensoriali e di rispondere adeguatamente allo stimolo ricevuto. Questa fase può influenzare e modificare il comportamento, le decisioni e le interazioni con gli altri.

La percezione degli stimoli sensoriali viene utilizzata dal nostro cervello per riconoscere le situazioni, ma anche per agire e per aiutare l’individuo a decidere come affrontare le varie situazioni in cui si trova. I sistemi di feedback sensoriali, argomento di questa tesi, sfruttano queste funzioni e possono essere utilizzati per vari scopi e in molti ambiti scientifici, sanitari, ludici, …

La percezione umana non si basa sull’analisi di un’unica tipologia di stimoli sensoriali. Gli esseri umani percepiscono e interpretano gli stimoli sensoriali; creano schemi di immagini che fungono da astrazione delle esperienze sensoriali ed impongono una struttura ed un significato all’interazione sensoriale. Quando tocchiamo un oggetto percepiamo alcune caratteristiche che determino il modello cognitivo di ciò che percepiamo.

In un ambiente immersivo di VR, a volte è sufficiente un minimo impulso per generare la sensazione di modificare e toccare un oggetto. Se invece un segnale risulta essere troppo forte o non preciso porta a sensazioni contradditorie che rompono la sensazione di presenza. Non tutti i segnali che riceviamo sono utili: alcuni stimoli possono essere definiti “rumore” perché non generano sensazioni utili, ma solo fastidio e/o confusione.

Feedback visivo

Il feedback visivo è una modalità di comunicazione che coinvolge il senso della vista e fornisce all’utente informazioni relative a un’azione in corso, un evento o un processo interattivo. Svolge un ruolo fondamentale nell’interazione uomo-macchina e nella percezione dell’ambiente circostante, sia in contesti reali che virtuali.

Il feedback visivo ha una doppia funzione: guida e orienta l’utente durante l’interazione in modo tale da facilitare l’esecuzione dei compiti, inoltre agisce come conferma percettiva che un’azione è stata rilevata o eseguita. Questa tipologia di feedback fornisce informazioni immediate e viene utilizzato molto negli ambienti virtuali per rendere la simulazione più realistica. La visione è essenziale per la coordinazione motoria e la presa di decisioni e gli stimoli visivi sono condizionati da: icone, simboli, animazioni, transizioni, tonalità di diversi colori.

Nell’ambito della VR, il feedback visivo è utilizzato per migliorare la simulazione rendendola più reale e immersiva; in questi ambienti la visione non è solo un mezzo percettivo, ma uno strumento per la coordinazione motoria e la navigazione spaziale. Il feedback visivo è fondamentale in assenza del feedback aptico, il canale visivo diventa il mezzo principale con il quale il sistema comunica con l’utente.

Si possono distinguere tre tipologie di feedback visivo:

• Feedback di tracciamento: Rappresenta la posizione e il movimento della mano dell’utente nello spazio, di solito visualizzato tramite un cursore, in modo tale da orientare l’utente.
• Feedback di attivazione: Segnala quando un gesto viene rilevato e sta per essere confermato come comando.
• Feedback di conferma: Fornisce una conferma visiva per l’esecuzione di un’azione.

L’utilizzo di un feedback visivo appropriato: migliora notevolmente la comprensione delle dinamiche dell’interazione per l’utente; contribuisce a rendere l’interazione più immersiva. L’uso eccessivo o non sincronizzato di elementi visivi può portare a disorientamento, affaticamento, confusione, disturbo, soprattutto nella VR. Dispositivi che utilizzano il feedback visivo sono: gli HMD, lo schermo di un computer.

Dispositivi per il feedback visivo

Il feedback visivo rappresenta la principale modalità di interazione tra l’utente e l’ambiente virtuale. Attraverso dispositivi specializzati, come visori per la VR e AR, è possibile generare stimoli visivi dinamici che rafforzano la sensazione di presenza e migliorano l’esperienza dell’utente. In particolare, andremo a vedere lo studio dei visori HMD e di dispositivi che ne fanno utilizzo.

Head-mounted display - HMD

Un Head-Mounted Display (HMD) è un dispositivo di visualizzazione indossato sulla testa che fornisce un’esperienza immersiva, utilizzato principalmente in ambienti virtuali e di VR. Ne esistono di vari tipi in base a dove vengono applicati:

• Sulla testa: Google Cardboard
• Sul viso: Microsoft HoloLens
• Sulla testa e sul corpo: Sony PlayStation VR

Gli HMD vengono utilizzati in diversi settori, come: il gioco, la formazione, le applicazioni mediche ed educative, la visione di film e video. La maggior parte degli HMD può visualizzare solo un'immagine generata dal computer, a volte indicata come immagine virtuale. Alcuni HMD possono consentire la sovrapposizione di un CGI alla visione del mondo reale. Questa situazione può essere indicata come AR o MR. È possibile combinare la visione del mondo reale con la CGI proiettando la CGI attraverso uno specchio parzialmente riflettente e visualizzando direttamente il mondo reale. Questo metodo è spesso chiamato trasparenza ottica. La combinazione della visione del mondo reale con CGI può essere eseguita anche elettronicamente accettando il video da una telecamera e mixandolo elettronicamente con CGI.

Campi di applicazione degli HMD

• In ingegneria: Vengono utilizzati gli HMD per fornire viste stereoscopiche di schemi di progettazione assistita da computer (CAD). La VR applicata nel campo dell’ingegneria permette l’interazione con i progetti in scala reale. Inoltre, possono fornire una visione a raggi X permettendo la manutenzione di sistemi complessi.
• In medicina e ricerca: Nei laboratori di ricerca delle università utilizzano i dispositivi HMD per condurre studi di visione, equilibrio, cognizione e neuroscienze.
• Per i giochi e video: I dispositivi HMD vengono utilizzati per giochi 3D e intrattenimento. Un esempio di utilizzo è il PlayStation VR, un visore per la VR utilizzato per console di gioco.
• Per il virtual cinema: Alcuni display applicati sulla testa sono progettati per presentare contenuti video e cinematografici tradizionali in un cinema virtuale. Questi dispositivi in genere presentano un campo visivo relativamente ristretto di 50–60°, che li rende meno coinvolgenti rispetto alle cuffie per VR, ma offrono una risoluzione corrispondentemente più elevata in termini di pixel per grado.
• Occhiali: Il volo con drone con visuale in prima persona (First Person View - FPV) utilizza display montati sulla testa che sono comunemente chiamati "occhiali FPV". Gli occhiali FPV analogici (come quelli prodotti da Fat Shark) sono comunemente usati per le corse di droni in quanto offrono la latenza video più bassa. Ma gli occhiali FPV digitali (come quelli prodotti da DJI) stanno diventando sempre più popolari grazie alla loro risoluzione video più elevata.
• Per addestramento e simulazione: L'applicazione chiave per gli HMD è l’utilizzo di questi dispositivi per l'addestramento e la simulazione, che consentono di collocare virtualmente l’essere umano in una situazione che potrebbe essere troppo costosa, ma soprattutto troppo pericolosa per essere replicata nella vita reale. L'addestramento con HMD copre un'ampia gamma: dalla guida di autoveicoli o automezzi, all’utilizzo in ambito industriale, o in ambito aeronautico con i simulatori di volo, o in ambito militare per addestramento di soldati appiedati, o ancora in sanità per l’addestramento del personale sanitario allo svolgimento di procedure mediche e altro ancora.

Pro e contro

I dispositivi HMD sono molto utili e vantaggiosi per il miglioramento delle performance e per la versatilità di utilizzo, ma possono avere anche diversi svantaggi, a seconda del tipo di utilizzo e del dispositivo. Tuttavia, una serie di sintomi indesiderati è stata causata dall’uso prolungato di alcuni tipi HMD e questi problemi devono essere risolti prima che sia possibile ottenere una esperienza ottimale.

Vantaggi:

• Consentono l’accesso rapido a vari tipi e livelli di informazione
• Permettono di ricreare qualsiasi tipo di situazione, ambiente
• Sono impiegati per formazione e istruzione e permettono di sperimentare anche situazioni di pericolo, senza mettere in pericolo la persona

Svantaggi:

• Possono essere causa di disturbi corporei
• L’utilizzo prolungato può causare effetti collaterali

Meta Quest 3

Il Meta Quest 3 è un visore di MR progettato per offrire un’esperienza immersiva sia in VR che in MR, la realtà viene visualizzata tramite video di ciò che vedono le telecamere esterne, senza bisogno di un PC o cavi esterni. Il visore è stato reso più sottile e bilanciato rispetto al modello precedente (Meta Quest 2), migliorando l’ergonomia e il comfort anche per sessioni lunghe. La nuova fascia è regolabile e più stabile, mentre i materiali sono pensati per offrire una buona traspirabilità.

Il Meta Quest 3, rappresentato in figura 1, è alimentato da un chip Qualcomm Snapdragon XR2 Gen 2, che offre caricamenti più rapidi, una grafica più dettagliata e una maggiore fluidità durante l’uso.

Figura 1. Visore Meta Quest 3

Monta due pannelli con una risoluzione elevata (2064 x 2208 per occhio), che assicurano immagini nitide e colori più vivaci. Il campo visivo è stato ampliato, offrendo una visione più coinvolgente. Grazie alle nuove fotocamere a colori e a sensori di profondità, il Quest 3 permette di vedere e interagire con l’ambiente reale in tempo reale, sovrapponendo elementi digitali in modo intuitivo. È possibile passare dalla VR alla MR con un semplice gesto o comando vocale.