Progetto industriale per tesi triennale

3.1. “THE KINESTHETIC HMD: INDUCING SELFMOTION

SENSATIONS IN IMMERSIVE VIRTUAL REALITY WITH HEAD-

BASED FORCE FEEDBACK”

Questo lavoro ha avuto inizio con lo studio dell’articolo: THE “KINESTHETIC HMD”:

INDUCING SELFMOTION SENSATIONS IN IMMERSIVE VIRTUAL REALITY WITH

HEAD-BASED FORCE FEEDBACK.

L’obbiettivo è quello di esplorare e dimostrare come sia possibile indurre sensazioni

di auto-movimento in ambienti virtuali e immersivi, utilizzando un sistema di feedback

forza applicato direttamente sulla testa dell’utente.

Questo studio propone un esperimento eseguito tramite un HMD, con l’intento di

migliorare le sensazioni di auto-movimento nelle applicazioni di VR immersive.

L’HMD cinestetico stimola principalmente il sistema vestibolare e la testa, piuttosto

che tutto il corpo. L’applicazione dei force-feedback alla testa comporta una serie di

problematiche: i segnali vestibolari richiedono forze direzionali costanti; il sistema

deve essere comodo per l’utente che lo indossa, in modo tale da non provocare la

fine dell’immersione; inoltre, la testa è molto più sensibile, rispetto ad altre parti del

corpo, al rumore, alla limitazione del movimento ed al peso extra. Pertanto, gli

attuatori meccanici all’interno del casco HMD dovranno essere adeguatamente

isolati; la trasmissione meccanica non dove portare a compromissioni del collo; la

pressione deve essere limitata per evitare disturbi alle orecchie o a qualsiasi altra

parte sensibile della testa.

Sono stati utilizzati feedback sensoriali basati su forze applicate alla testa dell’utente.

Questi includevano spinte durante le fasi di accelerazione e trazioni durante le fasi di

decelerazione, con lo scopo di simulare le sensazioni di movimento percepite

durante la simulazione del volo di un aliante.

È stato utilizzato un braccio tattile Virtuose 6D 35-45, in grado di fornire forze e

coppie elevate in uno spazio di lavoro di 1200x515x915 mm. La base del braccio è

stata posizionata a circa un metro dal pavimento, in modo tale da avere la testa del

simulatore al centro dell’area di lavoro. La messa a terra del dispositivo consente di

evitare l’aggiunta di peso extra alla testa dell’utente, riducendo al contempo

l’esposizione a rumori e/o vibrazioni provenienti dal motore.

Nella figura 6 vengono elencati e mostrati i dettagli dei componenti, nella figura 7

viene mostrato il casco HMD, mentre nella figura 8 viene mostrata la simulazione del

volo di un aliante. Figura 6. Componenti utilizzati nell’esperimento

Figura 7. HMD.

Figura 8. Visuale della simulazione del programma.

Gli effetti tattili generali sono di tre tipi:

- Completamente interattivi: generati dall’input della persona

- Preregistrati: sperimentati passivamente, possono essere analizzati e

modificati per provare valori minimi ma anche estremi restando nel realismo

- Mix di entrambi

Sono state utilizzate tre modalità differenti per la simulazione:

- H_NONE: nessun force feedback

- H_DIRECT: il force-feedback è proporzionale all’accelerazione: una forza di

spinta quando avviene l’accelerazione; una forza di trazione quando avviene

la decelerazione

- H_INDIRECT: il force-feedback è proporzionale all’opposto dell’accelerazione

La simulazione è durata circa un’ora ed era composta da tre fasi:

- Fase introduttiva: dove si firmava il modulo di consenso

- Fase esplorativa: nella quale bisogna prendere confidenza con il simulatore e

l’interruttore di sicurezza

- Fase sperimentale: consisteva in trenta prove, dieci per ogni modalità

Durante la simulazione era richiesto di tenere lo sguardo rivolto nella direzione

indicata dal bersaglio e rimanere a proprio agio nel caso lo stimolo tattile modificasse

la postura.

VANTAGGI E SVANTAGGI DEL FEEDBACK UTILIZZATO:

Vantaggi:

1) Coinvolgimento sensoriale: il feedback di forza applicato alla testa, combinato

con gli stimoli visivi, ha migliorato notevolmente le sensazioni di auto-

movimento, rendendo l’esperienza più realistica

2) Sicurezza e comfort: il sistema è stato progettato tenendo conto dei limiti

anatomici e della sicurezza dell’utente, limitando le forze applicate e

includendo misure di sicurezza come interruttori di emergenza

Svantaggi:

1) Adattamento individuale: le risposte al feedback possono variare tra gli

individui

2) Utilizzo prolungato: l’utilizzo nel tempo del casco HMD può portare a

sensazioni di disturbo e mal di testa

I risultati ottenuti hanno mostrato che gli stimoli visivo-tattili hanno indotto sensazioni

di auto-movimento molto più reali rispetto ad uno stimolo solamente visivo.

I segnali vestibolari e propriocettivi forniti hanno migliorato la percezione del

movimento personale, rendendolo molto più realistico, preservando la comodità

dell’utente.

L’utilizzo di questo dispositivo offre un metodo per migliorare le sensazioni di

movimento nella VR, combinando stimoli visivi e di forza applicati alla testa per

creare un’esperienza più immersiva e realistica. Nel futuro si potrà approfondire

l’utilizzo del feedback basato sulla testa in vari ambiti, come la simulazione di

addestramento e il miglioramento dell’esperienza nella VR. Si evidenzia la necessità

di adattare i controlli in base alle caratteristiche individuali degli utenti e al contesto

dell’ambiente virtuale, usufruendo di test offline per stimare la sensibilità degli utenti e

regolando di conseguenza i parametri.

3.2. “FACE/ON: MULTI-MODAL HAPTIC FEEDBACK FOR HEAD-

MOUNTED DISPLAYS IN VIRTUAL REALITY”

Lo studio FACE/ON si propone di esplorare e sviluppare un sistema di feedback

aptico multimodale applicato direttamente sul viso tramite l’integrazione in visori

HMD, con l’obbiettivo di aumentare l’immersione e il coinvolgimento dell’utente

all’interno di esperienze di VR. Il prototipo sviluppato (figura 9) combina feedback

vibro-tattili e termici localizzati nell’area facciale, sfruttando il contatto diretto con la

superficie del visore per trasmettere in modo efficace stimoli coerenti con eventi

virtuali.

La struttura del sistema è basata su un cuscino facciale integrato al visore,

contenente sedici motori a vibrazione da 3V disposti a una distanza di 2.5cm l’uno

dall’altro, e quattro moduli termici Peltier da 15x15mm posizionati sotto gli occhi e

sulla fronte. I componenti sono stati integrati in un contenitore stampato in 3D,

montato direttamente sull’HMD, mantenendo un formato compatto e confortevole.

Figura 9. Prototipo Face/On.

Per controllare la temperatura, sono stati impiegati termistori NTC calibrati tramite

l’equazione di Steinhart-Hart, mentre il problema del calore in eccesso è stato

gestito, mediante l’uso di tubi di rame come dissipatori. Il sistema richiede una

quantità significativa di energia, soprattutto a causa dei moduli termici,

evidenziandone una delle sue criticità principali. La simulazione è stata sviluppata

con Unity 3D ed eseguita su un PC ad alte prestazioni, ed è stata strutturata in due

fasi: nella prima, si è proceduto alla calibrazione dei parametri di intensità degli

stimoli per garantire comfort e sicurezza; nella seconda, i partecipanti hanno

sperimentato attivamente il dispositivo, ricevendo feedback aptici durante

l’interazione con l’ambiente virtuale.

Con questo prototipo sono stati utilizzati quattro tipi di effetti differenti:

- Effetti ambientali: questo tipo di feedback permette la percezione del clima di

un ambiente e permette di aumentare notevolmente la percezione dell’utente

quando viene implementato in un ambiente immersivo. Ad esempio, per

simulare un ambiente come il deserto vengono attivati gli attuatori termici in

modo tale da sentire calore. La combinazione dell’attività termica fredda con il

feedback vibro-tattile può portare all’effetto di umidità.

- Eventi di gioco: il programma può generare feedback tattili diretti ed animati,

permettendo ai progettisti di guidare la loro attenzione verso una determinata

direzione.

- Forze: tramite i variati attuatori vibro-tattili presenti, il programma può

approssimare il punto di impatto di piccoli oggetti con feedback tattili. Ad

esempio, combinando un feedback termico caldo con una breve esplosione di

feedback vibro-tattili può simulare una breve esplosione.

- Stato del giocatore: tramite un feedback caldo o freddo si può simulare gli stati

del giocatore come ‘bruciare’ o ‘congelare’.

Di seguito vengono riportare immagini differenti per visionare i vari effetti.

Figura 10. Simulazione della neve o grandine

Figura 11. Simulazione della pioggia

Figura 12. Simulazione di una torcia che produce calore

A supporto di questi effetti, sono state impiegate cinque modalità operative:

- Modalità continua: si ha un’attivazione continua degli attuatori vibro-tattili. I

parametri possono variare da 0 a 100, permettendo di variare l’intensità locale

della vibrazione

- Modalità ad impulsi: questa modalità viene utilizzata per brevi collisioni ed

impulsi ripetitivi rapidi

- Modalità battito cardiaco: utilizzato nelle esperienze di VR per la

rappresentazione del battito cardiaco dell’utente in modo tale da trasmettere

una sensazione di panico oppure di alta concentrazione. Mandando questo

stimolo di può influenzare lo stato emotivo del partecipante.

- Modalità casuale: simulare effetti come pioggia, neve, grandine; si utilizza

questa modalità perché si devono percepire sensazioni casuali sul corpo.

- Modalità scatto: utilizzata per movimenti molto veloci come, ad esempio, una

forte raffica di vento sul viso.

I risultati ottenuti mostrano un netto miglioramento della sensazione di presenza e

realismo rispetto a esperienze non dotate di feedback facciale, confermando

l’efficacia dell’approccio multimodale. Tra i principali vantaggi si evidenziano

l’integrazione naturale con il visore, che evita l’uso di dispositivi esterni; la varietà

degli stimoli generabili grazie alla combinazione di feedback termico e tattile; la

compattezza della struttura hardware; e la possibilità di simulare scenari complessi in

modo credibile.

Nonostante i risultati ottenuti, il sistema presenta alcune criticità, in particolare

l’elevato consumo energetico, causato dall’utilizzo dei moduli Peltier rappresenta un

limite importante, soprattutto in applicazioni che richiedono un utilizzo prolungato,

così come la necessità di dissipazione del calore per garantire comfort all’utente.

Inoltre, la complessità dell’hardware impiegato potrebbe limitarne