FM Imtiaj Ahmed puollustaa väitöskirjaansa "Haptic interaction with affective agents in virtual reality" torstaina 1.2.2024 klo 13 Helsingin yliopiston Exactum-rakennuksen auditoriossa B123 (Pietari Kalmin katu 5, 1. krs). Vastaväittäjänä toimii apulaisprofessori Gijs Huisman (Technische Universiteit Delft, Alankomaat) ja kustoksena professori Giulio Jacucci (Helsingin yliopisto). Väitöstilaisuus pidetään englanniksi.
Imtiaj Ahmedin väitöskirja on osa Helsingin yliopiston tietojenkäsittelytieteen osastolla ja Ubiquitous Interaction -ryhmässä tehtävää tutkimusta. Väitöskirjatyön ohjaajina ovat toimineet professori Giulio Jacucci (Helsingin yliopisto) ja apulaisprofessori Michiel M. Spapé (University of Macau, Macao).
Haptinen vuorovaikutus affektiivisten agenttien kanssa virtuaalitodellisuudessa
Koska tulevaisuus edellyttää sosiaalista vuorovaikutusta ihmisen ja tietokoneen ohjaamien agenttien välillä, on virtuaaliagenteista tullut yhä näkyvämpi osa virtuaalitodellisuutta (VR). Virtuaaliagentit voidaan suunnitella hyödyntämään emotionaalisia kasvonilmeitä ja kosketusta parantaakseen affektiivista käyttäjäkokemusta VR:ssä. Aikaisemmin tutkijat ovat selvittäneet keinotekoisen kosketuksen ja kasvonilmeiden vaikutuksia käyttäjien tunteisiin ja käyttäytymiseen sekä sitä, miten visuaaliset kasvovihjeet integroituvat kosketuksen aistiprosessointiin. Tutkimuksissa hyödynnettyjen haptisten teknologioiden kirjo on kuitenkin ollut hyvin rajoittunut, ja lisäksi visuaaliset sosiaaliset vihjeet ja kosketusärsykkeet on esitetty tulevan erillisistä kehon ulkopuolisista lähteistä. Tosielämässä kasvokkaisen vuorovaikutuksen aikana tai virtuaalisessa kehollisessa kohtaamisessa kasvonilmeiden ja kosketuksen odotetaan kuitenkin tulevan samasta kehollisesta lähteestä. Ymmärryksemme erilaisten haptisten teknologioiden tehokkuudesta tukea affektiivista vuorovaikutusta virtuaaliagenttien kanssa rajoittunutta, kuten on myös ymmärryksemme aistimodaliteettien välisestä integraatiosta kasvonilmeiden ja kosketuksen välillä immersiivisissä virtuaaliympäristöissä.
Tämä väitöskirjatutkimus perustuu viiteen tutkimukseen, joissa selvitetään haptisten teknologoiden toimintaa ja vaikutuksia affektiiviseen vuorovaikutukseen virtuaalisten agenttien kanssa VR:ssä. Tutkimuksissa käytetyt VR-skenaariot on suunniteltu herättämään affektiivisia reaktioita käyttäen apuna ekpressiivisiä virtuaaliagentteja. Virtuaaliagentit voivat näyttää emotionaalisia ilmeitä ja koskettaa käyttäjää tai vastaanottaa käyttäjän kosketuksen. Tavoitteena on tunnistaa haptisia tekniikoita, jotka vaikuttavat tehokkaasti käyttäjän emootioihin ja kosketuksen kokemukseen affektiivisessa VR:ssä. Lisäksi tavoitteena on käsitellä fysiologisten signaalien integrointihaasteita ja saada yksityiskohtainen käsitys kosketuksen moniaistisesta havaitsemisesta ja ilmaisusta.
Väitöskirjatutkimus lisää ymmärrystä visuaalisten ja tuntoärsykkeiden välisestä integraatiosta käyttäjän ja agentin välisessä sosiaalisessa vuorovaikutuksessa VR:ssä. Lisäksi tulokset osoittavat, että mekaaniseen paineeseen perustuvat haptiset laitteet koetaan miellyvämpinä ja luonnollisempina sekä tehokkaampina edistämään emotionaalista yhteyttä ja sosiaalisen läsnäolon kokemusta verrattuna tärinäpalautteeseen perustuviin kosketuslaitteisiin. Myös virtuaaliagenttien tunneilmaisut vaikuttivat käyttäjien tunteisiin sekä siihen, miten he kokivat ja ilmaisivat kosketusta. Lisäksi käyttäjien tunnetiloja voidaan ennustaa heidän tavastaan koskettaa agenttia. Fysiologisten signaalien osalta, tutkimukset osoittivat, että aivosähkökäyrää (EEG) voidaan mitata luotettavasti virtuaalilasien kanssa ilman merkittäviä sähköisiä häiriöitä. Lisäksi yksinkertaisempia eletrofysiologisia signaaleja, kuten kasvojen elektromyografia (fEMG), elektrodermaalinen aktiivisuus (EDA) ja kiihtyvyysanturi, voidaan käyttää mittaamaan luotettavasti käyttäytymis- ja tunnetilojen muutoksia affektiivisessa VR:ssä. Tämä väitöskirja käsittelee myös muita integraatiohaasteita, kuten ärsykkeisiin liittyvien markkerien lähettämistä ja vastaanottamista, markkerien ja ärsykkeiden synkronointia. Lisäksi väitöskirja tarjoaa yksityiskohtaisen prosessikuvauksen tehokkaiden haptisten käyttöliittymien ja affektiivisten virtuaaliagenttien rakentamiseen sekä näiden teknologioiden validointitulokset. Tämän väitöskijatutkimuksen tulokset ovat arvokkaita tutkijoille ja ammattilaisille, jotka ovat kiinnostuneita parantamaan HCI-järjestelmien emotionaalista adaptiivisuutta haptisen tekniikan avulla.
Väitöskirjan saatavuus
Väitöskirjan elektroninen versio tulee olemaan saatavilla Helsingin yliopiston e-thesis-palvelussa osoitteessa http://urn.fi/URN:ISBN:978-952-84-0079-0.
Painettuja väitöskirjoja voi tiedustella väittelijältä itseltään: imtiaj.ahmed@helsinki.fi