FM Yang Liu puollustaa väitöskirjaansa "Methodological and Extrinsic Challenges in Offline Evaluation of Recommender Systems" maanantaina 11.8.2025 klo 12 Helsingin yliopiston päärakennuksen auditoriossa Tekla Hultin (F3003, Fabianinkatu 33, 3. kerros). Vastaväittäjänä toimii professori Joseph Konstan (Minnesotan yliopisto, Yhdysvallat) ja kustoksena apulaisprofessori Dorota Głowacka (Helsingin yliopisto). Väitöstilaisuus pidetään englanniksi.
Yang Liun väitöskirjatyö on osa Helsingin yliopiston tietojenkäsittelytieteen osastolla ja Exploratory Search and Personalisation -ryhmässä tehtävää tutkimusta. Väitöskirjan ohjaajina ovat toimineet apulaisprofessori Dorota Głowacka (Helsingin yliopisto) ja tietotekniikka-asiantuntija Alan Medlar (Helsingin yliopisto).
Metodologiset ja ulkoiset haasteet suosittelujärjestelmien offline-tilassa tapahtuvassa arvioinnissa
Viimeaikaiset suosittelujärjestelmiin liittyvät tutkimukset ovat osoittaneet, että uusimmilla menetelmillä saavutetut suorituskyvyn parannukset voivat aiheutua offline-tilassa toimivien-arviointiprotokollien virheellisestä soveltamisesta. Nämä tulokset korostavat arvioinnin sekä metodologisten että ulkoisten näkökohtien mahdollisuutta vaikuttaa saatuihin tuloksiin. Lisäksi tietyt suosittelutehtävät, kuten peräkkäinen suosittelu ja monialainen suosittelu, aiheuttavat arvioinnille ainutlaatuisia ja vähän tutkittuja haasteita.
Tässä väitöskirjassa esittelemme sarjan tutkimuksia, joissa tarkastellaan arvioinnin eri näkökohtia top-n-suosittelussa, peräkkäisessä suosittelussa ja monialaisessa suosittelussa. Ensimmäisessä tutkimuksessa tarkasteltiin top-n-suosittelussa käytettyjä otantapohjaisia arviointimittareita. Tuloksemme osoittavat, että otantapohjaiset mittarit ovat samankaltaisempia perinteisten (otantaa sisältämättömiin) mittareiden kanssa kuin, mitä aiemmissa tutkimuksissa on havaittu. Lisäksi otantapohjaiset mittarit tarjoavat lisäetuja, kuten paremman suositusten erottelukyvyn sekä suuremman virheensietokyvyn suosituimmuusharhaa vastaan. Toisessa tutkimuksessa tarkasteltiin, kuinka peräkkäisten suosittelijoiden offline-arvioinnissa yleisesti käytetty datan jakamistapa aiheuttaa tietovuotoa, mikä tekee strategiasta vakavasti virheellisen ja johtaa suosittelun suorituskyvyn merkittävään yliarviointiin. Kolmannessa tutkimuksessamme tarkastellaan käyttäjien käsityksiä monialaisista suosituksista. Tulokset osoittavat, että pelkkä maininta siitä, että suositukset perustuvat toisen alan tietoihin, muutti merkittävästi käyttäjien käsityksiä suosituksista, mikä heikensi sekä luottamusta että kiinnostusta niihin. Viimeisessä tutkimuksessamme ehdotamme uutta meta-arviointikehystä, joka pohjautuu psykometrisiin arviointitekniikoihin ja jota voidaan käyttää offline-arvioinnin eri näkökohtien tutkimiseen. Näitä ovat muun muassa arviointimittarit, datajoukkojen tietosisältö sekä kohteiden suosion ja käyttäjien sitoutumisen rooli suosituksissa.
Tämä väitöskirja edistää ymmärrystä suosittelujärjestelmien moninaisista arviointihaasteista. Tulokset herättävät kriittistä huolta arviointikäytäntöjen luotettavuudesta ja osoittavat, että tavanomaiset arviointimenetelmät voivat johtaa kyseenalaisiin tai harhaanjohtaviin tutkimustuloksiin. Lisäksi väitöskirja tarjoaa näkemyksiä siitä, miten arviointia voidaan kehittää useissa eri suosittelutehtävissä.
Väitöskirjan saatavuus
Väitöskirjan elektroninen versio tulee olemaan saatavilla Helsingin yliopiston avoimessa julkaisuarkistossa Heldassa osoitteessa http://urn.fi/URN:ISBN:978-952-84-1350-9.
Painettuja väitöskirjoja voi tiedustella väittelijältä itseltään: yang.liu@helsinki.fi.