M.A. Anisia Katinskaia puollustaa väitöskirjaansa "Assessing Learner Answers in Computer-Aided Language Learning" perjantaina 25.4.2025 klo 10 Helsingin yliopiston Unioninkatu 35 -rakennuksen auditoriossa 116 (Unioninkatu 35, 1. kerros). Vastaväittäjänä toimii apulaisprofessori Helen Yannakoudakis (King's College London, Iso-Britannia) ja kustoksena professori Petri Myllymäki (Helsingin ylipisto). Väitöstilaisuus pidetään englanniksi.
Anisia Katinskaian väitöskirja on osa Helsingin yliopiston tietojenkäsittelytieteen osastolla ja digitaalisten ihmistieteiden osastolla tehtävää tutkimusta. Väitöskirjan ohjaajana on toiminut professori Roman Yangarber (Helsingin yliopisto).
Oppijoiden vastausten arviointi tietokoneavusteisessa kielenoppimisessa
Kielten teknologian, etäopetuksen ja opiskelijaliikkuvuuden kasvaessa kiinnostus tietokoneavusteiseen kielenoppimiseen (CALL) on lisääntynyt. Revita on CALL-järjestelmä, joka keskittyy erityisesti edistyneiden oppijoiden tarpeisiin. Tässä väitöskirjassa tutkitaan, kuinka voidaan arvioida oppijoiden vastauksia kielioppiharjoituksiin, jotka Revita tuottaa käyttäjän valitsemien tekstien perusteella. Tällainen joustava harjoitusten generointitapa johtaa usein useisiin kieliopillisesti ja semanttisesti oikeisiin vastauksiin, joita kutsutaan vaihtoehtoisesti oikeiksi (AC, alternative-correct) vastauksiksi.
Väitöskirjassa esitetään yleiskatsaus CALL-järjestelmiin, niiden rakenteeseen ja toimintaan painottaen erityisesti "tietokone opettajana"-lähestymistapaa. Tämän jälkeen kuvataan Revita-järjestelmän keskeiset periaatteet ja komponentit, erityisesti kielitieteelliset rakenteet, jotka vaikuttavat harjoitusten generointiin, palautteeseen ja oppijan mallintamiseen. Tämän jälkeen väitöskirjassa kuvataan ReLCo-oppijakorpuksen kokoaminen ja annotointi. Korpus on luotu Revitan vastaustietokannan pohjalta. Väitöskirjassa esitetään myös yleisimpien AC-vastausten typologia, joka tunnistettiin annotointiprosessin aikana.
Oppijavastausten arviointia lähestytään väitöskirjassa kolmella menetelmällä. Ensimmäinen menetelmä on sekvenssiluokittelu, jossa arvioidaan, onko koko lause — oppijan vastauksen sisältäen — kieliopillisesti oikea. Toinen menetelmä on kielioppivirheiden tunnistus (GED), jossa yksittäiset sanat tai ilmaukset luokitellaan joko kieliopillisiksi tai virheellisiksi. GED mahdollistaa useiden vastausten samanaikaisen arvioinnin ja antaa arvion mallin ennusteen epävarmuudesta. Kolmantena menetelmänä käytetään kielioppivirheiden korjausta (GEC), jonka lähtöoletuksena on, että oikeita vastauksia ei tulisi muokata korjausmallin toimesta. Käytämme kokeissa T5-pohjaista GEC-mallia, jota hienosäädetään sekä synteettisellä että todellisella oppija-aineistolla, sekä käyttäen uudelleenarviointia (re-ranking) että ilman sitä. Sekä automaattinen että manuaalinen arviointi osoittavat, että AC-vastausten arviointi on GEC-malleille haastavampaa kuin selkeiden virheiden tunnistaminen.
Tämän jälkeen työssä keskitytään tiettyyn AC-vastaustyyppiin, joka liittyy verbin aspektiin. Tutkimme, kuinka useat Transformer-mallit koodaavat aspektia käyttäytymis- ja kausaalipohjaisten luotausmenetelmien (probing methods) avulla. Aspektin tutkimiseksi ehdotamme interventioita, jotka kohdistuvat kontekstissa ilmenevään rajaavuuden (boundedness) semantiikkaan. Tuloksemme osoittavat, että aspektin kategoria on mallien sisäisissä esityksissä linjassa kielitieteellisen teorian kanssa. Kuitenkin kontekstit, joissa vaihtoehtoisesti oikeat aspektimuodot ovat mahdollisia, ovat erityisen haastavia sekä neuroverkkopohjaisille malleille että ihmisille, koska niissä ei ole selkeitä vihjeitä siitä, onko kuvattu toiminta rajoitettu vai ei. Nämä luotauskokeet osoittavat, että eri AC-vastaustyypit vaativat erillistä tarkastelua.
Väitöskirjan saatavuus
Väitöskirjan elektroninen versio tulee olemaan saatavilla Helsingin yliopiston avoimessa julkaisuarkistossa Heldassa osoitteessa http://urn.fi/URN:ISBN:978-952-84-1303-5.
Painettuja väitöskirjoja voi tiedustella väittelijältä itseltään: anisia.katinskaia@helsinki.fi