DigiTala-hankkeessa tutkittiin keväällä 2022, miten opettajat suhtautuvat ryhmän pilotoimaan Moodle-työkaluun ja sen tuottamaan suullisen kielitaidon automaattiseen arviointiin. Tutkimukseen osallistui neljä opettajaa, jotka työskentelivät tutkimushetkellä lukiossa tai korkeakoulussa suomen- tai ruotsinopettajina. Haastattelut toteutettiin Zoomin välityksellä ja niissä esiteltiin tutkimusavustajan valmiiksi tekemän suorituksen saamaa palautetta DigiTala-työkalussa.
Tutkimuksessa selvisi, että opettajat näkevät monia mahdollisuuksia ja hyötyjä puheen automaattisessa arvioinnissa. Automaattinen arviointi voisi mahdollistaa opiskelijan itsenäisen harjoittelun niin, että omista suorituksista saisi myös palautetta ja arviota eri kielitaidon osa-alueilta. Opettajat kokivat tämän ominaisuuden hyödylliseksi esimerkiksi opiskelijoiden kotitehtävissä, osana lukion opetussuunnitelmassa mainittua kieliprofiilia tai valmistauduttaessa arvioitaviin suullisiin kokeisiin.
Haastatellut opettajat painottivat kuitenkin opettajan roolia arvioinnin täydentäjänä. Koneen antama palaute yksinään saattaisi opettajien mukaan jopa laskea opiskelijan itsetuntoa, jolloin opettajaa kaivattaisiin pehmentämään tai selittämään koneen antamaa palautetta. Opettajat myös kokivat tärkeäksi, että työkalussa on annettu opettajalle mahdollisuus korjata tai kommentoida koneen antamaa palautetta. Heidän kokemuksensa perusteella opiskelijatkin kaipaavat suorituksistaan yksityiskohtaisempaa palautetta.
Teknologia voi opettajien mielestä tuoda mukanaan omat hankaluutensa: Puhesuorituksista syntyneiden äänitiedostojen siirtely Moodlesta muille alustoille voi olla monimutkaista. Opettajat myös tiedostivat osan opiskelijoista olevat tietotekniikkavastaisia. Lisäksi arvioinnin monipuolisuus ja oikeudenmukaisuus mietityttivät opettajia, mikä on tullut esiin myös aiemmissa tutkimuksissa.
Opettajat käyttäisivät omassa arvioinnissaan melko samansuuntaisia puheen ulottuvuuksia kuin DigiTala-työkalun analyyttisessa arviossa: sujuvuus, ääntäminen, tehtävänantoon vastaaminen ja laajuus. Toisaalta haastatteluissa selvisi, että opettajat saattavat käsittää nämä ulottuvuudet hieman toisistaan poikkeavilla tavoilla.
Opettajat kiinnittivät huomiota siihen, että eri tasoisten opiskelijoiden puhesuorituksia painotetaan hieman eri tavoin, mitä DigiTala-työkalu ei ainakaan toistaiseksi tee. Esimerkiksi eräs opettajista otti arvioinnissaan sanaston laajuutta huomioon lähinnä vain harjaantuneemmilla kielenoppijoilla.
Arviointiasteikon skaalautuvuus käyttäjän toiveiden mukaan oli ominaisuus, jota opettajat jäivät työkalussa kaipaamaan. Työkalun tekemää holistista arviota, joka annetaan taitotasoilla alle A1–C2, pidettiin hyödyllisenä, sillä lukion kielitaidon kokeen uudistuessa suorituksesta tulisi antaa myös taitotasoarvio. Opettajien vastausten perusteella taitotasot eivät ole tulleet opiskelijoille kovinkaan tutuksi, ja DigiTala-työkalu voisi auttaa ymmärtämään osaamisen ja taitotasoarvion yhteyttä.
Haastattelut osoittivat, että DigiTalan kaltaiselle automaattisen arvioinnin työkalulle olisi koulumaailmassa useita sovellusmahdollisuuksia. Lisää tutkimuksesta voi lukea AFinLA:n verkkoartikkelista.