Moodlessa käytettävää DigiTala-työkalua testattiin lukioissa ja korkeakouluissa keväällä 2023. Testaamisen tarkoituksena oli selvittää DigiTala-työkalun ja arviointimallien vahvuuksia ja heikkouksia. Testauksessa oli mukana yhdeksän eri opiskelijaryhmää, joista suomen kielen opiskelijoita oli viisi ja ruotsin opiskelijoita neljä ryhmää. Ryhmissä oli vaihtelevasti noin 5-20 opiskelijaa.
DigiTala-tutkimushankkeen tutkimusavustaja kiersi kevään aikana ryhmissä ohjaamassa testaamista. Aluksi ryhmille kerrottiin DigiTala-tutkimushankkeesta yleisesti ja sen jälkeen opastettiin tarkemmin työkalun käyttöön. Opiskelijat suorittivat kaksi DigiTala-tehtävää Moodlessa: yhden ääneenlukutehtävän ja yhden vapaan tuoton tehtävän. Opiskelijat saivat suorituksistaan niiden palauttamisen jälkeen koneen tuottaman arviointiraportin, jossa pisteytettiin ja arvioitiin sanallisesti puheen eri ulottuvuuksia, kuten sujuvuutta ja ääntämistä. Lisäksi vapaan tuoton tehtävistä saa myös holistisen arvioinnin, joka arvioi opiskelijan osaamista Eurooppalaisella kielitaidon viitekehyksen taitotasoilla A1–C2.
Testaamisen jälkeen opiskelijat vastasivat Webropol-kyselyyn, jossa kysyttiin testaajien mielipiteitä työkalun eri puolista: käyttökokemuksesta, teknisistä näkökulmista ja arviointiraportista. Lisäksi opiskelijat saivat lopussa esittää omia parannusehdotuksiaan työkalulle. Kyselyyn saatiin 80 vastausta opiskelijoilta.
Palaute kaikilla kyselyn osa-alueilla oli hyvin positiivista. Tämä siitäkin huolimatta, että ruotsin kielen ryhmissä oli tiettyjä vaikeuksia työkalun ja arviointipalvelin yhteistoiminnan kanssa niin, että kaikki opiskelijat eivät saaneet kattavia arviointeja kaikista puhesuorituksensa ulottuvuuksista. Opiskelijat kokivat työkalun käytön enimmäkseen selkeäksi ja sujuvaksi. Arviointiraportti saatiin suurimman osan mielestä sopivan nopeasti ja sen sisältö koettiin vähintään melko hyödylliseksi.
Suomen ja ruotsin ryhmien välillä oli eniten eroa siinä, vastasiko automaattinen arviointi käsitystä omasta kielitaidosta ja jäikö opiskelija kaipaamaan vielä ihmisarviointia koneen arvioinnin lisäksi. Suomenoppijoista noin kolme neljäsosaa piti automaattista arviointia samansuuntaisena oman kielitaitotasoarvion kanssa ja lähes yhtä moni piti automaattista arviointia riittävänä eikä kaivannut ihmisarviota sen lisäksi. Ruotsinoppijoista taas vain puolet kertoi automaattisen arvioinnin vastaavan heidän omaa käsitystään kielitaitonsa tasosta ja yli neljä viidesosaa jäi kaipaamaan myös ihmisen arviointia. Tämä ero voi hyvin selittyä teknisillä ongelmilla, joita automaattisessa arvioinnissa oli nimenomaan ruotsin kielen ryhmissä.
Käyttäjätestaukset osoittavat, että automaattiseen puheen arviointiin ja DigiTala-työkaluun suhtaudutaan hyvin positiivisesti, mutta kehitettävääkin vielä on. Tunnettuja ongelmia, jotka ilmenivät myös testauksissa, ovat olleet esimerkiksi työkalun soveltumattomuus tietyille selaimille ja mobiililaitteille. Lisäksi osa opiskelijatestaajista koki joitain käyttöliittymän elementtejä epämiellyttäväksi: nappulat olivat paikoin liian lähellä toisiaan, siirtymät eri osioiden välillä epäselviä ja työkalun väritystä voisi vielä viilata. Kaikkiaan testauksista jäi kuitenkin positiivinen vaikutelma niin testaajille kuin opiskelijaryhmillekin. Käyttäjät antoivat arvokkaita näkökulmia työkalun jatkokehitystä varten.