Huvudmålet med DigiTala-projektet är att utveckla ett hjälpmedel som utnyttjar automatisk taligenkänning och som sedan kunde användas i bedömning av muntlig språkfärdighet. För att artificiell intelligens kan fungera som hjälp i bedömningen, ska det läras ut med lämpligt material. Experternas bedömningar i talproven är en viktig del av undervisningsmaterialet.
18 experter bedömde drygt 2000 talprestationer i december. Där svarade språkinlärare på korta reaktionsuppgifter. Talmaterialet hade samlats in under DigiTalas första skede 2015–2017 där gymnasister som studerade svenska som andra inhemska språk pratade svenska.
Erfarna experter bedömer talprov på Moodle
Största delen av experterna rekryterades bland personer som bedömer den allmänna språkexamen på svenska. Därtill deltog några svenskalärare i bedömningen. Även fyra experter i svenska språket som samtidigt jobbar med DigiTala-projektet var med att bedöma talproven.
Vi delade ut talproven till människobedömare så att bedömningarna förknippades med varandra. Systematiska överlappningar möjliggör undersökning av kvaliteten på bedömningar och enighet mellan bedömarna i efterhand. Varje rekryterad expert bedömde i genomsnitt 280 inspelningar.
Bedömarna jobbade på den digitala Moodle-plattformen där de talproven som skulle bedömas hittades. Även instruktioner för bedömningen och bedömningskriterier samt exempelprestationer på olika färdighetsnivåer (A1–B2) var tillgängliga där. Dessa så kallade landmärken hjälper bedömare i sitt arbete eftersom det talprov som ska bedömas kan jämföras med ett landmärke.
Varje inspelning får en färdighetsnivå och en analytisk bedömning
Bedömningskriterierna består av holistisk bedömning av färdighetsnivå (under A1-C1) och fem analytiska kriterier. Bedömningskriterierna skapades enligt den tidigare läroplanen för gymnasiet (LOPS 2003). Där beskrivs talande på ett sätt som passar bättre vårt projekt vilket befattar språkteknologi och bedömning av språkfärdighet.
Styrka i den nuvarande läroplanen (LOPS 2015) är i interaktionen. Bägge läroplan är finska tillämpningar av den Europeiska referensramen (GERS 2003).
De analytiska kriterierna formades på basis av mål för vårt projekt. Projektet fokuserar särskilt på bedömning av uttal, vokabulär, grammatik och flyt på andra och främmande språk.
Bedömare utbildades på Zoom
Före Moodle-bedömningar organiserades en distansutbildning för experterna på Zoom. I den dryg timme långa utbildningen diskuterades instruktioner och kriterier för bedömningen. Enligt instruktionerna och kriterierna poängsatte bedömarna exempeltalprov anonymt varefter det tillsammans diskuterades resultat av bedömningen. Målet med utbildningen var att nå så pålitlig och jämlik människobedömning som möjligt.
Efter att ha bedömt talproven – dvs. att ha presterat Moodle-tentamen – svarade bedömarna på en enkät. Enkätsvaren och feedback som bedömarna gav är viktiga i utveckling av både provuppgifter och bedömningskriterier.
Mer information om bedömning av talproven: anna.vonzansen@helsinki.fi