I sin nya studie analyserade forskarna i DigiTala-projektet de mänskliga bedömarnas åsikter och erfarenheter av den digitalt implementerade bedömningsprocessen. De flesta av bedömarna var nöjda med de program som användes i bedömningen och själva bedömningsprocessen. Som en del av studien anordnades tre bedömningsomgångar där 36 bedömare deltog.
De flesta av bedömarna ansåg att instruktionerna de fick för bedömningen var tydliga. Bedömningarna samlades på Moodle-plattformen, som huvudsakligen visade sig vara lätt att använda. Navigeringsvyn för Moodle-provet visade sig vara särskilt användbar.
Majoriteten av bedömarna hade en positiv eller neutral inställning till automatisk bedömning. Automatiserad bedömning ansågs lämplig för att stödja eller komplettera bedömning gjord av en människa. Bedömningen sågs också som en möjlighet att förbättra bedömningens tillförlitlighet.
Som en utmaning ansågs de bedömarna till exempel hur olika talare med olika bakgrund har tagits i beaktande.
Bedömning av flyt upplevdes som ganska enkel, även om några av bedömarna skulle ha behövt tydligare instruktioner om användningen av olika kriterier vid bedömning av talprov.
Bland talets aspekter av talet ansåg bedömarna att det viktigaste var interaktion, uppdragets fullgörande, uttryckets omfattning och bedömningen av flyt. Uttal och korrekthet av ordförråd och strukturer ansågs vara minst viktiga.
Läs mera om temat: Maskindriven bedömning lärs ut med hjälp av 18 människobedömare