Tässä systemaattisessa katsauksessamme tarkastelimme opettajien käyttöön tarkoitettujen 9–12-vuotiaiden lasten peruslaskutaitojen mittaamiseen tarkoitettujen arviointivälineiden psykometrisia ominaisuuksia. Systemaattinen katsaus toteutettiin ja raportoitiin PRISMA raportointiohjeiden mukaisesti. Katsauksessa käytettiin COnsensus based Standards for the selection of health Measurement INstrument (COSMIN) -taksonomian (Mokkink ym., 2018) mukaista terminologiaa. Yksittäisten psykometristen ominaisuuksien lisäksi tarkasteltiin arviointivälineiden yleistä metodologista laatua QualSyst-menetelmää (Kmet ym., 2004) käyttäen. Kriteereitä vastaavia tutkimuksia haettiin viidestä tieteellisten artikkeleiden tietokannasta. Tietokannoista löytyneistä 4071 tutkimuksesta 21 tutkimusta vastasi hakukriteereitä ja näin ollen sisällytettiin mukaan katsaukseen. Tutkimuksissa oli mukana 18 arviointivälinettä. Tutkimukset näiden arviointivälineiden psykometrisista ominaisuuksista oli julkaistu englanninkielisissä vertaisarvioiduissa lehdissä. Katsaukseen ei sisällytetty arviointivälineiden käsikirjoja, kokoomateosten lukuja tai väitöskirjoja.
Katsauksessa mukana olleilla arviointivälineillä arvioitiin lasten matemaattisia taitoja hyvin erilaisilla tehtävillä, arvioinnin aikarajat vaihtelivat samoin kuin tavoitteet. Mukana oli niin opetussuunnitelmiin pohjautuvia mittareita, seuloja kuin diagnosointiin tarkoitettuja arviointivälineitä.
Tulokset osoittivat, että arviointivälineistä raportoitiin niiden psykometrisia ominaisuuksia melko rajoittuneesti: vain kolmessa 18:sta arviointivälineestä psykometriset ominaisuudet olivat lupaavia. COSMIN taksonomia painottaa sisältövaliditeetin tärkeyttä, sitä kattaako mittarin tehtävät tarpeeksi laajasti tutkittavan käsitteen ja ymmärretäänkö tehtävä tarkoitetun mukaisesti. Katsauksessa mukana olleista arviointivälineistä viidestä raportoitiin sisällönvaliditeettia. Yleisimmin raportoitiin arviointivälineiden sisäiseen yhtenäisyys, esimerkiksi Cronbachin alfa -arvo. Rakennevaliditeetti (structural validity) raportoitiin 11 arviointivälineestä: COSMIN taksonomian mukaan konfirmatorinen faktorianalyysi ja IRT ovat parhaat menetelmät rakennevaliditeetin tarkasteluun. Rinnakkaisvaliditeetti (convergent validity) eli se, missä määrin mittarin tulokset ovat yhtäpitäviä toisen, samaa ilmiötä mittaavan mittarin kanssa, raportoitiin 11 mittarin osalta. Arviointivälineiden luotettavuustarkasteluun liittyy myös mittaustulosten toistettavuus joko mittauskertojen tai arvioitsijoiden välillä, joita oli raportoitu kuudesta arviointivälineestä. Mittausvirhettä, sen systemaattisuutta tai satunnaisuutta, ei raportoitu yhdestäkään arviointivälineestä. Vaikka katsauksessa mukana olleiden arviointivälineiden yksittäisten psykometristen ominaisuuksien raportoinnissa olikin puutteita, tulokset Qualsyst (Kmet et al., 2004) analyysista osoittivat, että mukana olleet arviointivälinnet olivat yleisesti ottaen metodologiselta laadultaan vahvoja.
Systemaattinen katsauksemme on julkaistu maaliskuussa 2023 International Journal of Educational Research -lehdessä. Lehti julkaisee kasvatukseen ja opetukseen liittyviä tieteellisiä tutkimuksia monenlaisista aihealueista. Julkaisufoorumin arvion mukaan International Journal of Educational Research on johtavan tason lehti (JUFO 2) ja sen vaikuttavuuskerroin (impact factor) on 2.845. Systemaattinen katsaus on avoimesti kaikkien luettavissa täällä.
Lähteet:
Hakkarainen, A., Cordier, R., Parsons, L., Yoon, S., Laine, A., Aunio, P., & Speyer, R. (2023). A systematic review of functional numeracy measures for 9–12-year-olds: Validity and reliability evidence. International Journal of Educational Research, 17, 102172. https://doi.org/10.1016/j.ijer.2023.102172
Kmet, L. M., Lee, R. C., & Cook, L. S (2004). Standard quality assessment criteria for evaluating primary research papers from a variety of fields. Alberta Heritage Foundation for Medical Research (AHFMR). AHFMR - HTA Initiative #13 http://www.ihe.ca/advanced-search/standard-quality-assessment-criteria-…-
evaluating-primary-research-papers-from-a-variety-of-fields.
Mokkink, L. B., de Vet, H. C. W., Prinsen, C. A. C., Patrick, D. L., Alonso, J., & Bouter, L. M. (2018). COSMIN risk of bias checklist for systematic reviews of patient-reported outcome measures. Quality of Life Research, 27, 1171–1179. https://doi.org/10.1007/s11136-017-1765-4