Yhteistyössä Itä-Suomen yliopiston Laskennallisen puheen tutkimusryhmän kanssa koottu AVOID-korpus on arvokas aineisto muunnellun puheäänen tutkimiseen.
Kuka olet?
Olen Rosa González Hautamäki, tutkijatohtori
Mikä on tutkimuksesi aihe?
Tutkimukseni keskittyy puhujan tunnistamisen yhteydessä ilmenevään puhujakohtaiseen vaihteluun. Puhe on kompleksinen signaali, joka vaihtelee useiden tekijöiden, kuten iän, terveydentilan ja tunnetilan mukaan. On siis odotettavissa, ettei puhuja lausu samaa ilmausta täsmälleen samalla tavalla useita kertoja. Jatko-opintojeni aikana tutkin äänimuuntelun vaikutuksia äänivertailuihin, joita suorittivat kuuntelijat tai automaattiset järjestelmät. Keskityin alkuperäisessä tutkimuksessani matkimiseen ja äänen naamioimiseen, sillä on otettava huomioon, etteivät kaikki puhujat välttämättä ole yhteistyöhaluisia ollessaan vuorovaikutuksessa puhujantunnistusjärjestelmien kanssa. Tutkimuksemme osoitti, että yksinkertaisetkin tekniikat oman äänen naamioimiseksi voivat heikentää automaattisten järjestelmien suorituskykyä ja samalla vaikeuttaa puhujavertailun tekemistä myös kuuntelijoille.
Sittemmin puhujakohtaista vaihtelua koskevissa tutkimuksissani olen keskittynyt tunnistamaan tekijöitä, jotka vaikuttavat puhujan todennuksen onnistumiseen, sisältäen niin tahalliset kuin tahattomatkin äänenmuunnokset. Nämä havainnot ovat tärkeitä myös silloin, kun analysoidaan puhetta muissa puheteknologisissa tarkoituksissa, kuten puhehuijaushyökkäysten tai puheen kuulonvaraisen havaitsemisen tutkimuksessa. Kun tutkitaan automaattisten järjestelmien tekemien päätöksiin vaikuttavia tekijöitä, voidaan parantaa järjestelmien luotettavuutta.
Tällä hetkellä käytän puheanalyysiin liittyvässä tutkimuksessani esimerkiksi koneoppimismalleja, joiden aineisto on peräisin arvioinneista, joita on käytetty tunnistamaan lasten kielellisiä kehityshäiriöitä. On hienoa saada olla mukana motivoituneessa tutkijaryhmässä, joka tutkii puhetta sekä keinoja lasten puheenkehityksen parissa työskentelevien tukemiseen.
Miten Kielipankki liittyy tutkimukseesi?
Väitöstutkimukseni aikana tein yhteistyötä Itä-Suomen yliopiston
Eräässä tutkimuksessa käytimme AVOID-korpusta analysoidaksemme tiettyjen akustisten piirteiden muutosten vaikutusta automaattisiin puhujantunnistusjärjestelmiin ja havaitsimme, että ero pitkän aikavälin perustaajuudessa (F0) haittasi puhujan tunnistamista eniten myös silloin, kun automaattisessa järjestelmässä hyödynnettiin äänen spektraalisia piirteitä.
Toisessa tutkimuksessa, jossa käytettiin AVOID-korpusta, arvioimme ikään liittyvien stereotypioiden toimivuutta äänen naamioimisstrategiana puhujia vertailtaessa. Kuuntelijat arvioivat sekä puhujan todellista ikää että hänen esittämäänsä ikää, kun hän yritti kuulostaa lapselta tai vanhukselta. Tulokset osoittivat, että kuuntelijoiden tekemät ikäarviot naispuolisten puhujien esittämistä äänistä osuivat lähemmäs puhujien tavoittelemaa kohdeikää, kun taas miespuolisista puhujista tehdyt ikäarviot vastasivat puhujien tavoitteita vain vanhusäänien osalta.
Kaiken kaikkiaan AVOID-korpus on arvokas aineisto ihmisten itse muunnellun puheäänen tutkimukseen. Toivomme, että jatkotutkimusten myötä olisi mahdollista rakentaa järjestelmiä, jotka ovat kyvyiltään entistä vakaampia naamioituja ääniä kohtaan.
Julkaisuja
González Hautamäki, R., Hautamäki, V., and Kinnunen, T. (2019). ”
González Hautamäki,R., Sahidullah, Md., Hautamäki, V., and Kinnunen,T. (2017). ”
González Hautamäki, R., Sahidullah, Md., Kinnunen, T., and Hautamäki, V (2016). ”
González Hautamäki, R., Kanervisto, A., Hautamäki, V., and Kinnunen, T. (2018). ”