Kielipankissa: Tamás Grósz

Kuka olet?

Nimeni on Tamás Grósz, ja työskentelen akatemiatutkijana Aalto-yliopiston informaatio- ja tietoliikennetekniikan laitoksen .

Mikä on tutkimuksesi aihe?

Väitöskirjatyöni aikana keskityin tutkimuksessani puheteknologiaan, erityisesti uusien syväoppimispohjaisten ratkaisujen kehittämiseen automaattista puheentunnistusta (ASR) varten. Vaikka akustinen mallintaminen olikin pääasiallinen kiinnostuksen kohteeni, olin aktiivinen myös muilla alueilla. Minua kiinnosti erityisesti paralingvistiikka, ja työskentelin erilaisten siihen liittyvien tehtävien parissa. Osallistuin säännöllisesti -haasteisiin ja menestyin niissä parhaiten useita kertoja vuosien varrella. Kenties merkittävin järjestelmistämme on se, joka arvioi automaattisesti Parkinsonin tautia sairastavien potilaiden tilaa. Haastekilpailujen lisäksi olin mukana myös hankkeessa, jossa kehitettiin puhepohjaista ratkaisua lievän kognitiivisen heikentymisen varhaiseen havaitsemiseen. Opintojeni viimeisinä vuosina keskityin hiljaisen puheen käyttöliittymiin. Pääsin työskentelemään huipputason prototyyppien parissa ja kehittämään uusia järjestelmiä, jotka pystyivät tuottamaan puhetta ultraäänellä kuvatuista kielenliikevideoista.

Väitökseni jälkeen liityin Mikko Kurimon tutkimusryhmään post doc -tutkijaksi, jossa minulla oli mahdollisuus työskennellä muiden aiheiden, kuten kielen mallintamisen ja tekoälyn selitettävyyden, parissa. Aluksi työstin koneoppimispohjaisia kielimalleja agglutinatiivisille kielille, kuten unkarille ja suomelle. Kun työskentelin erilaisten mallien parissa, huomasin kurssioppimisen (engl. curriculum learning) merkityksen kielimallin koulutuksessa. Tästä eräänlaisen oheishankkeena olen alkanut tutkia erilaisia arviointitapoja harjoitusnäytteiden vaikeustason määrittämiseen sekä koota uusia kurssisuunnitelmia tekoälymallien kouluttamiseen.

Samoihin aikoihin työskennellessäni hankkeissa, kuten , ja , opin lisää
automaattisesta lasten puheen tunnistuksesta, puheen arvioinnista ja työkaluista, jotka voivat auttaa kielenoppijoita. Parhaat mallimme on onnistuneesti integroitu , joka voi auttaa maahanmuuttajia suomen kielen oppimisessa.

Vuonna 2022 kehitimme järjestelmän, joka pystyy tunnistamaan erilaisia änkytyksen muotoja (esim. sanan/lausekkeen toistoa, pidentymistä, äänteiden toistoa), ja voitimme sillä INTERSPEECH 2022 Stefan Steidl Computational Paralinguistics Award -palkinnon. Myöhemmin tutkimme, miten puhujan tunnetila voidaan tunnistaa ei-verbaalisista ääni-ilmaisuista (kuten naurusta, itkusta, huokauksesta ja huudosta). Järjestelmämme saavutti molemmissa haastetehtävissä ensimmäisen sijan ACMMM CompParE -kilpailussa. Sittemmin olen työskennellyt myös multimodaalisten ratkaisujen parissa tunteiden ja huumorin tunnistamiseksi.

Nykyinen työni keskittyy pääasiassa itseohjautuvien perusmallien kouluttamiseen ja niiden ymmärtämiseen osana – ja . Selitettävä tekoäly (XAI) ja mallitulkinta ovat olleet pitkäaikaisia kiinnostuksen kohteitani, ja näiden uusien mallien ja laskennallisten resurssien myötä minulle tarjoutui mahdollisuus tutkia uusia tekniikoita. Viime aikoina olen kehittänyt menetelmiä siihen, kuinka suurten perusmallien sisältä voidaan löytää merkityksellisiä aliavaruuksia ja tutkia mallien valmistavan koulutuksen aikana löytämiä käsitteitä sekä ymmärtää hienosäätöprosessin aiheuttamia muutoksia. Näiden tekniikoiden avulla olemme pystyneet ymmärtämään mallejamme paremmin ja tämä on vienyt meitä eteenpäin uusien, parempien koulutusalgoritmien suunnittelussa.

Miten Kielipankki liittyy tutkimukseesi?

Koska nykyaikaiset puheentunnistimet vaativat huomattavan määrän dataa, etusijalle nousi tähän soveltuvien korpusten kokoaminen ja annotoiminen. Vuonna 2020 liityin työryhmään, joka koosti (puhelahjat). Tämä korpus, jossa on noin 3200 tuntia lahjoitettua puhetta, mahdollisti useita muita hankkeita, kuten FinW2V2-hankkeemme LUMIssa. Puhelahjat-aineiston ja Aallon eduskunnan istunnoista 2008-2020 kokoaman avulla olemme vuosien varrella kehittäneet useita ASR-järjestelmiä suomen kielelle.

Tällä hetkellä olen mukana myös , jossa rakennetaan suuria puheperusmalleja ja tuodaan niitä myös yrityskumppaneiden käyttöön.

Viimeaikaisia julkaisuja

Getman, Y., Grósz, T., Hiovain-Asikainen, K. & Kurimo, M. (2024), , in Proc. of Interspeech.

Karakasidis, G., Kurimo, M., Bell, P. & Grósz, T. (2024), , Speech Communication p. 103113.

Moisio, A., Porjazovski, D., Rouhe, A., Getman, Y., Virkkunen, A., AlGhezi, R., Lennes, M., Grósz, T., Linden, K. & Kurimo, M. (2023), , Language Resources and Evaluation 57(3), 1295–1327.

Phan, N., von Zansen, A., Kautonen, M., Grósz, T. & Kurimo, M. (2024), , in Proc. of Interspeech.

Virkkunen, A., Sarvas, M., Huang, G., Grósz, T. & Kurimo, M. (2024), , in Proc. of IEEE ICASSP 2024, pp. 11196–11200.

Getman, Y., Phan, N., Al-Ghezi, R., Voskoboinik, E., Singh, M., Grósz, T., Kurimo, M., Salvi, G., Svendsen, T., Strömbergsson, S. et al. (2023), , in IEEE Access.

Grósz, T., Getman, Y., Al-Ghezi, R., Rouhe, A. & Kurimo, M. (2023), , in Proc. of Interspeech.

Grósz, T., Virkkunen, A., Porjazovski, D. & Kurimo, M. (2023), , in Proc. of the 4th Multimodal Sentiment Analysis Challenge and Workshop, pp. 27–34.

Porjazovski, D., Getman, Y., Grósz, T. & Kurimo, M. (2023), , in Proc. of the 31st ACM International Conference on Multimedia, pp. 9477–9481.

Aineistoja

eli suomalaisten yliopistojen, CSC – Tieteen tietotekniikan keskuksen ja Kotimaisten kielten keskuksen muodostama konsortio auttaa ihmistieteiden tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan tutkimusaineistoja. Aineistoja ja työkaluja tarjoaa .