Kuka olet?
Olen fonetiikan yliopistonlehtori Helsingin yliopistossa, jossa olen työskennellyt vuodesta 2013 lähtien. Sitä ennen opiskelin ja työskentelin useissa yliopistoissa Slovakiassa, Irlannissa ja Saksassa sekä toimin useita vuosia kieliasiantuntijana Microsoftilla. Tällä hetkellä minulla on myös kunniaprofessuuri Intian teknillisessä instituutissa Guwahatissa. Taustani on matematiikassa, kognitiotieteessä ja fonetiikassa.
Kuulun fonetiikan ja puhesynteesin tutkimusryhmään digitaalisten ihmistieteiden laitoksella, mutta olen tällä hetkellä mukana myös ERC Advanced Grant -rahoitetussa hankkeessa (johtajana professori Alice Turk) Edinburghin yliopistossa, jossa tutkimme ja mallinnamme puheen tuottamisen ja artikulaation taustalla olevia kognitiivisia prosesseja.
Mikä on tutkimuksesi aihe?
Minua kiehtoo ihmisen puheen tutkimus. Puheen artikulaation lisäksi sekä oma että ryhmämme tärkein tutkimusaihe on puheen prosodia, eli pohjimmiltaan kaikki ne puheen melodiset, rytmiset ja emotionaaliset piirteet, jotka ulottuvat pidemmälle kuin pelkkä puheessa välittämämme kielellinen viesti. Nykyisessä hankkeessamme työskentelemme uudenlaisen puhesynteesiarkkitehtuurin parissa, jonka innoituksena on toiminut vaikutusvaltainen teoreettinen paradigma ennakoiva prosessointi (Predictive Processing), jolla voidaan mallintaa ihmisen kognitiota. Tärkein tavoitteemme on tuottaa kansainvälisen tason puhesynteesi, ja tiimimme on jo ollutkin mukana luomassa huippuluokan suomen- ja suomenruotsin synteesijärjestelmiä. Tahdomme myös käyttää valtavia kielimalleja, jotka toimivat erilaisten teknologisten sovellusten käyttövoimana, tilastollisina representaatioina siitä puhemateriaalista, jota on käytetty niiden kouluttamiseen. Kielimallien avulla voimme vastata eräisiin puheeseen liittyviin teoreettisiin kysymyksiin, joita ovat muun muassa aksenttien ja murteiden levinneisyys ja kehitys, sosiolingvistiikan ja prosodian välinen suhde sekä poliitikkojen tuottamien eduskuntapuheiden prosodiset piirteet.
Miten Kielipankki liittyy tutkimukseesi?
Tehdäksemme kaiken edellä mainitun, tarvitsemme melkoisen määrän dataa. Osan datasta luomme itse Kielipankin asiantuntijoiden avustuksella: olemme suunnitelleet ja äänittäneet korkealaatuista puheaineistoa sisältävän puhesynteesiä ja muita puheteknologisia sovelluksia varten. Korpus sisältää noin 75 tuntia studiolaatuisia äänityksiä kolmelta ääninäyttelijältä, joista kaksi puhuu suomea ja yksi suomenruotsia. Tämä korpus julkaistaan myöhemmin Kielipankin kautta. Käytämme murteita ja sosiolingvistiikkaa koskevassa tutkimuksessamme myös muita Kielipankista löytyviä aineistoja, varsinkin ainutlaatuista sekä .
Viimeaikaisia julkaisuja
Törö, T., Suni, A. and Šimko, J. (2024). Analysis of regional variants in a vast corpus of Finnish spontaneous speech using a large-scale self-supervised model, Proceedings of Speech Prosody 2024, Leiden, Netherlands.
Vainio, M., Suni, A., Šimko, J. and Kakouros, S. (2024). The Power of Prosody and Prosody of Power: An Acoustic Analysis of Finnish Parliamentary Speech, Proceedings of Speech Prosody 2024, Leiden, Netherlands.
Elie, B., and Šimko, J., and Turk, A. (2024). . JASA Express Letters, 4(1).
Kakouros, S., Šimko, J., Vainio M., and Suni, A. (2023). , Proceedings of the 12th ISCA Speech Synthesis Workshop (SSW), Grenoble, France.
Šimko, J., Törö, T., Vainio M., and Suni, A. (2023)., Proceedings of the 18th International Congress of Phonetic Sciences, Prague, Czech Republic.
Šimko, J., Adigwe, A., Suni, A. and Vainio M. (2022). , Proc. 11th International Conference on Speech Prosody, Lisbon, Portugal.
Aineistoja
eli suomalaisten yliopistojen, Tieteen tietotekniikan keskuksen ja Kotimaisten kielten keskuksen muodostama konsortio auttaa humanististen tieteiden tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan tutkimusaineistoja. Aineistoja ja työkaluja tarjoaa .