Väitöskirjatutkija Lalli Myllyahon koneoppimiseen liittyvä artikkeli On misbehaviour and fault tolerance in machine learning systems sai Journal of Systems and Softwaren vuoden 2022 palkinnon parhaasta julkaisusta.
– Tutkimuksen ytimenä on, että jos luotetaan kriittisiä järjestelmiä tekoälyn ja algoritmien toteutettaviksi, kannattaa opetella varautumaan myös siihen, miten ne voivat pettää, Myllyaho sanoo.
Ei välttämättä ole vaarallista, jos streamauspalvelu esittelee käyttäjälle epäkiinnostavia vaihtoehtoja, mutta se vähentää luottoa järjestelmän toimivuuteen. Mutta kriittisemmässä koneoppimiseen nojaavassa järjestelmässä voivat viat olla paljon haitallisempia.
– Halusin selvittää, miten varaudutaan esimerkiksi siihen, että tietokone tunnistaa konenäöllä asioita väärin. Esimerkiksi tietokonetomografiassa tekoäly voi tunnistaa viipalekuvista kappaleita. Mikäli tässä syntyy virheitä, herättää se kysymyksiä siitä, missä rajoissa tietokoneeseen kannattaa luottaa tällaisessa asiassa, ja milloin kutsua ihminen toisiksi silmiksi, sanoo Myllyaho.
Mitä kriittisempi järjestelmä on, sitä suuremmalla syyllä sen riskit on voitava minimoida.
Monimutkaisemmissa järjestelmissä syntyy entistä monimutkaisempia virheitä
Myllyahon lisäksi tutkimuksen muita tekijöitä ovat Mikko Raatikainen, Tomi Männistö, Jukka K. Nurminen ja Tommi Mikkonen. Julkaisu on rakennettu asiantuntijahaastattelujen ympärille.
– Ohjelmistoarkkitehteja haastateltiin siitä, millaisia vikoja ja epätarkkuuksia koneoppimismalleissa ja niiden ympärillä saattaa olla. Lisäksi halusimme selvittää, mitkä olisivat sellaisia design-valintoja, joilla ehkäistä virheitä, kertoo Myllyaho.
Mikäli koneoppimisen malleissa on rikkinäistä dataa, voi ongelma laajeta muuhun järjestelmään, johon malli on implementoitu. On myös tarpeellista selvittää, mitkä mekanismit soveltuvat virheiden korjaukseen.
– Rakenteiden on oltava sellaisia, jotka estävät radikaaleja virheitä eskaloitumasta. Loppuen lopuksi järjestelmästä riippuu, miten pahaksi virhe voi edetä.
Esimerkiksi itsestään ajavien autojen kohdalla ihmisten on helppo käsittää, että järjestelmään tarvitaan erilaisia turvamekanismeja. Sama pätee myös muuhun tekoälyyn, jotka tarvitsevat omanlaisia vikasietotiloja jotka toimivat tarkoituksenmukaisesti.
– Pitää selvittää, miten voidaan varmistaa, että erilaisissa tilanteissa tekoäly toimii, kuten kuuluu (eli ihmisen kannalta järkevästi). Mikä on tarkoituksenmukaista ei ole aina itsestään selvää. Tekoälyn kehittäjien pitää tehdä valintoja siitä, mitä tehdä, jos ei voida olla varmoja tästä.
Myllyaho on laajentanut tutkimusta kehittämällä asiaa liippaavan virheiden tunnistamismekanismin, joka ei tosin ole vielä edennyt algoritmiksi.
– Se on vielä vasta ajatus neuroverkoista. Toimiva koneoppimisen malli osaisi vaihtaa toimintamallia lennossa, jos edellinen ei toimi. Sen tulisi siis myös osata ennustaa, jos virheitä tapahtuu, tai nähdä merkkejä, jotka indikoivat virhettä.
Viime aikoina Myllyaho on keskittynyt väitöskirjansa viimeistelyyn, minkä vuoksi hän ei osaa vielä sanoa omasta jatkostaan projektissa. Jukka K. Nurmisen johtama IVVES jatkaa työtään koneoppimisjärjestelmien turvallisuuden testaamisessa.