Koneoppiminen päihitti perinteiset menetelmät Helsinki Deblur Challenge 2021 datahaastekilpailussa

Kilpailijoiden tehtävänä oli kehittää algoritmi, joka parhaiten tarkentaa sumennetun valokuvan. Kansainvälisen Helsinki Deblur Challenge 2021 kilpailun voitti Berliinin joukkue.

Parhaiten menestyi koneoppimista hyödyntänyt Berliinin joukkue, jossa oli mukana neljä kuvantarkennuksen parissa työskentelevää matemaatikkoa. Toinen sija meni Singaporeen ja kolmas Hollantiin. Mukana oli myös Itä-Suomen yliopiston ja Helsingin yliopiston joukkueet. Tosin helsinkiläiset tiesivät jo ennakkoon, että heitä ei kilpailun sääntöjen mukaan voida palkita, koska kilpailu suunniteltiin matematiikan osastolla Helsingin yliopistolla. Kilpailuun rekisteröityi runsaasti osallistujia ja dataa on ladattu jo yli 1000 kertaa. Vastaukset jätti 15 ryhmää.

–  Koneoppimisella saavutettiin häkellyttäviä tuloksia. Perinteiset inversiomatematiikan menetelmät ylsivät hädin tuskin puoliväliin kisa-aineistossamme, jossa kuvat muuttuivat yhä sumuisemmiksi askel askeleelta, 20 askelta kaikkiaan. Koneoppimista soveltavalla sotkuisemmat kuvat tarkentuivat niin, että yli 70 prosenttia kirjaimista oli lukukelpoisia, sanoo professori Samuli Siltanen Helsingin yliopiston matematiikan osastolta.

Kilpailijat pystyivät etukäteen tutustumaan tekniikkaan, jolla data oli tuotettu. Siinä käytettiin kahta kameraa ja sen vuoksi samasta kuvasta oli tarjolla sekä terävä että sumennettu versio.

– Yleensä algoritmeja testataan simuloidulla datalla, mutta tässä oli tarjolla todellista dataa ja se antoi mielenkiintoisen lähtökohdan, kertoo väitöskirjatutkija Markus Juvonen.

Koska sumennetut kuvat esittivät tekstiä, niin kuvantarkennuksen laatu pystyttiin mittaamaan tarkasti käyttäen tekstinlukuohjelmaa. Tulokset syötettiin tekstinlukuohjelmaan ja katsottiin, kuinka monta kirjainta meni oikein. Algoritmin piti kuitenkin suoriutua myös testikuvista, joissa oli muuta kuin tekstiä.

Kilpailijoiden tuli julkaista lopputulos ja dokumentoida käyttämänsä menetelmä. Kaikki kilpailijoiden tuottamat algoritmit ovat nyt julkisina ja niitä on jo ehtinyt testata mm. tietojenkäsittelytieteen professori Teemu Roos, joka kommentoi asiaa Twitterissä.

Kilpailun järjesti Suomen inversiomatematiikan seura, jota johtaa professori Samuli Siltanen. Kilpailun järjestelytoimikunnassa on Juvosen ja Siltasen lisäksi tutkijatohtori Fernando Moura Helsingin yliopiston Inversiomatematiikan ryhmästä.

Tutustu datahaastekilpailun voittajiin

Parhaan algoritmin kehittäneessä joukkueessa ovat mukana Martin Genzel, Jan Macdonald, Maximilian März  ja Theophil Trippe.

Martin Genzel, Jan Macdonald ja Maximilian März ovat riippumattomia tutkijoita, jotka keskittyvät tällä hetkellä syväoppimisen käyttöön korkeaulotteisten kuvien rekonstruktiossa. Theophil Trippe kirjoittaa diplomityötään tämän haasteen pohjalta professori Gabriele Steidlin ohjauksessa. Kaikilla on sama koulutustausta Berliinin teknillisessä korkeakoulusta. (Technische Universität Berlin, Institut für Mathematik).

Miksi lähditte mukaan kilpailuun?

Itse tehtävä ja siihen liittyvä datapaketti vaikuttivat kiehtovilta. Martin Genzel, Jan Macdonald ja Maximilian März olivat jo voittaneet tämän vuoden AAPM Grand Challenge on Deep Learning for Computed Tomography-kilpailun. Tavoitteenamme oli tuoda vauhtia sumeiden kuvien terävöittämiseen ja mukaan liittyi diplomityötään tekevä Theophil Trippe.

Mitä opitte ja antoiko kilpailu ideoita työhönne?

Ennen kaikkea olimme yllättyneitä siitä, kuinka pitkälle pystyimme työntämään oppimisalgoritmiamme. Sumeiden kuvien terävöittäminen haasteen vaikeimmilla tasoilla tuntui alussa melko mahdottomalta ja olimme melko innoissamme myöhemmin, kun tajusimme, että niitä on mahdollista ratkaista.

Tämä tulos avaa useita suuntia tulevalle tutkimukselle: Teknisesti sanottuna se osoittaa, että keinotekoinen hermoverkko ylittää käänteisen ongelman perinteisen säännöllistämisen. Se toimii myös taustalla olevasta datajakaumasta pääteltyjen ominaisuuksien "generaattorina". Toinen näkökohta mahdollistaa kuvien rekonstruoinnin hyvin rajallisesta määrästä fyysistä tietoa (kuten haasteen viimeisellä tasolla). Pitkän aikavälin visiomme on laatia täsmällinen matemaattinen taksonomia näiden kahden näkökulman välisestä suhteesta.

Miten ratkaisitte ongelman?

Keskeinen lähtökohta oli, että niin sanotun "eteenpäin suuntautuvan operaattorin" (eli epätarkkuuden sumennuksen taustalla olevan fysiikkan) vankka ymmärtäminen on ratkaisevan tärkeää.  Määrittelimme ensin kuvien sumennuksen matemaattisen mallin treenidatasta ja syötimme sen sitten keinotekoiseen hermoverkkoon. Tämä näyttää olevan klassinen, mutta erittäin tehokas strategia, joka koskee myös monia muita kuvantamisongelmia.

Kommentteja tehtävään?

Mielestämme haaste oli uskomattoman hyvin suunniteltu! Erityisesti pidimme siitä, että tehtävässä keskityttiin tarkasti rajattuun datajoukkoon: sumeiden kirjainten terävöittämiseen. Tämä mahdollisti myös selkeän suorituskyvyn arvioinnin. Tulokset saatiin laskemalla kuinka monta kirjainta on onnistuttu selvittämään. Se on erittäin objektiivinen mitta verrattuna muihin kuvanlaadun mittareihin, kuten signaali-kohinasuhteeseen.

Mitä muuta haluatte kertoa?

Kiitokset prof. Samuli Siltaselle ja hänen tiimilleen tämän haastekilpailun järjestämisestä! Uskomme, että tämän kaltaiset haasteet ovat ratkaisevan tärkeitä tyhjien puheiden suodattamisessa todella toimivista tekijöistä. Haastekilpailu tarjosi loistavan mahdollisuuden meidän kaltaisillemme nuorille tutkijoille, joilla on rajallinen pääsy tutkimusyhteisön sisäpiiriin. Toivomme näkevämme vastaavaa toimintaa myös tulevaisuudessa!

Helsinki data Challenge 2021