FM Juhani Kivimäki puolustaa väitöskirjaansa "Confidence-based Performance Estimation in Machine Learning Model Monitoring" perjantaina 22.5.2026 klo 13 Helsingin yliopiston Exactum-rakennuksen auditoriossa CK112 (Pietari Kalmin katu 5, pohjakerros). Vastaväittäjänä toimii professori Thomas Schön (Uppsalan yliopisto, Ruotsi) ja kustoksena professori Jukka K. Nurminen (Helsingin yliopisto). Väitöstilaisuus pidetään englanniksi.
Juhani Kivimäen väitöskirjatyö on osa Helsingin yliopiston tietojenkäsittelytieteen osastolla ja Empirical Software Engineering -ryhmässä tehtävää tutkimusta. Väitöskirjan ohjaajana on toiminut professori Jukka K. Nurminen (Helsingin yliopisto).
Luottamusarvoihin perustuva suorituskyvyn estimointi koneoppimismallien monitoroinnissa
Väitöskirjan ensimmäisessä osajulkaisussa esitellään teollinen tapaustutkimus, jossa kehitetään koneoppiva malli, joka koulutetaan määrittämään kalibroituja dokumenttitasoisia luottamusarvioita digitaalisia laskuja käsittelevän kaupallisen tekoälyjärjestelmän ennusteille. Malli kytkeytyy yrityksen olemassa olevaan tekoälyjärjestelmään ja tarkastelee järjestelmän sisäisiä representaatioita ja sen tuottamaa metadataa ja muodostaa jokaiselle yrityksen tekoälyjärjestelmän prosessoimalle laskulle kalibroidun luottamusarvion. Näiden arvioiden osoitetaan parantavan merkittävästi automaattisesti prosessoitavien laskujen määrää ilman, että tekoälyjärjestelmän tekemien virheiden määrä kasvaa.
Toisessa osajulkaisussa luodaan väitöskirjan metodologian teoreettinen perusta tutkimalla AC-estimaattoria, joka on laajasti käytetty yksinkertainen mallien ennustetarkkuuden estimaattori. Artikkelissa osoitetaan, että täydellisesti kalibroidun mallin tapauksessa AC on harhaton ja tarkentuva ennustetarkkuuden estimaattori. Artikkelissa AC-estimaattorista kehitetään probabilistinen laajennus, joka mahdollistaa luottamusvälien määrittämisen AC-estimaateille. Synteettistä dataa käyttäen artikkelissa osoitetaan kokeellisesti, että AC on yhtä hyvä tai parempi kuin monimutkaisemmat estimointimenetelmät ja että estimointivirhe korreloi voimakkaasti kalibraatiovirheen kanssa.
Kolmannessa osajulkaisussa esitellään CBPE-menetelmä, joka mahdollistaa koneoppivien mallien suorituskyvyn estimoimisen käyttäen muitakin metriikoita kuin ennustetarkkuutta. CBPE mallintaa kutakin luokitteluvirhetaulukon lukua Poisson–binomijakaumaa noudattavana satunnaismuuttujana, missä kyseinen jakauma on parametroitu havaintokohtaisilla luottamusarvoilla. Tämä mahdollistaa luottamusvälien määrittämisen kaikille luokitteluvirhetaulukkoon perustuville suorituskykymetriikoille. Menetelmä ei edellytä muutoksia monitoroinnin kohteena olevaan malliin ja on laskennallisesti tehokas. CBPE-estimaateille esitetään vahvat teoreettiset takuut ja lisäksi osoitetaan kokeellisesti sen tehokkuus lievissä datajakaumasiirtymissä.
Neljännessä osajulkaisussa ehdotetaan Probabilistic Adaptive Performance Estimation (PAPE) -menetelmää ratkaisuksi siihen, että kalibraatiovirheellä on taipumus kasvaa datajakauman kovariaattisiirtymissä, mikä puolestaan kasvattaa estimointivirheitä. PAPE mukauttaa kalibraation annettuun kohdejakaumaan tiheyssuhdemallin avulla ja soveltaa sitten CBPE:tä näin saatuihin kalibroituihin luottamusarvoihin. Laaja empiirinen arviointi todellisen maailman taulukkomuotoisilla aineistoilla osoittaa, että PAPE saavuttaa uuden huipputason koneoppivien mallien suorituskyvyn estimoinnissa.
Yhteenvetona voidaan todeta, että tässä väitöskirjassa esitelty metodologia mahdollistaa koneoppivien mallien luottamusarvoihin perustuvan monitoroinnin kehittämisen heuristisesta käytännöstä teoreettisesti perustelluksi ja käytännössä käyttökelpoiseksi menetelmäkokonaisuudeksi. Se mahdollistaa koneoppivien mallien suorituskyvyn estimoinnin tuotantoympäristöjen kannalta olennaisilla metriikoilla kuroen umpeen kuilun akateemisen arvioinnin ja operatiivisen monitoroinnin välillä.
Väitöskirjan saatavuus
Väitöskirjan elektroninen versio tulee olemaan saatavilla Helsingin yliopiston avoimessa julkaisuarkistossa Heldassa osoitteessa
Painettuja väitöskirjoja voi tiedustella väittelijältä itseltään: