Miten agenttiautomaation hyödyt mitataan?

Agenttinen Suomi -raportin ↗ (avautuu uuteen välilehteen) luvussa 5.2 tarkastellaan koko palvelu- ja päätöksentekoketjun laatua, saatavuutta ja käsittelyaikaa. Lisäksi seurattaisiin jäljitettävyyttä, poikkeamia, henkilöstön kokemusta, kansalaisten yhdenvertaisuutta ja luottamusta. Raportti ei sisällä ennen–jälkeen-tutkimusta, joka osoittaisi jo toteutuneen agenttiautomaation säästön julkisissa palveluissa.

Raportti liittää seurantaan myös virkatyön muutoksen: jos rutiinivaihe nopeutuu, vapautuuko aikaa harkintaa, asiakaskohtaamista ja laadunvarmistusta vaativiin tehtäviin? Kustannuksissa on huomioitava teknologian lisäksi integraatiot, tiedonhallinta, turvallisuus, koulutus ja jatkuva valvonta.

Sivuston ehdottama arviointirunko on mitata samasta palveluketjusta lähtötaso ennen kokeilua sekä seuraavat asiat käyttöönoton jälkeen: kokonaiskäsittelyaika, oikein ratkaistujen asioiden osuus, ihmisen korjausaika, virheistä aiheutuvat seuraukset, palvelun saavutettavuus ja koko elinkaaren kustannus. Ryhmien välinen vertailu voi paljastaa, paraneeko palvelu tasaisesti vai eriarvoisesti. Tämä on toimituksellinen testiehdotus, ei raportissa tehty vaikutusarvio.

Yksittäisen vaiheen nopeutuminen voi peittyä toisessa vaiheessa syntyvään viiveeseen. Samoin kustannus voi siirtyä virkailijan työajasta integraatioihin tai kansalaisen korjaustyöhön. Vertailussa on kerrottava, mitä mitattiin, mihin verrattiin ja millä aikavälillä.

Kun ennen–jälkeen-tietoa, vertailuryhmää tai virheiden seurauksia ei ole, automaation taloudellisesta nettovaikutuksesta ei voi tehdä varmaa päätelmää. Vaikutusten mittaus on pidettävä erillään teknisen kokeilun onnistumisesta ja tuotteen tarjoajan ennusteesta. Agenttien valtuuksia käsittelevä aihe käy läpi, miten oikeudet ja valvonta rajataan jo ennen mittausta.