Vastuullisempaa tutkijan arvioinnin mallia etsimässä

Tutkijaa arvioidaan hänen tutkijanuransa aikana useissa eri yhteyksissä ja konteksteissa, esimerkiksi tutkimusryhmänsä, oman ainelaitoksensa tai kotiyliopistonsa jäsenenä, tutkimusvakanssien tai tutkimusrahoituksen hakijana tai tutkimusta tekevänä yksilönä omalla tieteenalallaan.

Tutkimustyöhön keskeisesti liittyvän arvioinnin jatkuvan läsnäolon vuoksi onkin tärkeää miettiä, miten ja millä menetelmillä arviointi kulloisessakin tilanteessa tehdään sekä millaisia vaikutuksia menetelmien valinnalla on tutkijoille.

Ristiriita on edelleen iso sen välillä, mihin vastuullisella arvioinnilla tähdätään ja miten arviointia oikeasti toteutetaan. Tämän kuilun umpeen kuromiseksi meidän täytyy luoda uudenlaisia tapoja tutkijan ja tutkimuksen arvioinnille.

Varsin kiinnostava tuore malli Norwegian Career Assessment Matrix (NOR-CAM) on juuri julkaistu Norjassa, joka on Suomen tavoin suhteellisen pieni maa ja kielialue. NOR-CAM sisältää koko Norjan yliopistoyhteisön yhteiset ja yhdessä kokoamat periaatteet ja suositukset tutkijan vastuulliselle arvioinnille sekä työkalut eli käytännön kuvauksen arvioinnin suorittamiselle. Malli ottaa myös kantaa dokumentointiin ja tutkimustietojen keräämiseen.

Tiede on kansainvälistä, ja esimerkiksi tutkijoiden liikkuvuudelle kansainvälisessä tiedeyhteisössä annetaan paljon painoarvoa. Siksi tutkijoiden arvioinnin muutosten on tapahduttava laajemmassa kontekstissa kuin vain kansallisilla tiedefoorumeilla. Vastuullisen arvioinnin periaatteiden nytkähtämistä tavoitteista käytäntöön on vielä jarruttanut etenkin pienemmissä maissa pelko siitä, että liian radikaaleilla muutoksilla vaikeutetaan tutkijoiden elämää oletetusti hitaammin etenevässä kansainvälisessä tiedeyhteisössä. Arvioinnin avantgardismilla ei haluta maalata itseä nurkkaan, ja monelle maalle mieluisampi olisikin varovaisen etenijän kuin kehityksen kärjessä olevan rooli. Tätä on varmasti Norjan tavoin mietitty paljon Suomessakin.

Vastuullista arviointia on kehitetty jo kymmenen vuoden ajan alkaen kansainvälisestä DORA-julkilausumasta vuonna 2012 ja Leiden Manifestosta vuonna 2015, tiivistyen nyt vuoden 2022 lopussa alkunsa saaneeseen CoARA (Coalition for Advancing Research Assessment) -sopimukseen ja laajaan kansainväliseen yhteistyöhön vastuullisen arvioinnin kehittämisestä EU:ssa.

Kansainvälinen kehitys on edennyt vakaasti kohti sitä pistettä, että rohkea askel edelläkävijäksi on nyt mahdollista ottaa ajautumatta tieteen marginaaliin. Tästä kertoo osaltaan myös edellä esitelty Norjan uusi malli tutkijan arviointiin.

Tieteen tekeminen kehittyy - kehittyykö arviointi?

Kuilu tavoitteiden ja nykytilanteen välillä tutkijan arvioinnissa on osin revennyt tieteen tekemisen murroksessa: arvioinnin menetelmät eivät ole täysin pysyneet tutkimuksen tekemisessä tapahtuneen muutoksen perässä. Tänä päivänä tutkimusta tehdään moni- ja poikkitieteisesti, nopealla vauhdilla kehittyvillä digitaalisilla menetelmillä erityyppisissä yhteistyöverkostoissa terästettynä yhteiskunnallisen vaikuttavuuden ja kansalaistieteen mausteilla. Onkin väistämätöntä, ettei perinteinen julkaisujen määrien mittaaminen ja viittausanalyysi anna riittävän kattavaa kuvaa siitä, mikä on tutkimuksen tekemisessä arvokasta ja vaikuttavaa.

Perinteisten viittausanalyysien ylivaltaa ovat luonnollisesti pönkittäneet isot kansainväliset tietokantojen tuottajayritykset, jotka ovat luoneet omia arviointimittareitaan (kuten Journal Impact Factor) ja rakentaneet niiden ympärille julkaisuinfrastruktuurin, jonka kautta perinteistä julkaisudataa saa näppärästi nappia painamalla – kunhan on ensin hankkinut tietokannat käyttöönsä.

Tämän vuoksi vastuullisen arvioinnin yksi perusperiaate onkin tutkimuksen tuotosten diversiteetin tunnistaminen. Tutkija ei ole pelkästään tieteellisten artikkelien tuottaja-automaatti ja viittausten kerääjä. Hän voi olla metodien kehittäjä, tutkimusdatan hallinnan ekspertti, ansioitunut tutkimustulosten avaaja ja popularisoija, kokenut ja asiantunteva vertaisarvioija, tutkimusprojektien vetäjä tai oppimateriaalien tuottaja.

Koko tutkimuksen tekemisen prosessi onkin vastuullisen arvioinnin keinoin avattava ja tehtävä näkyväksi. Arviointitilanteissa tutkijalle on annettava meriittiä siitä, mistä se hänelle kuuluu antaa. Tutkimustuotosten diversiteetti tulee näkyväksi vain siten, että se huomioidaan. Tutkijoilla yksilöinä – kuten muillakin asiantuntijatyötä tekevillä – on omia vahvuusalueitaan. Erilainen osaaminen ja vahvuudet voivat vastuullisesti toteutetuissa arvioinneissa tulla huomattavasti nykyistä paremmin esille. Tätä on korostettu myös Norjan arviointimallissa.

Tutkimustulosten julkaiseminen edelleen tärkeää

Yleinen väärinkäsitys puhuttaessa tutkijan vastuullisesta arvioinnista on, että kaikki määrälliset tutkimuksen arviointiin liittyvät välineet, kuten julkaisumetriikka, tulisi heittää romukoppaan. Näinhän asia ei ole.

Kvantitatiivista, tieteellisiin julkaisuihin perustuvaa arviointia tullaan tarvitsemaan jatkossakin, mutta sitä on hyödynnettävä läpinäkyvämmällä ja vastuullisemmalla tavalla.

Erityisen tarkkana tulee olla, kun arvioidaan yksittäistä tutkijaa. Vaikka vastuullisen arvioinnin periaatteena onkin siirtää fokusta julkaisumetriikasta ja viiteanalyyseistä laajemmalle, on selvää, että tutkimusjulkaisut edelleen säilyvät yhtenä merkittävänä tapana kommunikoida tutkimuksen tuloksista kansainvälisen tiedeyhteisön kanssa.

Julkaisumetriikka ei jatkossa tarkoita perinteistä, puhdasta julkaisu- ja viittausmäärien laskemista, vaan se voi olla paljon muutakin. Metriikkavälineet ja tavat analysoida tieteellisten julkaisujen saamia viittauksia kehittyvät. Yhtenä hyvänä esimerkkinä Jyväskylän yliopiston Avoimen tiedon keskuksessa kehitetty JYUCite.

Vastuullisen arvioinnin periaatteet nostavat esiin myös tutkimusjulkaisujen diversiteetin. Periaatteiden mukaisesti Norjan uusi arviointimalli ottaa kantaa esimerkiksi monikielisyyteen ja sen merkitykseen tieteen tekemisessä: tutkimustulosten julkaiseminen ei saa rajoittua ainoastaan englannin kieleen, etenkään niillä tieteenaloilla tai hankkeissa, joilla on suoraa yhteiskunnallista vaikuttavuutta ja mahdollisuutta ottaa kansalaisia mukaan tieteen tekemisen prosesseihin. Ragnar Lie ja Vidar Røeggen toteavatkin tuoreessa artikkelissaan Reforming academic career assessment in Norway, että englannin kielen ylivaltaa kaikilla tieteenaloilla on tukenut pitkään käytössä olleet metriikkavälineet (Scopus ja Web of Science), joihin ei indeksoida julkaisuja pienemmiltä kielialueilta.

Vastuullisen arvioinnin periaatteiden mukaisesti julkaisukanava ei määritä itsessään korkealaatuista tutkimusta. Aivan samoin ei englannin kielikään toimi laadukkaan tutkimuksen kriteerinä.

Lie ja Røeggen toteavat artikkelissaan, että tutkimusrahoittajien yhteistyö cOAlition S:n piirissä ja Plan S -periaatteiden laaja kannatus ovat osoittaneet, että nyt on aika myös pienten valtioiden ja kielialueiden tehdä rohkeita ratkaisuja vastuullisen arvioinnin edistämiseksi.

Uudenlaista dokumentaatiota

Uusilla tutkijan arviointimalleilla on vaikutusta myös pahamaineiseen ”tutkimushallintoon” yliopistoissa: jos ja kun haluamme, että tutkijaa arvioidaan muillakin tavoin kuin ainoastaan tieteellisten julkaisujen perusteella, on erityyppistä määrällistä ja yhä enemmän myös laadullista tietoa pystyttävä keräämään, säilyttämään, raportoimaan ja analysoimaan. Uusien arviointimallien myötä käykin todennäköisesti niin, että tietoa on kerättävä entistä monipuolisemmin, mutta myös entisiä tiedonkeruutapoja on kehitettävä. Tätä ei kannata säikähtää.

Hallittu tiedon kerääminen tutkimusprosesseista ja tutkimustyön tuotoksista takaa tutkijoiden tasapuolisen kohtelun ja tiedonkeruun läpinäkyvyyden. Lisäksi se antaa kaikille meille yliopistolaisille – johto mukaan lukien – uudenlaisen mahdollisuuden kurkistaa tiedeyhteisössämme tehtävään työhön.

Viisaasti toteutettuna vastuullisella arvioinnilla ja sen menetelmillä on selkeää vaikutusta tutkimuksen näkyvyyteen myös yliopiston ulkopuolella.

Tutkimustiedon kerääminen on kuitenkin aina mietittävä siten, että tutkija pysyy tiukasti keskiössä: tutkijaa tiedon keräämisen tulee kuormittaa mahdollisimman vähän. Mikäli pystymme hyödyntämään tiedon keräämisessä rakenteista tietoa, automaatiota ja tekoälyä, ”hallinnollisen” tiedon kerääminen ei ole tutkijalle taakka tai rasite vaan pikemminkin päinvastoin: kerätty tieto hyödyttää aina paitsi tiedolla johtamista myös tutkijaa itseään – kysehän on hyvin pitkälti siitä, miten näkyväksi pystymme monet nyt kokonaan piiloon jäävät tutkimusaktiviteetit tekemään.

Pekka Olsbo
Johtaja
Avoimen tiedon keskus

Irene Ylönen
Palvelupäällikkö
Avoimen tiedon keskus

Huomasithan tämän blogikirjoituksen: Pitääkö tutkijan olla kiinnostunut julkaisumetriikasta?

Haluatko kirjoittaa OSC Blogiin? Ota yhteyttä julkaisukoordinaattori Sini Tuikkaan.

Blogiteksti on lisensoitu Creative Commons Nimeä 4.0 Kansainvälinen -lisenssillä.