Kuinka referee kesytetään? Vertaisarviointiprosessi ja palautteeseen vastaaminen
Sähköpostiisi on saapunut kuukausien, ehkä vuoden odottelun jälkeen viesti, joka kertoo tieteellisen aikakauslehden toimituksen tehneen päätöksen julkaistavaksi tarjoamastasi artikkelista. Artikkeli on saanut puoltavat lausunnot ulkopuolisilta vertaisarvioitsijoilta eli refereiltä. Ensimmäinen este on nyt ylitetty. Toive artikkelin hyväksymisestä ja myönteisestä julkaisupäätöksestä elää!
Samalla epävarmuus alkaa luikerrella mieleen ja jännitys nousee. Sähköpostiin liitetyt kirjalliset arviot artikkelistasi saattavat pitää sisällään mitä tahansa: ylistäviä kommentteja, rakentavaa yksityiskohtaista palautetta, pilkun paikan säätöä tai ammatillista itsetuntoa murentavaa kritiikkiä. Ja kyllä, toisinaan myös väärinymmärrykseen tai pintapuoliseen luentaan perustuvia käsittämättömiä töräytyksiä.
Pohdimme tässä kirjoituksessa, kuinka vertaispalautteeseen on syytä suhtautua ja vastata. Lähestymme aihetta kansainvälisen journal-julkaisemisen näkökulmasta. Samat ajatukset ja ohjeet pätevät myös muihin tiedejulkaisuihin, kuten kirjoihin, koti- ja ulkomailla.
Kirjoitustamme ovat inspiroineet väitöskirjatutkijoiden ohjaustilanteet, joissa olemme käyneet läpi heidän saamaansa vertaispalautetta ja opetelleet siihen vastaamista. Olemme myös itse toimineet referee-tehtävissä monissa erilaisissa yhteyksissä. Monet vertaisarviointiprosessien konventioista ovat aloittelevalle tutkijalle vieraita. Niiden oppiminen tapahtuu pääosin tutkimusryhmissä ja yksilöohjauksessa, sekä aina jossain määrin myös kantapään kautta. Tutkimusjulkaisemiseen liittyviä taitoja tulisi opettaa systemaattisemmin myös yliopistojen tutkijakouluissa, johon haluamme kiinnittää huomiota.
Palautteeseen perehtyminen
Lue ensiksi toimittajan lähettämä sähköpostiviesti ja siihen liitetyt vertaisarvioit huolellisesti läpi — mieluiten kahteen kertaan. Lehden palaute artikkelikäsikirjoitukseen koostuu kahdesta osasta: varsinaisista referee-arvioista sekä lehden toimittajan kommenteista. Kummatkin ovat tärkeitä ja vaikuttavat julkaisupäätökseen, vaikka ne eivät olekaan aina täysin samoilla linjoilla. Muista, että lehden toimittajalla on suuri merkitys julkaisusi kannalta ja hän voi esittää muutoksia artikkeliisi.
Mikäli lehden toimittaja on liittänyt sähköpostin alkuun oman yhteenvetonsa lausunnoista, siihen on syytä kiinnittää erityistä huomioita. Toimittajan näkemysten haastaminen tuskin johtaa artikkelin lopulliseen hyväksyntään. Hän saattaa kertoa hyvinkin suoraan, mitkä vertaispalautteen kommenteista on erityisesti syytä huomioida, kun ryhdyt tekemään korjauksia artikkeliisi.
Myöskään varsinaiset referee-arviot eivät välttämättä ole keskenään samoilla linjoilla. Yleensä palautetta on antanut kaksi tai kolme alan tutkijaa eli vertaisarvioijaa (peer reviewer). Joskus arvioita voi olla enemmänkin, mikä voi kieliä siitä, että ensimmäiset arvioitsijat ovat olleet keskenään erimielisiä, ja lehden toimittaja on katsonut parhaaksi pyytää lisäarvioita. Toisinaan arvioitsijoiden suuri määrä johtuu siitä, että ensimmäiset arviot ovat olleet liiankin positiivisia tai hyvin lyhyitä ja pinnallista. Tällöin artikkeliisi kriittisemmin suhtautuva lehden toimittaja on saattanut pyytää lisäarvioita oman päätöksensä tueksi. Arvioiden lukumäärästä ei siis kannata vetää vahvoja johtopäätöksiä.
Ensivaikutelma lausunnoista voi joskus olla tyrmäävä. Palautteet asettuvat kuitenkin oikeisiin mittasuhteisiin, kun luet ne rauhassa uudelleen, vertailet niitä toisiinsa ja pohdit kuinka suuria muutoksia tekstiisi ne oikeasti edellyttävät.
Tieteellisen lukemisen yksi perusperiaate on pyrkimys ymmärtää “hyväntahtoisesti” lukemaansa. Tämä periaate koskee niin refereitä kuin artikkelin kirjoittajaa. Yritä siis ymmärtää, mitä referee kommentillaan ajaa takaa, vaikka kommenttia ei olisikaan kirjoitettu täsmällisesti tai kauniin sanakääntein. Toisinaan palautteesta voi tunnistaa myös arvioitsijan omat metodologiset mieltymykset tai poikkeavat teoreettiset lähtökohdat. Me kaikki luemme toisten tekstejä omien silmälasiemme läpi ja tämä näkyy usein myös vertaispalautteesta.
Ihmistieteissä on varsin yleistä, että määrällisiin tutkimusmenetelmiin perustuvia käsikirjoituksia arvioivat laadullisen tutkimusotteen edustajat ja toisin päin. Myös koulukuntaerot saattavat kuplia esiin vertaispalautteesta. Esimerkiksi yksilöiden toimijuutta ja hyvinvointia käsittelevän artikkelisi on voinut arvioida rakennesosiologi, joka ei lausunnossaan väsy ihmettelemästä kuinka olet saattanut ohittaa instituutioiden tarkastelun analyysistäsi. Jos onnistut tunnistamaan tällaisia näkökulmaeroja, saattaa se helpottaa palautteeseen vastaaminen merkittävästi.
Pohtimalla refereiden mahdollisesti erilaisia tieteellisiä ja tietoteoreettisia lähtökohtia alat ymmärtää, miksi vertaisarvioitsija on kiinnittänyt huomiota juuri tiettyihin asioihin.
Kyse ei siis välttämättä ole aiheettomasta kritiikistä, vaan erilaisista taustaoletuksista, joita et ollut vielä harkinnut tutkimuksessasi. Jos teoreettiset ja metodologiset lähtökohtasi ovat tutkimusongelmasi kannalta perusteltuja, niitä voi ja usein kannattaakin puolustaa.
Jos et useammankaan lukeman jälkeen ole varma siitä, miten lähteä korjaamaan käsikirjoitustasi tai siihen liittyviä yksityiskohtia, pyydä ohjaajasi tai jotakuta kokenutta tutkijaa perehtymään palautteeseen. Ulkopuolinen lukija voi huomata palautteesta asioita, joita ole tullut itse edes ajatelleeksi. Referee-palautteet eivät ole salassa pidettäviä asioita. Keskustelu kollegoiden kanssa saamastasi palautteesta on usein hyödyllistä ja jopa terapeuttista.
Palautteeseen vastaaminen
Vain pieni osa ihmistieteiden lehdistä antaa yksityiskohtaisia ohjeita siihen, kuinka palautteeseen tulisi vastata. Sen vuoksi vastaustyyleissä ja -tavoissa on eroja. Yhteistä palautteeseen vastaamisessa on se, että jokaisen kriittiseen huomautukseen tai muutosehdotukseen on reagoitava tavalla tai toisella. Sen vuoksi vastaaminen kannattaa tehdä niin systemaattisesti kuin mahdollista.
Yksityiskohtaiset vastaukset esitettyyn kritiikkiin toimitetaan lehteen vastinekirjeen (response letter) muodossa. Sen lisäksi on tietysti toimitettava myös korjattu käsikirjoitus. Jotkut lehdet pyytävät toimittamaan käsikirjoituksesta kaksikin versiota: siistityn korjatun version ja toisen, johon on merkattu näkyviin tekstiin tehdyt muutokset (esim. lihavoituna, eri värillä tai MS Wordin Jäljitä muutokset -toiminnolla). Lisäksi tässä vaiheessa kannattaa tarkistaa lehden käyttämän käsikirjoitusten hallintajärjestelmän asettamat vaatimukset (esim. Manuscript Central). Se kertoo sinulle, mitkä kaikki asiakirjat vaaditaan, jotta korjatun käsikirjoituksen voi toimittaa järjestelmän kautta uudelleen arvioitavaksi. Joskus lehden toimittamassa sähköpostissa ja sen verkkosivuilla antamat ohjeet ovat ristiriitaiset järjestelmän teknisten vaatimusten kanssa.
Vastinekirjeitä näkee laadittavan pääosin kahdella eri tyylillä. Molemmille yhteistä on se, että lausunnot kopioidaan yhteen tiedostoon ja pilkotaan osiin siten, että yksittäiset kysymykset (tai joskus samaa asiaa koskevat suuremmat kysymyskokonaisuudet) erotetaan omiksi kohdikseen.
Kenties yleisempi tapa on vain yksinkertaisesti kirjata vastaus välittömästi kunkin kommentin jälkeen esimerkki lihavoidulla tai kursivoidulla tekstillä. Näin vastaukset erottuvat palautteesta selvästi. Rivinvaihdot referee -kommenttien ja vastaustesi välissä sekä niiden juokseva numerointi (Comment 1 > Response 1, jne.), auttavat jäsentämään vastauskirjettä ja tekevät siitä helposti luettavan. Lopulta arvioitsijoiden kommentit ja kirjoittajan vastaukset muodostavat vuoropuhelun kaltaisen kokonaisuuden.
Toinen, hieman järjestelmällisempi tapa on laatia kaksipalstainen taulukko. Sen vasempaan sarakkeeseen kopioidaan vertaispalautteesta irrotetut kommentit ja muutosehdotukset. Oikean sarakkeen soluihin puolestaan kirjataan vastaukset eli se, kuinka palautteeseen on reagoitu ja millaisia muutoksia käsikirjoitukseen on tehty. Taulukko toimii hyvin etenkin silloin, jos korjattavaa on paljon. Tyhjät solut myös muistuttavat sinua ratkaisemattomista kommenteista.
Vastinekirjeen lisäksi muutokset on tietysti tehtävä itse käsikirjoitukseen. Usein nämä kaksi prosessia etenevät rinnakkain siten, että tekstiin tehdyt muutokset kirjataan saman tien vastineeseen. Isompien korjausten kohdalla saattaa kuitenkin olla mielekkäämpää tehdä kirjaukset vastineeseen vasta aivan lopuksi. Kun kaikki korjaukset on tehty, vastinekirjeen ja tekstien tehtyjen muutosten vastaavuus on vielä syytä tarkistaa.
Vastaamistaktiikat eli refereen kesyttäminen
Jokainen referee on ihminen, jonka takaraivossa naksuttaa omat deadlinet, ruuan valmistus lapsille, aloittamaton kuntokuuri ja soittamaton anoppi. On siis kaikkien etu, jos vastauksessaan pyrkii tiiviiseen ilmaisuun ja konkretiaan. Palautteeseen vastaamisella kannattaa pyrkiä siihen, että teet arvioitsijan ja lehden toimittajan työ mahdollisemman helpoksi. Kerro kuinka korjasit tekstiä ja mille sivulle teit korjauksen. Jos pyydetyt korjaukset ovat vähäisiä, voit myös kopioida käsikirjoitukseesi tehdyt muutokset vastinekirjeeseen sanasta sanaan.
Vastaa ja reagoi vain esitettyihin kysymyksiin — älä siis korjaa käsikirjoituksestasi kohtia, jotka eivät ole artikkelin ”katsastajan” mielestä rikki. Tämä tunnetaan myös leikkisästi nimellä theory of minimum effort. Selvät lyönti- ja asiavirheet kannattaa toki korjata, vaikka arvioitsija ei olisi niistä huomauttanutkaan. Hyvästä ja rakentavasta palautteesta voi myös kiittää, mutta vältä liiallista mielistelyä. Kohtelias ja arvostava sävy vastauksissa takaa aina paremman lopputuloksen kuin se, että rivien välistä paistaa: ”tämä tyyppi ei taatusti ole tajunnut yhtään mitä olen tutkinut”. Kun arvioitsija lukee vastauksiasi ja korjauksiasi hyvillä mielin, luultavasti hän myös ymmärtää lukemansa paremmin.
Jos sinulla on perusteltu syy kiistää (rebuttal) esitetty kritiikki ja päätät olla tekemättä siihen liittyviä korjauksia, tämä ratkaisu on perusteltava erityisen hyvin. Panosta sen argumentoitiin, miksi alkuperäinen ratkaisusi oli perusteltu. Vastauksessasi voit nostaa esiin esimerkiksi muita tutkimuksia, joissa on tehty samankaltainen ratkaisu ja käyttää lähdekirjallisuutta sen perustelemiseen. Toisinaan voit vedota myös arvioitsijoiden enemmistöön eli siihen, että muut arvioitsijat eivät nostaneet esiin samaa ongelmaa tai olivat jopa päinvastaista mieltä.
Joskus on myös aivan ilmeistä, että arvioitsija on ymmärtänyt tekstisi täysin väärin ja kysyy asiaa, joka ei ole tutkimuksen kannalta relevantti. Tällaisessa tilanteessa on otettava diplomatiataidot käyttöön. Vastaus olisi syytä muodostaa siten, että siinä säilyy arvostava ote arvioitsijan tekemää työtä kohtaan, mutta samalla se osoittaa selvästi, että kyseisellä asialla ei pitäisi olla tutkimuskysymyksen tai tutkimuksen toteutuksen kannalta juurikaan merkitystä.
Muista, että arvioitsijat eivät ole välttämättä juuri tarkalleen sinun alasi asiantuntijoita. Heidän tehtävänään on — joskus myös tyhmien kysymysten kautta — saada tekstisi ymmärrettävämmäksi laajemmalle lukijakunnalle. Jos referee ei ole ymmärtänyt mitä tarkoitat, on hyvin mahdollista, ettei muutkaan lukijat ymmärrä.
Kukaan ei ole niin hyvä asiantuntija sinun tekstillesi kuin sinä itse. Niinpä aina kun kerrot siitä muille, on sinun astuttava askeleen ”yleisemmälle” tasolle. Tiedejulkaiseminen on kommunikaatiota, ja jos viesti ei välity, vika ei välttämättä ole vastaanottajassa.
Joskus arvioitsijan esittämät korjausehdotukset voivat olla myös ristiriidassa lehden omien ohjeiden kanssa. Jos epäröit, ovatko korjausehdotukset lehden ohjeistuksen mukaisia (esimerkiksi taulukkojen muotoilu tai tilastollisten testien ja tunnuslukujen raportointi), tuo epävarmuutesi esiin vastineessa ja kerro kuinka asian ratkaisit. Voit myös hyvin mainita, että olet valmis tekemään tarvittavia lisämuutoksia, jos tulkitsit lehden ohjeen tai korjausehdotuksen väärin. Usein lehdissä on mahdollisuus laatia myös lyhyt kirje (cover letter) lehden toimittajalle ja kertoa siinä, kuinka olet vastannut refereen palautteeseen. Voit myös kysyä toimittajalta neuvoa, jos et yrityksistä huolimatta ymmärrä refereen esittämää muutosehdotusta.
Korjatun käsikirjoituksen lisäksi muista oikolukea myös vastine. Vastineeseen ei ehkä kannata haaskata kielentarkistusrahoja. Sen sijaan voit käyttää apuna vaikkapa kollegaa tai ystävää, jonka kielitaitoon luotat. Muista, että englanti on harvoin lehtien toimittajien tai arvioitsijoidenkaan äidinkieli, joten pienet kielelliset puutteet vastineessa eivät todennäköisesti muodostu julkaisemisen esteeksi. Loppujen lopuksi vastinekirjeelle voi kertyä mittaa useita sivuja. Jos yksittäisiä kriittisiä kommentteja on kymmenittäin, voi vastine venyä jopa lyhyen artikkelin mittaiseksi!
Arviointiprosessin synkempi puoli
Vertaisarviointiprosessiin liittyy myös eettisesti arveluttavia puolia, joista puhutaan harvoin ääneen. Vaikka ajatus kaksoissokkona toteutetusta arvioinnista (double-blind review) on ajatuksena hieno, arviointiprosessi mahdollistaa myös monenlaisen suhmuroinnin. Pahimmillaan se on kuin keskustelua internetin anonyymeillä keskustelupalstoilla, joissa epäilyt kirjoittajien tai refereiden oikeasta identiteetistä alkavat vahvistua ja toisinaan myös paljastuvat. Näin käy etenkin kokeneemmille tutkijoille, jotka ovat esitelleet tutkimuksiaan useilla eri foorumeilla ja tutustuneet laajasti alan muihin tutkijoihin. Tutkijapiirit ovat monella alalla loppujen lopuksi varsin pienet.
Jotkut lehdet pyytävät myös kirjoittajia nimeämään potentiaalisia arvioitsijoita heidän lähettäessään käsikirjoituksiaan arvioitavaksi. Myönteisten lausuntojen toiveessa kiusaus listata läheisten kollegoiden yhteystietoja voi nousta suureksi. Onpa käynyt niinkin, että käsikirjoitusta valmistelevat tutkijat ovat lähestyneet mahdollisia arvioitsijoita etukäteen ja kertoneet ehdottavansa heitä refereen tehtävään. Pyrkimys vaikuttaa arvioinnin lopputulokseen ja murentaa sokkoasetelma on siis ollut ilmeinen. Joissakin lehdissä refereille on taas ryhdytty tarjoamaan mahdollisuutta allekirjoittaa palaute omalla nimellään ja lisätä näin prosessin avoimuutta.
Hyvän tieteellisen käytännön nimissä on tärkeää tehdä tutkimuksensa ja kirjoittaa julkaisunsa niin hyvin, että kuka tahansa alan tutkija voisi arvioida käsikirjoituksesi.
Tiede ei ole salaseurojen tai kuppikuntien toimintaa, ja voimme myös itse vaikuttaa ja ylläpitää tieteen avoimuutta ja luotettavuutta.
On myös hyvä huomata, että tieteellisillä aikakauslehdillä ovat omat lypsylehmänsä ojassa. Ne pyrkivät nostattamaan statustaan ja parantamaan vaikuttavuuskertoimiaan (impact factor) lisäämällä viittauksia lehdessä aikaisemmin julkaistuihin artikkeleihin. Lehden toimittaja saattaa pyytää joskus hyvin suorasukaisestikin lisäämään viittauksia lehden aikaisemmin julkaisemiin juttuihin. Tämä voi tapahtua jo ennen tekstin lähettämistä arvioitavaksi, joskus ensimmäisten myönteisten lausuntojen jälkeen tai vasta siinä vaiheessa, kun arvioitsijat ovat yksimielisesti ehdottaneet käsikirjoituksen hyväksymistä.
Edellä mainitut tilanteet ovat eettisesti kimurantteja, koska paineet julkaisemiseen etenkin monella nuoremmalla tutkijalla on kovat ja vaatimuksista kieltäytyminen voi johtaa artikkelin hylkäämiseen. Vaikka valtaosa vakavasti otettavista tieteellisistä aikakauslehdistä toimii kaupallisin periaattein, niiden päätoimittajat ja toimituskuntaa, vapaaehtoispohjalta toimivat arvioitsijat ja kirjoittajat ovat tutkijoita ja tiedeyhteisön jäseniä. Hyvän tieteellisen käytännön ja korkeiden eettisten standardien ulottaminen myös tiedejulkaisuihin onkin meidän kaikkien yhteinen tehtävä.
Lopuksi: julkaisu on valmis!
Edellä olemme käsitelleet eri puolia tilanteessa, jossa artikkelikäsikirjoitusta on esitetty hyväksyttäväksi joko pienempien tai suurempien muutosten jälkeen (accept with minor/major revisions). Parhaimmillaan refereiden ja lehden toimittajien kanssa käyty vuoropuhelu parantaa artikkelia merkittävästi ja lisää myös omaa ymmärrystäsi tehdyistä ratkaisuista. Joskus artikkelikäsikirjoitus on taas niin valmis, ettei korjauksia pilkkuvirheitä lukuun ottamatta tarvita. Tämä on kuitenkin harvinaista, sillä parannettavaa löytyy lähes aina.
Joskus lehteen tarjotun käsikirjoituksen matka katkeaa alkuunsa. Suora hylkäyspäätös (ns. desk reject) voi tulla joko refereiltä tai suoraan lehden toimittajilta. Toimittajien tekemä suora hylkäyspäätös kertoo useimmiten siitä, että artikkelisi lähestymistapa ei sovi kyseiseen lehteen. Referee-lausuntojen perusteella tehty kielteinen päätös puolestaan kielii siitä, että artikkelisi ei ole aivan vielä valmis arviointiprosessiin. Tästäkään ei kannata pahastua, vaan ottaa asiat asioina ja pyrkiä korjaamaan käsikirjoitusta ennen sen lähettämistä toiseen lehteen.
Hyvää ja perusteltua artikkelikäsikirjoitusta ei kannata hyllyttää yhden kielteisen palautteen jälkeen, vaan jatkaa määrätietoista työskentelyä ja sopivan julkaisukanavan metsästystä.
Lopulta artikkelisi kuitenkin julkaistaan, mikä on ansaitusti ja syystä juhlapäivä! Takana on usein iso ja pitkäjänteinen työ, ja oman työn tuloksia on syytä arvostaa.
Omasta tutkimuksesta on tärkeää tiedottaa paitsi muita tutkijoita ja eri tiedotusvälineitä. Siihen erilaiset tiedeviestinnän ohjeet antavat hyviä vinkkejä.
Tutkimuksesi saattaa herättää kiinnostusta välittömästi tai joskus vuosikin myöhemmin, joten valmistaudu myös vaikkapa haastateltavaksi tutkimuksesi perusteella. Kun tutkimus on tehty hyvin ja tieteellinen vertaisarviointiprosessi on hoidettu mallikkaasti, voi omista tutkimustuloksista kertoa hyvällä itseluottamuksella maailmalle. Tutkimusta kun tehdään paitsi tieteen myös yhteiskunnan kehittymistä varten.
Kirjoittajat
Sakari Taipale 1,2, Tiina Parviainen 3 ja Mikko Jakonen 4,5
1 Ikääntymisen ja hoivan tutkimuksen huippuyksikkö, Jyväskylän yliopisto
2 Yhteiskuntatieteellinen tiedekunta, Ljubljanan yliopisto, Slovenia
3 Monitieteinen aivotutkimuskeskus, Jyväskylän yliopisto
4 Yhteiskuntatieteiden ja filosofian laitos, Jyväskylän yliopisto
5 Historian, kulttuurin ja taiteiden tutkimuksen laitos, Turun yliopisto
Haluatko kirjoittaa OSC Blogiin? Ota yhteyttä julkaisukoordinaattori Sini Tuikkaan.
Blogiteksti on lisensoitu Creative Commons Nimeä 4.0 Kansainvälinen -lisenssillä.