sunnuntai 18. huhtikuuta 2010

Vertaisarviointi

Vertaisarvioinnin idea

Vertaisarviointi on olennainen osa nykyistä tutkimusmaailmaa. Tutkimukset pyritään saattamaan ennen niiden julkaisua alan muiden ammattilaisten arvioitaviksi. Näin pyritään välttämään ainakin suurimmat kömmähdykset. Vertaisarviointitoiminnan tuottama etu on se, että vertaisarvioinnin läpi käyneet julkaisut ovat yleensä todennäköisesti luotettavampia ja faktatiedoiltaan vähemmän pielessä kuin sellaiset, jotka on julkaistu ilman vertaisarviointiprosessia. Huonoimmat tutkimusluonnokset jäävät vertaisarvioinnin haaviin, eivätkä päädy vertaisarvioituun julkaisuun. Näin ainakin ideaalitapauksessa.

Vertaisarvioinnin haasteet

Vertaisarviointi ei ole kuitenkaan täysin ongelmaton käytäntö. Tutkimusten arvioijat ovat ihmisiä. Toisinaan vertaisarvioijat eivät osaa tunnistaa luonnostekstien pahojakaan virheitä, ja vertaisarvioinnin läpäisee myös erittäin huonosti tehtyjä tutkimuksia. Syitä tähän on monia: usein vertaisarvioijat eivät ole päteviä arvioimaan heille annettua tekstiä. Esimerkiksi jos tutkimus sisältää tilastoja, eikä vertaisarvioija itse hallitse matematiikkaa, hän ei osaa tunnistaa, mikä on oikeanlaista ja mikä tilastojen väärinkäyttöä. Toisaalta moni tutkimus sisältää sellaisia yksityiskohtia, joista vertaisarvioija ei ole perillä. Kyse ei ole kuitenkaan vain tiedon määrästä. Kuten kaikki tohtorintutkinnonkaan omaavat eivät omaa erinomaisia puhetaitoja, eivät kaikki tohtorintutkinnon omaavat hallitse myöskään palautteen antamisen, tiivistämisen ja olennaisten asioiden löytämisen taitoa. Toisille tutkijoille nämä asiat ovat toisia ominaisempia kykyjä, ja onkin osoittautunut aika vaikeaksi löytää hyviä kriteerejä, joilla voisi ennustaa sitä, että henkilö olisi hyvä vertaisarviojana.

Vaikka joitakin tutkimuksia on tehty vertaisarvioinnista, vieläkään ei ole tieteellistä tietoa siitä, millaiset persoonat ovat erityisen hyviä vertaisarvioijia, ja millaiset erityisen huonoja. Seurauksena on se, että vertaisarvioinnista menee läpi sekä (sen hetkisen tiedon mukaan) paikkansapitäviä että jopa sen hetkisen tiedon mukaan täysin virheellisiä väittämiä. Toisaalta toisinaan monet hyvinkään laaditut ja uraa uurtavat tutkimukset eivät läpäise vertaisarviointia.

Yksi huomionarvoinen esimerkki lienee Rosalyn Yalow:n tapaus. Yalow yritti vuonna 1955 saada erästä tutkimustaan julkaistuksi. Hän lähetti sen ensin Science-lehteen. Paperi tyrmättiin. Hän lähetti sen Journal of Clinical Investigations -julkaisuun. Tuloksena oli sama tulos: artikkelia kieltäydyttiin julkaisemasta. Yalow ei kuitenkaan tästä lannistunut, vaan hän lähetti tutkimustaan taas seuraaviin julkaisuihin vertaisarvioitavaksi. Lopulta tutkimus julkaistiin. Vaikka moni vertaisarvioija oli tyrmännyt tutkimuksen, se osoittautui erittäin merkittäväksi. Yalow palkittiin sittemmin nimenomaan tästä tutkimuksestaan vuonna 1977 lääketieteen Nobel-palkinnolla.

Miten haasteisiin voitaisiin ehkä (osin) vastata?

Koska vertaisarviointiprosessin suurin riskitekijä on ihminen, tätä riskiä pitää koittaa pyrkiä pitämään mahdollisimman alhaalla.

Yksi keino tähän on se, että käytetään useita vertaisarvioijia, jotka kukin itsenäisesti arvioivat tutkimusta. Monissa julkaisuissa käytetäänkin useampaa kuin yhtä vertaisarvioijaa: esimerkiksi 2-5 arvioijaa lienee aika tavanomainen määrä. Arvostetuimmissa julkaisuissa 3 vertaisarvioijaa taitaa olla usein minimi. Toisaalta vertaisarvioijien määrä korreloi vertaisarvioinnin työn määrään. Vertaisarvioijille maksetaan harvoin palkkaa. Ja jos esimerkiksi kolmen vertaisarvioijan sijaan käytettäisin neljää vertaisarvioijaa, arviointityön määrä kasvaisi 33 prosenttia.

Yksi kehitysmahdollisuus olisikin se, että vertaisarviointityötä ammattimaistettaisiin. Kaikki nykyisin tutkijana toimivat eivät ole oikeasti erityisen hyviä tutkijoita. Myöskään kaikki nykyiset vertaisarvioijat eivät omaa vertaisarviointiin tarvittavia kykyjä. Ehkä osa tutkijoista ei omaa erityistä kykyä kumpaankaan. Olettaakseni on kuitenkin mahdollista omata hyvä kyky toisten tekemisten arviointiin, vaikkei itse olisikaan yhtä hyvä tekemään samaa asiaa. Nykyisinhän kaikkien hyvien tutkijoiden usein jotenkin oletetaan olevan myös hyviä vertaisarvioijia. Jos osa tutkijoista erikoistuisi nykyistä enemmän vertaisarvioijiksi, voisi tämä hyödyttää sekä muita tutkijoita, että näitä itseään, kun he saisivat tehdä enemmän sellaista työtä, missä ovat hyviä. Tällöin vertaisarviointityön arvostuskin ehkä kasvaisi, ja oman ammatillisen kunnianhimon ja ammattimaisemman vertaisarviointikokemuksen vuoksi vertaisarvioijat eivät niin herkästi päästäisi huonoja väitteitä läpi. Tällainen kehitysehdotus ei sovi kuitenkaan pienille aloille, koska niissä ongelmana on jo nyt potentiaalisten vertaisarvioijien vähyys.

Yksi keskeinen ongelma on kuitenkin myös "piirien pienuus": etenkin pienillä aloilla potentiaalisia vertaisarvioijia ovat lähinnä kollegat. Ja pienissä piireissä kaikki tuntevat toisensa. Edes vertaisarvioinnin nimettömyys, jota joillain aloilla harjoitetaan, ei estä tätä ongelmaa - koska pienillä aloilla kirjoittaja tunnistetaan jo tekstistä, vaikkei nimeä lukisikaan. Jos arvioi jonkun hyvän ystävänsä paperia, paperin päästää ehkä helpommin julkaistavaksi eikä sisältöasioihinkaan puutu niin helposti. Tai jos arvioi jonkun sellaisen tutkimusta, johon oma suhde on ennemminkin "vihamiesmäinen", helposti myös vertaisarvioinnista tulee mahdollisimman objektiivisen sijasta ylikielteinen. Tämän takia vertaisarvioinnista pitäisi - ei vain voida, vaan myös jopa - täytyä kieltäytyä, jos arvioija on jäävi suhteessa arvioitavaan.

Myös toimitusten tulee kantaa vastuunsa

Edellä mainitut asiat eivät toki poista kaikkia vertaisarvioinnin mahdollisia ongelmia. Esimerkiksi eräs tuntemani tutkija kertoi hiljattain minulle siitä, kuinka oli tehnyt eräästä tutkimuksesta varsin yksityiskohtaisen vertaisarvioinnin, jossa oli havainnut artikkeliluonnoksessa olleen useita virheitä. Hän oli lähettänyt vertaisarvioinnin lehden toimitukseen. Sen jälkeen ei lehdestä kuulunut mitään. Myöhemmin hän oli havainnut kyseisen tutkimuksen tulleen julkaistuksi - sellaisenaan, vailla yhtään muutosta hänen näkemästään luonnoksesta. Tällaiset tilanteet lienevät poikkeuksia, mutta on silti syytä huomauttaa siitä, ettei vertaisarviointiprosessin ainoa heikko lenkki ole vertaisarvioijat. Myös vertaisarviointia harjoittavan julkaisun toimituksen pitää seurata lehden politiikkaa ja vastata siitä, että vertaisarviointiprosessin tulokset todella vaikuttavat julkaistavien tutkimusten sisältöön. Mahdolliset tutkimuksissa havaitut virheet, puutteet ja muut ongelmakohdat tulee pyrkiä korjaamaan ja vaatia korjattaviksi (tai ainakin selitettäviksi; mikäli korjausvaatimus on aiheeton, mitä myös toisinaan tapahtuu) ennen kuin tutkimusta annetaan julkaista.


Luettavaa:

Callaham ML, Tercier J (2007) The Relationship of Previous Training and Experience of Journal Peer Reviewers to Subsequent Review Quality. PLoS Med 4(1): e40. doi:10.1371/journal.pmed.0040040

Evans AT. Mcnutt RA, Fletcher SW & Fletcher RH (1993) The characteristics of peer reviewers who produce good-quality reviews. Journal of General Internal Medicine. Volume 8, Number 8 / August.

Raivio K. (2006) Vertaisarviointi tieteellisessä julkaisutoiminnassa. Tieteessä tapahtuu 7/2006.

The PLoS Medicine Editors (2007) Peer Review in PLoS Medicine. PLoS Med 4(1): e58. doi:10.1371/journal.pmed.004005

Ei kommentteja:

Lähetä kommentti