Istuin maanantaina 11.3. Opetus- ja kulttuuriministeriön järjestämässä ja tiistaina 12.3. Suomen yliopistokirjastojen neuvoston tutkimuksen tuen verkoston järjestämässä bibliometriikkaseminaarissa. OKM:n seminaarissa käsiteltiin bibliometriikkaa ennen muuta ohjauksen ja arvioinnin näkökulmista, SYN:n seminaarissa enemmän käytännön toteutusten näkökulmista. Kirjoitukseni kuvaa niitä ajatuksia, joita minulla kuulijana heräsi. Isoin kiitos ajatusten herättämisestä kuuluu Oulun yliopiston kirjaston esiintyjille – hehän ovat meneillään olevan evaluoinnin vuoksi juuri joutuneet paneutumaan bibliometriikkaan varsin perusteellisesti.
Mittareita ja puntareita
Nykyisen yliopistojen hallintomallin sekä ministeriöiden ohjausjärjestelmän mukaan yliopistojen toimintaa ohjataan monenlaisten tunnuslukujen perusteella. Tutkimus on yksi kolmesta yliopistojen päätehtävästä ja sen tulokset esitetään ensisijaisesti julkaisemalla. Niinpä julkaisutoimintaan liittyvät tunnusluvut ovat keskeisessä asemassa johtamis- ja ohjausjärjestelmissä. Bibliometriikan tavoitteena on tuottaa mahdollisimman hyvin julkaisuja ja niiden laatua kuvaavia tunnuslukuja. Siinä meille kirjastolaisille haastetta kyllikseen: me siis olemme avainasemassa tuottamassa merkittävää osaa niistä luvuista, joilla Suomen tieteellistä tutkimusta ohjataan.
”Sitä saa, mitä mittaa” otsikoi erään tutkimuslaitoksen sisäinen kehittämisryhmä raporttinsa. Tämä lause pyöri mielessäni seminaareissa istuessani. Mittareilla on erittäin vahva ohjausvaikutus. Olen kuullut tutkijan suusta lausahduksen, että laitoksen johdon on ihan turhaa painottaa tutkimustulosten popularisoinnin tärkeyttä – niin kauan kuin työtä mitataan vain tieteellisten artikkelien määrällä, hän tuottaa vain niitä eikä haaskaa aikaa kirjoittelemalla sanomalehtiin sun muihin. Toinen tutkija totesi, että oikeustieteessä on OECD:n mittauskäytäntöjen vuoksi ryhdytty kirjoittamaan artikkeleita tieteellisiin lehtiin (joita on viime aikoina jouduttu myös perustamaan), vaikka tieteenalan oma julkaisukäytäntö on ollut tuottaa kirjoja.
Me kirjastolaiset emme tietenkään ole vastuussa siitä, millaisia ohjaus- ja hallintojärjestelmiä käytetään, mutta mielestäni meidän pitää ymmärtää tämä näkökulma tuottaessamme (tai tilatessamme Leidenin yliopiston bibliometriikkaan erikoistuneesta yksiköstä) erilaisia tunnuslukuja yliopistomme käyttöön. Meidän hallussamme on metodiikka lukujen laskemiseen ja tulkintavastuu on viime kädessä toki yliopistojemme johdolla. Meidän tehtävämme on mielestäni kuitenkin myös oman tietämyksemme ja kokemuksemme nojalla osoittaa tulkitsijoille mahdollisia kuoppia ja epäoikeudenmukaisuuksia, joita lukujen tulkintaan liittyy.
Tunnuslukujen esittämisessä kannattaa myös muistaa se tosiseikka, josta Markku Laitinen jossakin kirjastojen tilastokoulutuksessa muistutti: ”Kun laitatte jonkin luvun nettiin, ette voi ryömiä sen perässä kertomaan kaikille, mitä rajoituksia ja ongelmia lukuun sisältyy, vaan jokainen lukija tulkitsee sen omista lähtökohdistaan. Kannattaa tarkoin valita, mitä laskee, miten laskee ja mitä julkistaa.” Kirjastolaiset on otettu viime vuosina mukaan useimpiin yliopistoissa tehtyihin tutkimuksen evaluointeihin, mikä on tietenkin mukavaa työmme arvostusta ajatellen, mutta antaa meille myös raskaan vastuun bibliometristen tunnuslukujen valinnassa ja esittämisessä. Esimerkkinä tästä on seminaarissa esitelty Oulun yliopiston meneillään oleva evaluointi, jossa kirjasto neuvottelee Leidenin yliopiston kanssa bibliometrisestä laskennasta ja on mukana siihen liittyvän uuden metodiikan kehittämisessä. Tavoitteena on mm. parantaa tunnuslukujen vertailtavuutta tieteenalojen välillä.
Viittausmääriin perustuvaa bibliometriikkaa käytetään – kuten seminaareissakin moneen kertaan todettiin – vain osalle tieteenaloista. Se ei sovellu ns. SSH-aloille (yhteiskunta- ja humanistiset tieteet) ja niillä käytetään kuvailevampia tunnuslukuja. Karkeasti voisi ehkä yleistää: kvantitatiiviseen metodologiaan perustuvat julkaisut voidaan kuvata kvantitatiivisin eli bibliometrisisn menetelmin, mutta kvalitatiiviseen metodologiaan perustuvat julkaisut kuvataan kvalitatiivisin menetelmin. Entä sitten tutkimus, joka liikkuu molemmilla alueilla? Leidenin kriteeri bibliometriikan soveltamiselle on, että arvioitavan yksikön/ryhmän julkaisuista vähintään 40 % sisältyy Web of Scienceen. Helsingin yliopiston ratkaisu oli, että kirjaston toimesta analysoitiin kuvailevin menetelmin vain niiden ryhmien julkaisut, joilla ei voitu tehdä WoS-pohjaista bibliometriikkaa. Siis periaatteessa jopa 60 % julkaisuista jätetään ottamatta arvioinnissa huomioon, koska bibliometriikka on ensisijainen menetelmä. Onko vain teoreettinen mahdollisuus, että tuohon max. 60 %:iin sisältyy tieteellisiä helmiä? Miksi ihmeessä sitten puheiden tasolla varsin yleisesti pidetään moni- ja poikkitieteellistä tutkimusta arvokkaana ja toivottavana? Ainakin meidän yliopistossamme on tehty sellaista monitieteellistä tutkimusta, jossa on ansiokkaasti yhdistetty kvantitatiivisia ja kvalitatiivisia tieteitä ja tulosten arvo perustuu juuri siihen. Pitääkö kaikki monitieteinen tutkimus julkaista kvantitatiivisen osapuolen ehdoin? Entä ne viittaukset, jotka kertyvät sen kvalitatiivisen tieteenalan kirjoihin? Niistä viis?
Kirjojen ja kirja-artikkelien viittausmääriin liittyviä tietokantoja on aivan viime aikoina ryhdytty kehittämään, mutta niiden kattavuus on vielä varsin heikko. Paljonko niiden avulla saadaan korjatuksi tieteenalojen välistä epätasapainoa, jää vielä nähtäväksi.
Laadunarviointia
Yhteiskunta- ja humanistisilla tieteenaloilla kirjastolaisten vastuu tunnuslukujen tuottamisessa on ehkäpä vielä raskaampi. Ei ole olemassa kansainvälisiä palveluita ja vakiintunutta metodiikkaa, vaan kirjastot tekevät julkaisutietojen analyysit parhaan ymmärryksensä mukaan. Työkaluksi on pelkkien bibliografisten tietojen oheen saatu julkaisufoorumiluokat, joiden avulla pyritään kuvaamaan lehden, sarjan tai kirjankustantajan mukaan julkaisujen tasoa. Julkaisufoorumiluokitus on tehty myös SSH-alojen lehdille, sarjoille ja kustantajille, millä tavoitellaan tieteenalojen välistä tasa-arvoa.
Julkaisufoorumiluokituksen käyttöohjeessa sanotaan: ”Julkaisufoorumin tasoluokat ennustavat suurten julkaisumäärien keskimääräistä laatua ja vaikuttavuutta, mutta ovat liian summittainen väline yksittäisten julkaisujen tai tutkijoiden arviointiin. Tasoluokitus kertoo julkaisun läpäisemän kilpailun ja vertaisarvioinnin tasosta, mutta tason 1 julkaisukanavissa ilmestyy yksittäisiä, keskitasoa laadukkaampia ja vaikuttavampia julkaisuja, ja tason 2 ja 3 julkaisukanavissa ilmestyy myös keskitasoa heikompia ja ilman viittauksia jääviä julkaisuja. Tasoluokitus ei missään tapauksessa voi korvata julkaisujen sisältöön perustuvaa vertaisarviointia yksittäisten tutkijoiden tai tutkimusryhmien arvioinnissa.”
OKM:n seminaarissa esiteltiin Kansalliskirjastossa tuotettua käyttöliittymää yliopistojen julkaisutietojen selailuun (julkaisuportaali). Se mahdollistaa julkaisuihin liittyvien lukujen tuottamisen ristiin rastiin monilla eri kriteereillä. Kuten seminaarilaiset saattoivat omin silmin todeta, julkaisuportaalista hyppää äkkiä esiin, ketkä tutkijat ovat julkaisseet eniten julkaisufoorumitason 3 kanavilla. Näin OKM:n tilaamassa käyttöliittymässä.
Oulun yliopiston tutkimuksen arvioinnissa kirjasto tekee julkaisuanalyysit niille tutkimusryhmille, joiden julkaisutuotanto ei täytä Leidenin kriteereitä bibliometristen menetelmien käytölle (kuten esim. Helsingissäkin tehtiin pari vuotta sitten). Täyttääkö niiden julkaisutuotanto oikeasti julkaisufoorumiluokituksenkaan kriteeriä suurista julkaisumääristä? Yliopiston johto on ainakin meillä Lapissa – puhtaasti SSH-yliopistossa – kovasti kiinnostunut julkaisufoorumiluokituksesta, kun ei muutakaan laadunarviointimenetelmää ole tarjolla. Pitäisikö meidän kirjastolaisten kieltäytyä tutkimusryhmien julkaisujen julkaisufoorumiluokkajakaumien esittämisestä vedoten julkaisufoorumiluokituksen käyttöohjeeseen?
SSH-epätoivoa?
Kaikenlaista mittarointia ja puntarointia tehdään nykyisin niin innokkaasti, että välillä herää epätoivo. Kun kerran yhteskuntatieteellisen ja humanististen tieteiden julkaisujen laatua ei voida mitata, sitä ei mitata. Niinpä erilaisissa yhteenvedoissa ja arvioinneissa esitetään mittaustulokset/tunnusluvut vain kvantitatiivisista tieteistä. Mitä se vaikuttaa resurssien jakoon? Kuivattaako se yhteiskuntatieteellisen ja humanistisen tutkimuksen pois yliopistoista? Vai ehtivätkö kirjoihin ja kirja-artikkeleihin perustuvat tietojärjestelmät ja mittaristot kehittyä pelastamaan vielä jotakin? Vai miten kuvataan rinnakkain samassa taulukossa / kuvassa bibliometrisesti mittaroidut ja kuvailevasti puntaroidut eri tieteenalojen julkaisut. Vai pitääkö kaikkien yhteiskunta- ja humanististen tieteiden tehdä kuten edellä kuvaamani oikeustieteilijä kertoi: ryhtyä kirjoittamaan referoituja artikkeleita lehtiin, tarvittaessa perustaa niitä lehtiä. Mitä se tekee itse tieteille? Heiluttaako häntä koiraa?
Liisa Hallikainen
Informaatikko, Lapin yliopisto
Tutkimustietojärjestelmäprojektin päällikkö
