SURIMA-hankkeen päätösseminaarin tallenteet verkossa

Suomi rinnakkaistallentamisen mallimaaksi (SURIMA) -hankkeen päätösseminaarin videotallenteet ovat katsottavissa Jyväskylän yliopiston kirjaston sivuilla. Seminaarissa käsiteltiin mm. avoimen tieteen vaikuttavuutta, avointa julkaisemista ja tieteellisten julkaisujen rinnakkaistallentamista.


facebooktwittergoogle_pluslinkedin

Kansallinen bibliometriikkaseminaari 16.12. Helsingissä

Bibliometriikasta kiinnostuneiden kannattaa merkitä 16.12.2016 kalenteriin jo nyt. Kansallinen bibliometriikkaseminaari pidetään tuolloin Helsingin yliopiston Minerva-torilla (Siltavuorenpenger 5). Seminaarissa puhuvat muun muassa Gunnar Sivertsen, Maria Forsman ja Kim Holmberg.

Ohjelmasta ja ilmoittautumisesta tiedotetaan myöhemmin.

Bibliometriikkaseminaarin järjestävät OKM, SYNin tutkimuksen tuen verkosto, CSC ja Helsingin yliopiston kirjasto.


facebooktwittergoogle_pluslinkedin

Helsingin yliopiston tutkimusjulkaisut polttopisteessä

Helsingin yliopistossa tehtiin vuosina 2011-12 tutkimuksen ja tohtorikoulutuksen kansainvälinen arviointi, joka kattoi vuodet 2005-2010. Arviointiin sisältyi laaja bibliometrinen analyysi, johon osallistui myös yliopiston kirjaston bibliometriikan asiantuntijoita. Kolme vuotta myöhemmin heräsi kiinnostus arvioida jälleen HY:n tutkijoiden julkaisutoimintaa.

Edellisen arvioinnin tehneen Leidenin yliopiston tieteen ja teknologian tutkimuksen keskuksen (CWTS) ympärille oli nyt perustettu firma, joka on tehnyt sopimustutkimuksia muillekin suomalaisille korkeakouluille. Neuvottelut sen kanssa aloitettiin syksyllä 2013. Varsinainen työ pääsi alkuun loppukeväästä 2014 ja Helsingin yliopiston kirjastolla oli siinä jälleen keskeinen rooli. Aineiston tarkistamiseen ja käsittelyyn osallistui kolmisenkymmentä kirjastoammattilaista. Kirjasto oli myös hyvin edustettuna Maria Forsmanin vetämän hankkeen ohjausryhmässä ja projektiryhmässä.

Aiemman arvioinnin yhteydessä Helsingin yliopistossa käyttöön otettu TUHAT-tutkimustietojärjestelmä ei ollut aivan niin tarkka ja täydellinen kuin oletimme ja toivoimme. Viime vuosina yliopistoon rekrytoidut uudet tutkijat olivat tuoneet mukanaan arvioinnin kannalta ylimääräistä eli aiemmin tehtyjä julkaisujaan. Vastaavasti monia julkaisuja puuttui.

Kaikkiaan arviointiin otettiin mukaan 28 357 Helsingin yliopistolle kuuluvaa Web of Science -tietokannasta löytyvää julkaisua. Näin suurella huolellisuudella yliopiston julkaisuja ei ole tunnistettu tätä ennen.

CWTS:n analyysin tulokset on julkaistu raportissa Research performance analysis for the University of Helsinki 2005-2012/13. Keskeiset tulokset ovat selvät. Lääketiede, biotieteet, eksaktit luonnontieteet ja julkaiseminen monitieteisissä lehdissä ovat tyypillisinä Web of Sciencen aloina vahvoja. Koska analyysissä ei vertailtu HY:tä muihin korkeakouluihin, vaan se keskittyi julkaisujen menestymiseen, ohjausryhmä oli päätynyt osittamattomaan analyysiin, joka antaa parhaiten tietoa yhteistyössä laadittujen tutkimusjulkaisujen menestyksestä. Kansainvälinen yhteistyö menestyi hyvin, sen sijaan kansallinen yhteistyö ei erottunut tuloksissa. Helsingin yliopiston tutkimusjulkaisujen ns. maailman keskiarvoa paremmalle menestykselle saatiin tarkka lukuarvo.

Kirjasto täydensi tuloksia omilla lisäanalyyseilla, jotta kokonaiskuva täydentyisi etenkin humanististen ja yhteiskuntatieteiden osalta. Tarkastelimme mm. julkaisujen kieltä, tekijöitä, julkaisutyyppejä ja julkaisufoorumitasoja. Lisäksi tarkensimme kuvaa aineiston jakautumisesta yliopiston eri yksiköille yli CWTS:n käyttämän luokituksen tutkimusalarajojen. Kaikki tulokset sekä kirjaston Web of Science –aineistosta laatimat VOSviewer-visualisoinnit ovat avoimesti saatavilla.

Saimme tarkimman tähänastisen kuvan Helsingin yliopiston tutkimusjulkaisuista. Jouduimme kuitenkin kilpailemaan tutkijoiden huomiosta, sillä hiukan ennen raporttiamme julkistettiin OKM:n selvitys suomalaisen yliopistotutkimuksen tuottavuudesta ja vaikuttavuudesta. Siinä selvityksessä nostettiin Julkaisufoorumiluokitus aiempaa vahvemmaksi arvioinnin mittariksi. Uskomme kuitenkin, että HY:ssä tehdyllä laadullisella arvioinnilla on kestävä arvonsa.

Arviointikulttuuri elää ajan mukana. Emme tätä kirjoittaessamme tiedä, tekeekö seuraavan arvioinnin CWTS, CSC vai jokin muu organisaatio. Ehkä se tehdäänkin aivan toisin menetelmin? Ehkäpä julkaisujen sijaan kiinnostaakin enemmän se, mitä juuri nyt tapahtuu? Miten esimerkiksi sosiaalinen media reagoi tieteellisen tutkimuksen tuloksiin?

Vuoden 2015 bibliometriikkaseminaari, jonka järjestäjiä ovat SYN, CSC ja OKM  saattaa antaa eväitä tulevaan. Seminaari pidetään Helsingissä 16.10.2015 ja sen pääpuhujaksi on saatu yhteistyökumppanimme, CWTS:n Associate Director Ed Noyons. Luvassa on kiinnostavaa ajatustenvaihtoa ja monipuolisia näkökulmia arviointiin ja sen käyttämiin välineisiin.

Eva Isaksson
tietoasiantuntija
Helsingin yliopiston kirjasto

Maria Forsman
johtava tietoasiantuntija emerita


facebooktwittergoogle_pluslinkedin

Bibliometriikkaseminaari 16.10. Helsingissä – ilmoittautuminen alkanut

Vuoden 2015 bibliometriikkaseminaari järjestetään Helsingissä 16.10.2015. Seminaaripäivän teemana on tutkimuksen arviointi bibliometriikan näkökulmasta. Erityisesti paneudutaan tutkimuksen laatua kuvaavien indikaattorien valintaan ja selityskykyyn. Seminaarin pääpuhujana on Ed Noyons (Associate Director CWTS, Leiden). Iltapäiväksi jakaudutaan ajankohtaisia aiheita käsitteleviin työryhmiin teemoilla tieteidenvälisyys, tutkimuksen arviointi ja tutkimuksen tuottavuuden mittaaminen.

Seminaariin toivotetaan tervetulleiksi kaikki bibliometriikan parissa työskentelevät ja sitä hyödyntävät henkilöt. Osallistujia toivotaan sekä korkeakoulujen ja tutkimusorganisaatioiden hallinnosta ja kirjastoista, ministeriöstä, Suomen Akatemiasta että tutkijakunnasta. Osallistujia pyydetään halutessaan julkaisemaan seminaarin yhteydessä artikkeli jostain sen aihepiiriin liittyvästä kokonaisuudesta.

Seminaarin järjestävät yhdessä opetus- ja kulttuuriministeriö, Suomen yliopistokirjastojen neuvosto (SYN) ja CSC – Tieteen tietotekniikan keskus.

Tarkempi ohjelma ja seminaariin ilmoittautuminen tällä lomakkeella: https://www.webropolsurveys.com/S/17307AB42743F589.par

Ilmoittaudu viimeistään ke 7.10.2015.


facebooktwittergoogle_pluslinkedin

Bibliometriikkaseminaari 16.10. Helsingissä

Tutkimuksen arviointi ja indikaattorien valinta

Vuoden 2015 bibliometriikkaseminaari järjestetään Helsingissä 16.10.2015. Seminaaripäivän teemana on tutkimuksen arviointi bibliometriikan näkökulmasta. Erityisesti paneudutaan tutkimuksen laatua kuvaavien indikaattorien valintaan ja selityskykyyn. Seminaarin avaa Ed Noijonsin (Associate Director CWTS, Leiden) esitelmä. Iltapäiväksi jakaudutaan ajankohtaisia aiheita käsitteleviin työryhmiin teemoilla tieteidenvälisyys, tutkimuksen arviointi ja tutkimuksen tuottavuuden mittaaminen.

Seminaariin toivotetaan tervetulleiksi kaikki bibliometriikan parissa työskentelevät ja sitä hyödyntävät henkilöt. Osallistujia toivotaan sekä korkeakoulujen ja tutkimusorganisaatioiden hallinnosta ja kirjastoista, ministeriöstä, Suomen Akatemiasta että tutkijakunnasta.

Ilmoittautuminen avataan kesälomien jälkeen elokuussa, jolloin myös seminaarin tarkempi ohjelma julkaistaan.

Merkitsethän seminaarin ajankohdan jo kalenteriisi. Seminaarin järjestävät yhdessä OKM, SYN ja CSC.


facebooktwittergoogle_pluslinkedin

Tutkimuksen tueksi uusia innovaatioita kirjastoista

Suomen yliopistokirjastojen neuvoston vuosille 2013-2017 laaditun strategian yhtenä strategisena päämääränä on luoda innovatiivisia tietopalveluita suomalaisen tutkimuksen ja korkeakouluopiskelun menestykseksi.  Tähän liittyen pyritään kehittämään tutkimuspalveluinnovaatioita, jotka edistävät tutkimusta ja luovat uusia linkkejä kirjaston ja tutkimuksen välille.  Viime vuonna avattiin yliopistokirjastoille innovaatiokilpailu, johon saatiin vuoden loppuun mennessä kaksi innovaatiota:

  • Terkon altmetriikkaprosessi (Helsingin yliopiston kirjasto)
  • Oulun yliopiston kirjaston tutkijapalveluiden integroituminen tutkimusprosesseihin

Helsingin yliopiston kirjaston johtavat tietoasiantuntijat Maria Forsman ja Jukka Englund ovat esitelleet altmetriikkaa blogikirjoituksessaan: “Altmetriikka antaa mahdollisuudet luoda “data-vetoisia tarinoita” tutkimuksen rahoittajille ja hallinnolle. Tutkijat voivat nähdä, ketkä puhuvat heidän tutkimuksistaan, mitä he sanovat niistä …”. Terkon altmetriikkaprosessiin voi tutustua myös Jukka Englundin diaesityksen avulla.

Oulun yliopiston tutkimuspalveluinnovaatio

Oulun yliopiston kirjastossa on aloitettu viime vuonna hanke kirjaston tutkijapalveluiden kehittämiseksi vastaamaan tutkijoiden tarpeita. Tavoitteena oli kehittää yhdessä tutkijoiden kanssa uusia palveluita ja integroida palvelut tutkimusprosessin eri vaiheisiin sekä tehdä palveluita näkyviksi. Hyvänä pohjana palvelujen kehittämiselle on ollut Oulun yliopiston RAE2013-tutkimuksen kokonaisarviointi, jonka bibliometrisen osuuden tuottamiseen kirjasto osallistui.

Hanke alkoi elokuussa pidetyllä kehittämispäivällä, jossa olivat mukana kirjaston informaatikot ja neljä kutsuttua tutkijaa eri aloilta. Yhteisen päivän ideat koottiin ja palvelujen tuotteistamista jatkettiin kirjastossa alkusyksyn aikana. Koosteena syntyi näkemys kuinka havainnollisesti ja lyhyesti kuvata tutkijoiden näkökulmasta kirjaston palvelujen integroituminen tutkimusprosessiin (ks. kuva):

oulun innovaatio

Kuva esittää tutkimusprosessin etenemistä ja kirjastopalveluiden integroitumista prosessiin. Kuvan avulla kirjaston palvelut tehdään tutkijoille näkyväksi ja ymmärrettäväksi osana tutkimusprosessia. Kuvaan on koottu palveluja ja aihepiirejä, joissa voimme auttaa tutkijoita ja tutkimusryhmiä tutkimuksen elinkaaren eri vaiheissa. Kuva tulee toimimaan kirjaston www-sivulla pohjana, josta kyseiset palvelut avautuvat. Kuvaa täydennetään palvelujen osalta.

Näitä kirjaston palveluja ja tutkimusryhmiltä itseltään esiin tulevia palvelutarpeita testataan hankkeen seuraavassa vaiheessa pilottiryhmien kanssa. 11 pyydettyä tutkijaryhmää lähti mukaan piloteiksi innostuneena yhteistyömahdollisuudesta. Viiden ryhmän kanssa on jo loppuvuodesta pidetty aloituspalaveri. Pilottiryhmien kanssa keskustellaan tarvittavista palveluista, uusien palvelujen luomisesta ja testataan kuvan mukaista palvelupakettia.

Alkukartoituksen jälkeen tutkijaryhmien kanssa tavataan säännöllisesti mm. uusien palvelutarpeiden ideoimiseksi. Jo ensimmäiset tapaamiset tutkijoiden kanssa ovat lisänneet palvelujen kysyntää; esimerkiksi patenttiasiat, bibliometriset palvelut.

Monet palvelut ovat jo olemassa olevia kirjaston palveluja, jotka tiiviimmällä yhteistyöllä saadaan tutkijoille näkyviksi. Tärkeää on myös löytää uusia palveluja, joiden tarvetta kirjastossa ei ole tunnistettu tai palveluja, joita tutkijat mahdollisesti eivät osaa kysyä kirjastosta, vaikka kirjastossa siihen olisikin asiantuntemusta ja osaamista.

Lisätietoja Oulun yliopiston kirjaston tutkimuspalveluinnovaatiosta voi kysyä ylikirjastonhoitaja Päivi Kytömäeltä ja kirjastohoitaja Irene Salomäeltä.

Tutkimuspalveluinnovaatiokilpailu jatkuu

Edellä on esitelty kaksi innostavaa esimerkkiä uusien tutkimuspalveluiden kehittämisestä. Yliopistokirjastoilla on paljon osaamista, jolla voidaan edistää tutkimusta yliopistoissa. Tutkimuspalveluinnovaatiokilpailun myötä Suomen yliopistokirjastojen neuvosto, SYN kannustaa tuomaan tätä osaamista näkyvämmin esiin. Kilpailu toistetaan vuosittain, joten nyt vain uusia innovaatioita kehittelemään!

Susanna Parikka, kirjastonjohtaja, Lapin korkeakoulukirjasto
SYN:n puheenjohtaja 2013-2014


facebooktwittergoogle_pluslinkedin

Altmetriikka – vaihtoehtoista metriikkaa

Eri alojen tutkijoiden keskuudessa on usein kritisoitu tapoja, joilla mitataan tutkimuksen vaikuttavuutta ja näkyvyyttä. Erityisesti viittausanalyysit ovat olleet kritiikin kohteena. Syitä ovat olleet mm. se, että ne ovat tietokantakohtaisia, kansainväliset viittaustietokannat kattavat paremmin lääketieteen ja luonnontieteiden alat ja kohtelevat eri tieteenaloja eri tavalla riippuen siitä, millainen julkaisukulttuuri niissä on. Myös h-indeksi, jota käytetään tutkijoiden vertailussa viittausanalyysien yhteydessä, on saanut kritiikkiä.

Samoin Journal Impact Factor on herättänyt kritiikkiä tiedeyhteisössä, kun huhuja  sen mahdollisista manipuloinneista on levinnyt tiedeyhteisöissä. Myös se, miten JIF todella lasketaan, on herättänyt kysymyksiä.

Viittausten hitaus, mikä osin liittyy vertaisarvioinnin ja julkaisemisen hitauteen, on myös kiusannut tutkijoita. Viittausanalyysit kertovat menneestä ajasta, kun tutkijoita kiinnostaa enemmän se, mitä tapahtuu nyt, mistä keskustellaan, miten tutkimuksiin reagoidaan ja mihin suuntaan tieteessä ollaan menossa.

Perinteinen vertaisarviointi on koettu aikansa eläneeksi myös siksi, että se suosii konventionaalista tieteen tekemistä ja saattaa jopa estää uusien ajatuksien ja tutkimustulosten julkituloa.

Mitä on altmetriikka

Yhtenä vastauksena tähän kritiikkiin on bibliometriikan uusi suuntaus altmetriikka (altmetrics), joka muodostuu sanoista alternative (biblio)metrics tai – toisen tulkinnan mukaan – article level (biblio)metrics, koska siinä mitataan julkaisujen – ei lehden tai kirjoittajan – näkyvyyttä.

Altmetriikka on nähty myös webnatiivin sukupolven vastaiskuna aikansa eläneelle tutkimuskulttuurille. Vuonna 2010 julistettiinkin verkossa manifesti, “Altmetrics manifesto”.

Altmetriikan avulla yritetään löytää vastauksia siihen, mitä tieteessä tapahtuu juuri nyt. Mistä keskustellaan? Mikä kiinnostaa toisia tutkijoita, mikä kansalaisia? Voidaanko näin saada selville tutkimuksen yhteiskunnallista vaikuttavuutta? Yhtenä ideana on se, että ei vain julkaistaisi tutkimustietoa, vaan tehtäisiin tutkimusta julkiseksi, tunnetuksi laajemminkin kuin vain tutkijapiireissä. Ihanteena on tieteen avoimuus.

Altmetriikassa keskeistä on verkossa käytävä keskustelu, sosiaalinen media. Millaista keskustelua tarjoavat Twitter, Facebook, Linkedin? Entä kirja-arvostelut, sanomalehdet ja blogit? Entä linkit tutkimusdataan ja data-arkistoihin?

Altmetriikan avulla voidaan seurata sitä, montako kertaa tutkimuksen tuotos (artikkeli, kirja jne.) saa viittauksia, twiittauksia, tykkäämisiä, jakoja, kirjanmerkkejä. Samoin, montako kertaa sitä katsotaan, ladataan, mainitaan jossain, suositellaan, ja kuinka monta kertaa sitä arvioidaan tai siitä keskustellaan.

Näitä lukuja kerätään laajasta, avoimessa verkossa olevien palvelujen joukosta, joihin sisältyy esimerkiksi Open Access-lehtiä, viittaustietokantoja, tutkimustiedon näkyvyyspalveluja ja sosiaalista mediaa. Näkyvyyspalveluja ovat esim. ORCID, ResearcherID, Google Scholar, AcademiaEdu, Mendeley, ja niiden perusajatuksena on se, että tutkijat jakavat verkkoyhteisössä omia tutkimustuloksiaan ja julkaisujaan muille ja saavat samalla palautetta, herättävät ehkä keskusteluakin.

Mitä hyötyä ja lisäarvoa altmetriikasta sitten on tutkimuksen arvioinnissa?

Altmetriikka antaa mahdollisuudet luoda “data-vetoisia tarinoita” tutkimuksen rahoittajille ja hallinnolle. Tutkijat voivat nähdä, ketkä puhuvat heidän tutkimuksistaan, mitä he sanovat niistä, ja jopa kuinka he aikovat käyttää niitä hyväksi erilaisiin tieteellisiin, kaupallisiin, poliittisiin ja julkisiin tarkoituksiin. Näin tutkijat voivat myös löytää potentiaalisia yhteistyökumppaneita ja saada rakentavaa palautetta niiltä, jotka ovat kiinnostuneita ko. tutkimuksesta.

Altmetriikka antaa mahdollisuuden demokraattiseen julkiseen tarkasteluun, jossa tutkimuksen tuloksia voivat analysoida ja arvioida kaikki ne, jotka haluavat osallistua tähän keskusteluun. (Lisää tästä)

Webnatiivi tutkijasukupolvi ajattelee ja työskentelee eri tavalla kuin “paperiorientoitunut”. Voidaan kysyä, ovatko nuoret tutkijat nykyisin aikaisempien sukupolvien tutkijoita anarkistisempia? Uskaltavat he rikkoa sääntöjä? Nuoret ovat tottuneet kommentoimaan ja keskustelemaan myös tutkimustuloksista sosiaalisessa mediassa. Uskovatko he enemmän tieteen avoimuuteen ja aikamme “open data” –ajatteluun, jonka mukaan tutkimustulokset ja tutkimusdata on tarkoitettu julkaistaviksi kaikille? Yliopistokirjastojen olisi hyvä ymmärtää näitä muutostrendejä ja etsiä uutta roolia ja uusia näkemyksiä tiedeyhteisössä!

Terkon metriikkaprosessi

Helsingin yliopiston kirjaston Meilahden kampuskirjasto Terkko on kehittänyt palveluita, joiden avulla kampuksen julkaistut artikkelit saisivat mahdollisimman suuren näkyvyyden. Nämä näkyvyyspalvelut ovatkin tärkeässä roolissa Terkon metriikkaprosessissa (tämä on käytössä Helsingin yliopiston lääketieteellisen tiedekunnan ja HUSin, eli Helsinki Academic Medical Centerin, artikkeleille), jossa kirjasto on ottanut proaktiivisen roolin kehittämällä toimintamallin, jonka kautta tiedot julkaisuista leviävät verkon eri palveluihin ja sosiaaliseen mediaan.

Terkko seuraa n. 700 Suomessa tutkimusta tekevää lääketieteen tutkijaa ja kerää tiedot heidän julkaisutoiminnastaan Scholar Chart –palveluun. Palvelu näyttää läpinäkyvästi, mitä suomalaisessa lääketieteessä tutkitaan juuri tällä hetkellä. Tutkijoista on tallennettu tekijähaku kansainväliseen PubMed-tietokantaan, josta uudet viitteet kerätään Terkon FeedNavigator-palveluun RSS-syötteiden avulla ja näiden tietojen avulla päivitetään Scholar Chartia reaaliajassa.

Altmetriikan seurantapalvelut hyödyntävät mm. ns. social bookmarking –palveluita, sellaisia kuten esimerkiksi CiteULike ja Mendeley. Osana Terkon metriikkaprosessia uudet viitteet lisätään näihin palveluihin, jolloin artikkelit saavat niissä välittömästi näkyvyyttä. Mendeleystä viitteet on määritelty menemään automaattisesti suoraan Terkon Twitter-tilille, josta ne löytyvät #HelsinkiAcadMedCent –merkinnällä. Sieltä tutkijat voivat vaikkapa käydä uudelleen twiittaamassa niitä edelleen.

Terkon ylläpitämään Helsinki Academic Medical Centerin Facebook -sivulle lisätään tiedot valikoiduista, Julkaisufoorumin kolmostason artikkeleista. Nämä liitetään myös ImpactStory-altmetriikkapalveluun, jossa yksittäisen artikkelin näkyvyyden ja vaikuttavuuden kehittymistä voi seurata. Näiden lisäksi Pinterestiin kerätään valikoituja kuvia kampuksen open access –julkaisuista.

Terkko tarjoa myös erilaisia metriikkapalveluita Terkko Navigator –verkkopalvelun kautta. Terkko Impact –teemaprofiili kerää kaikki metriikoihin ja rankingpalveluihin liittyvät aineistot yhteen. Täältä löytyy mm. altmetriikkasivu, jonka kautta on mahdollista seurata ko. aiheen uusimpia artikkeleita ja twiittejä.

Terkko Navigator tarjoaa myös tutkijaprofiileja, jotka listaavat tutkijoiden uusimmat julkaisut. Näihin on liitetty ohjelmointirajapinnan (API) kautta myös altmetriikkatietoja mm. ImpactStory ja Altmetric –palveluista.

Terkko Kudos on Terkko Navigator –profiili, johon on kerätty kaikki Terkon kehittämät näkyvyyspalvelut, joiden avulla kirjasto pyrkii nostamaan oman kampuksensa julkaisutoiminnan vaikuttavuutta ja maailmanlaajuista näkyvyyttä.

Terkon altmetriikka-sivut ovat herättäneet paljon kiinnostusta, ja Helsingin yliopiston kirjaston piirissä olisikin tarkoitus laajentaa palvelua myös muille kampuksille ja muille tieteenaloille.

Johtavat tietoasiantuntijat Maria Forsman ja Jukka Englund, Helsingin yliopiston kirjasto


facebooktwittergoogle_pluslinkedin

Bibliometriikkaseminaarien herättämiä ajatuksia

Istuin maanantaina 11.3. Opetus- ja kulttuuriministeriön järjestämässä ja tiistaina 12.3. Suomen yliopistokirjastojen neuvoston tutkimuksen tuen verkoston järjestämässä bibliometriikkaseminaarissa. OKM:n seminaarissa käsiteltiin bibliometriikkaa ennen muuta ohjauksen ja arvioinnin näkökulmista,  SYN:n seminaarissa enemmän käytännön toteutusten näkökulmista. Kirjoitukseni kuvaa niitä ajatuksia, joita minulla kuulijana heräsi. Isoin kiitos ajatusten herättämisestä kuuluu Oulun yliopiston kirjaston esiintyjille – hehän ovat meneillään olevan evaluoinnin vuoksi juuri joutuneet paneutumaan bibliometriikkaan varsin perusteellisesti.

Mittareita ja puntareita

Nykyisen yliopistojen hallintomallin sekä ministeriöiden ohjausjärjestelmän mukaan yliopistojen toimintaa ohjataan monenlaisten tunnuslukujen perusteella. Tutkimus on yksi kolmesta yliopistojen päätehtävästä ja sen tulokset esitetään ensisijaisesti julkaisemalla. Niinpä julkaisutoimintaan liittyvät tunnusluvut ovat keskeisessä asemassa johtamis- ja ohjausjärjestelmissä. Bibliometriikan tavoitteena on tuottaa mahdollisimman hyvin julkaisuja ja niiden laatua kuvaavia tunnuslukuja. Siinä meille kirjastolaisille haastetta kyllikseen: me siis olemme avainasemassa tuottamassa merkittävää osaa niistä luvuista, joilla Suomen tieteellistä tutkimusta ohjataan.

”Sitä saa, mitä mittaa” otsikoi erään tutkimuslaitoksen sisäinen kehittämisryhmä raporttinsa. Tämä lause pyöri mielessäni seminaareissa istuessani. Mittareilla on erittäin vahva ohjausvaikutus. Olen kuullut tutkijan suusta lausahduksen, että laitoksen johdon on ihan turhaa painottaa tutkimustulosten popularisoinnin tärkeyttä – niin kauan kuin työtä mitataan vain tieteellisten artikkelien määrällä, hän tuottaa vain niitä eikä haaskaa aikaa kirjoittelemalla sanomalehtiin sun muihin. Toinen tutkija totesi, että oikeustieteessä on OECD:n mittauskäytäntöjen vuoksi ryhdytty kirjoittamaan artikkeleita tieteellisiin lehtiin (joita on viime aikoina jouduttu myös perustamaan), vaikka tieteenalan oma julkaisukäytäntö on ollut tuottaa kirjoja.

Me kirjastolaiset emme tietenkään ole vastuussa siitä, millaisia ohjaus- ja hallintojärjestelmiä käytetään, mutta mielestäni meidän pitää ymmärtää tämä näkökulma tuottaessamme (tai tilatessamme Leidenin yliopiston bibliometriikkaan erikoistuneesta yksiköstä) erilaisia tunnuslukuja yliopistomme käyttöön. Meidän hallussamme on metodiikka lukujen laskemiseen ja tulkintavastuu on viime kädessä toki yliopistojemme johdolla. Meidän tehtävämme on mielestäni kuitenkin myös oman tietämyksemme ja kokemuksemme nojalla osoittaa tulkitsijoille mahdollisia kuoppia ja epäoikeudenmukaisuuksia, joita lukujen tulkintaan liittyy.

Tunnuslukujen esittämisessä kannattaa myös muistaa se tosiseikka, josta Markku Laitinen jossakin kirjastojen tilastokoulutuksessa muistutti: ”Kun laitatte jonkin luvun nettiin, ette voi ryömiä sen perässä kertomaan kaikille, mitä rajoituksia ja ongelmia lukuun sisältyy, vaan jokainen lukija tulkitsee sen omista lähtökohdistaan. Kannattaa tarkoin valita, mitä laskee, miten laskee ja mitä julkistaa.”  Kirjastolaiset on otettu viime vuosina mukaan useimpiin yliopistoissa tehtyihin tutkimuksen evaluointeihin, mikä on tietenkin mukavaa työmme arvostusta ajatellen, mutta antaa meille myös raskaan vastuun bibliometristen tunnuslukujen valinnassa ja esittämisessä. Esimerkkinä tästä on seminaarissa esitelty Oulun yliopiston meneillään oleva evaluointi, jossa kirjasto neuvottelee Leidenin yliopiston kanssa bibliometrisestä laskennasta ja on mukana siihen liittyvän uuden metodiikan kehittämisessä. Tavoitteena on mm. parantaa tunnuslukujen vertailtavuutta tieteenalojen välillä.

Viittausmääriin perustuvaa bibliometriikkaa käytetään – kuten seminaareissakin moneen kertaan todettiin – vain osalle tieteenaloista. Se ei sovellu ns. SSH-aloille (yhteiskunta- ja humanistiset tieteet) ja niillä käytetään kuvailevampia tunnuslukuja. Karkeasti voisi ehkä yleistää: kvantitatiiviseen metodologiaan perustuvat julkaisut voidaan kuvata kvantitatiivisin eli bibliometrisisn menetelmin, mutta kvalitatiiviseen metodologiaan perustuvat julkaisut kuvataan kvalitatiivisin menetelmin. Entä sitten tutkimus, joka liikkuu molemmilla alueilla? Leidenin kriteeri bibliometriikan soveltamiselle on, että arvioitavan yksikön/ryhmän julkaisuista vähintään 40 % sisältyy Web of Scienceen. Helsingin yliopiston ratkaisu oli, että kirjaston toimesta analysoitiin kuvailevin menetelmin vain niiden ryhmien julkaisut, joilla ei voitu tehdä WoS-pohjaista bibliometriikkaa. Siis periaatteessa jopa 60 % julkaisuista jätetään ottamatta arvioinnissa huomioon, koska bibliometriikka on ensisijainen menetelmä. Onko vain teoreettinen mahdollisuus, että tuohon max. 60 %:iin sisältyy tieteellisiä helmiä? Miksi ihmeessä sitten puheiden tasolla varsin yleisesti pidetään moni- ja poikkitieteellistä tutkimusta arvokkaana ja toivottavana? Ainakin meidän yliopistossamme on tehty sellaista monitieteellistä tutkimusta, jossa on ansiokkaasti yhdistetty kvantitatiivisia ja kvalitatiivisia tieteitä ja tulosten arvo perustuu juuri siihen. Pitääkö kaikki monitieteinen tutkimus julkaista kvantitatiivisen osapuolen ehdoin? Entä ne viittaukset, jotka kertyvät sen kvalitatiivisen tieteenalan kirjoihin? Niistä viis?

Kirjojen ja kirja-artikkelien viittausmääriin liittyviä tietokantoja on aivan viime aikoina ryhdytty kehittämään, mutta niiden kattavuus on vielä varsin heikko. Paljonko niiden avulla saadaan korjatuksi tieteenalojen välistä epätasapainoa, jää vielä nähtäväksi.

Laadunarviointia

Yhteiskunta- ja humanistisilla tieteenaloilla kirjastolaisten vastuu tunnuslukujen tuottamisessa on ehkäpä vielä raskaampi. Ei ole olemassa kansainvälisiä palveluita ja vakiintunutta metodiikkaa, vaan kirjastot tekevät julkaisutietojen analyysit parhaan ymmärryksensä mukaan. Työkaluksi on pelkkien bibliografisten tietojen oheen saatu julkaisufoorumiluokat, joiden avulla pyritään kuvaamaan lehden, sarjan tai kirjankustantajan mukaan julkaisujen tasoa. Julkaisufoorumiluokitus on tehty myös SSH-alojen lehdille, sarjoille ja kustantajille, millä tavoitellaan tieteenalojen välistä tasa-arvoa.

Julkaisufoorumiluokituksen käyttöohjeessa sanotaan: ”Julkaisufoorumin tasoluokat ennustavat suurten julkaisumäärien keskimääräistä laatua ja vaikuttavuutta, mutta ovat liian summittainen väline yksittäisten julkaisujen tai tutkijoiden arviointiin. Tasoluokitus kertoo julkaisun läpäisemän kilpailun ja vertaisarvioinnin tasosta, mutta tason 1 julkaisukanavissa ilmestyy yksittäisiä, keskitasoa laadukkaampia ja vaikuttavampia julkaisuja, ja tason 2 ja 3 julkaisukanavissa ilmestyy myös keskitasoa heikompia ja ilman viittauksia jääviä julkaisuja. Tasoluokitus ei missään tapauksessa voi korvata julkaisujen sisältöön perustuvaa vertaisarviointia yksittäisten tutkijoiden tai tutkimusryhmien arvioinnissa.”

OKM:n seminaarissa esiteltiin Kansalliskirjastossa tuotettua käyttöliittymää yliopistojen julkaisutietojen selailuun (julkaisuportaali). Se mahdollistaa julkaisuihin liittyvien lukujen tuottamisen ristiin rastiin monilla eri kriteereillä. Kuten seminaarilaiset saattoivat omin silmin todeta, julkaisuportaalista hyppää äkkiä esiin, ketkä tutkijat ovat julkaisseet eniten julkaisufoorumitason 3 kanavilla. Näin OKM:n tilaamassa käyttöliittymässä.

Oulun yliopiston tutkimuksen arvioinnissa kirjasto tekee julkaisuanalyysit niille tutkimusryhmille, joiden julkaisutuotanto ei täytä Leidenin kriteereitä bibliometristen menetelmien käytölle (kuten esim. Helsingissäkin tehtiin pari vuotta sitten). Täyttääkö niiden julkaisutuotanto oikeasti julkaisufoorumiluokituksenkaan kriteeriä suurista julkaisumääristä? Yliopiston johto on ainakin meillä Lapissa – puhtaasti SSH-yliopistossa – kovasti kiinnostunut julkaisufoorumiluokituksesta, kun ei muutakaan laadunarviointimenetelmää ole tarjolla. Pitäisikö meidän kirjastolaisten kieltäytyä tutkimusryhmien julkaisujen julkaisufoorumiluokkajakaumien esittämisestä vedoten julkaisufoorumiluokituksen käyttöohjeeseen?

SSH-epätoivoa?

Kaikenlaista mittarointia ja puntarointia tehdään nykyisin niin innokkaasti, että välillä herää epätoivo. Kun kerran yhteskuntatieteellisen ja humanististen tieteiden julkaisujen laatua ei voida mitata, sitä ei mitata. Niinpä erilaisissa yhteenvedoissa ja arvioinneissa esitetään mittaustulokset/tunnusluvut vain kvantitatiivisista tieteistä. Mitä se vaikuttaa resurssien jakoon? Kuivattaako se yhteiskuntatieteellisen ja humanistisen tutkimuksen pois yliopistoista? Vai ehtivätkö kirjoihin ja kirja-artikkeleihin perustuvat tietojärjestelmät ja mittaristot kehittyä pelastamaan vielä jotakin? Vai miten kuvataan rinnakkain samassa taulukossa / kuvassa bibliometrisesti mittaroidut ja kuvailevasti puntaroidut eri tieteenalojen julkaisut. Vai pitääkö kaikkien yhteiskunta- ja humanististen tieteiden tehdä kuten edellä kuvaamani oikeustieteilijä kertoi: ryhtyä kirjoittamaan referoituja artikkeleita lehtiin, tarvittaessa perustaa niitä lehtiä. Mitä se tekee itse tieteille? Heiluttaako häntä koiraa?

Liisa Hallikainen
Informaatikko, Lapin yliopisto
Tutkimustietojärjestelmäprojektin päällikkö


facebooktwittergoogle_pluslinkedin