Kansallinen bibliometriikkaseminaari tutkimuksen arvioinnista 8.12.2017

Kansallinen bibliometriikkaseminaari pidetään perjantaina 8. joulukuuta 2017 Helsingissä. Teemana on tutkimuksen arviointi.

Seminaari on maksuton ja se on tarkoitettu kaikille bibliometriikan ja tutkimuksen arvioinnin parissa työskenteleville henkilöille.

Seminaaria voi seurata etäyhteydellä.

 

Ohjelma ja ilmoittautuminen (viimeistään 30.11.):

https://confluence.csc.fi/x/MQpXB

 

Tervetuloa mukaan!

 

Opetus- ja kulttuuriministeriö, Suomen yliopistokirjastojen neuvosto SYN, Helsingin yliopiston kirjasto ja CSC – Tieteen tietotekniikan keskus

Kansallinen bibliometriikkaseminaari 16.12. Helsingissä

Bibliometriikasta kiinnostuneiden kannattaa merkitä 16.12.2016 kalenteriin jo nyt. Kansallinen bibliometriikkaseminaari pidetään tuolloin Helsingin yliopiston Minerva-torilla (Siltavuorenpenger 5). Seminaarissa puhuvat muun muassa Gunnar Sivertsen, Maria Forsman ja Kim Holmberg.

Ohjelmasta ja ilmoittautumisesta tiedotetaan myöhemmin.

Bibliometriikkaseminaarin järjestävät OKM, SYNin tutkimuksen tuen verkosto, CSC ja Helsingin yliopiston kirjasto.

Helsingin yliopiston tutkimusjulkaisut polttopisteessä

Helsingin yliopistossa tehtiin vuosina 2011-12 tutkimuksen ja tohtorikoulutuksen kansainvälinen arviointi, joka kattoi vuodet 2005-2010. Arviointiin sisältyi laaja bibliometrinen analyysi, johon osallistui myös yliopiston kirjaston bibliometriikan asiantuntijoita. Kolme vuotta myöhemmin heräsi kiinnostus arvioida jälleen HY:n tutkijoiden julkaisutoimintaa.

Edellisen arvioinnin tehneen Leidenin yliopiston tieteen ja teknologian tutkimuksen keskuksen (CWTS) ympärille oli nyt perustettu firma, joka on tehnyt sopimustutkimuksia muillekin suomalaisille korkeakouluille. Neuvottelut sen kanssa aloitettiin syksyllä 2013. Varsinainen työ pääsi alkuun loppukeväästä 2014 ja Helsingin yliopiston kirjastolla oli siinä jälleen keskeinen rooli. Aineiston tarkistamiseen ja käsittelyyn osallistui kolmisenkymmentä kirjastoammattilaista. Kirjasto oli myös hyvin edustettuna Maria Forsmanin vetämän hankkeen ohjausryhmässä ja projektiryhmässä.

Aiemman arvioinnin yhteydessä Helsingin yliopistossa käyttöön otettu TUHAT-tutkimustietojärjestelmä ei ollut aivan niin tarkka ja täydellinen kuin oletimme ja toivoimme. Viime vuosina yliopistoon rekrytoidut uudet tutkijat olivat tuoneet mukanaan arvioinnin kannalta ylimääräistä eli aiemmin tehtyjä julkaisujaan. Vastaavasti monia julkaisuja puuttui.

Kaikkiaan arviointiin otettiin mukaan 28 357 Helsingin yliopistolle kuuluvaa Web of Science -tietokannasta löytyvää julkaisua. Näin suurella huolellisuudella yliopiston julkaisuja ei ole tunnistettu tätä ennen.

CWTS:n analyysin tulokset on julkaistu raportissa Research performance analysis for the University of Helsinki 2005-2012/13. Keskeiset tulokset ovat selvät. Lääketiede, biotieteet, eksaktit luonnontieteet ja julkaiseminen monitieteisissä lehdissä ovat tyypillisinä Web of Sciencen aloina vahvoja. Koska analyysissä ei vertailtu HY:tä muihin korkeakouluihin, vaan se keskittyi julkaisujen menestymiseen, ohjausryhmä oli päätynyt osittamattomaan analyysiin, joka antaa parhaiten tietoa yhteistyössä laadittujen tutkimusjulkaisujen menestyksestä. Kansainvälinen yhteistyö menestyi hyvin, sen sijaan kansallinen yhteistyö ei erottunut tuloksissa. Helsingin yliopiston tutkimusjulkaisujen ns. maailman keskiarvoa paremmalle menestykselle saatiin tarkka lukuarvo.

Kirjasto täydensi tuloksia omilla lisäanalyyseilla, jotta kokonaiskuva täydentyisi etenkin humanististen ja yhteiskuntatieteiden osalta. Tarkastelimme mm. julkaisujen kieltä, tekijöitä, julkaisutyyppejä ja julkaisufoorumitasoja. Lisäksi tarkensimme kuvaa aineiston jakautumisesta yliopiston eri yksiköille yli CWTS:n käyttämän luokituksen tutkimusalarajojen. Kaikki tulokset sekä kirjaston Web of Science –aineistosta laatimat VOSviewer-visualisoinnit ovat avoimesti saatavilla.

Saimme tarkimman tähänastisen kuvan Helsingin yliopiston tutkimusjulkaisuista. Jouduimme kuitenkin kilpailemaan tutkijoiden huomiosta, sillä hiukan ennen raporttiamme julkistettiin OKM:n selvitys suomalaisen yliopistotutkimuksen tuottavuudesta ja vaikuttavuudesta. Siinä selvityksessä nostettiin Julkaisufoorumiluokitus aiempaa vahvemmaksi arvioinnin mittariksi. Uskomme kuitenkin, että HY:ssä tehdyllä laadullisella arvioinnilla on kestävä arvonsa.

Arviointikulttuuri elää ajan mukana. Emme tätä kirjoittaessamme tiedä, tekeekö seuraavan arvioinnin CWTS, CSC vai jokin muu organisaatio. Ehkä se tehdäänkin aivan toisin menetelmin? Ehkäpä julkaisujen sijaan kiinnostaakin enemmän se, mitä juuri nyt tapahtuu? Miten esimerkiksi sosiaalinen media reagoi tieteellisen tutkimuksen tuloksiin?

Vuoden 2015 bibliometriikkaseminaari, jonka järjestäjiä ovat SYN, CSC ja OKM  saattaa antaa eväitä tulevaan. Seminaari pidetään Helsingissä 16.10.2015 ja sen pääpuhujaksi on saatu yhteistyökumppanimme, CWTS:n Associate Director Ed Noyons. Luvassa on kiinnostavaa ajatustenvaihtoa ja monipuolisia näkökulmia arviointiin ja sen käyttämiin välineisiin.

Eva Isaksson
tietoasiantuntija
Helsingin yliopiston kirjasto

Maria Forsman
johtava tietoasiantuntija emerita

Bibliometriikkaseminaari 16.10. Helsingissä – ilmoittautuminen alkanut

Vuoden 2015 bibliometriikkaseminaari järjestetään Helsingissä 16.10.2015. Seminaaripäivän teemana on tutkimuksen arviointi bibliometriikan näkökulmasta. Erityisesti paneudutaan tutkimuksen laatua kuvaavien indikaattorien valintaan ja selityskykyyn. Seminaarin pääpuhujana on Ed Noyons (Associate Director CWTS, Leiden). Iltapäiväksi jakaudutaan ajankohtaisia aiheita käsitteleviin työryhmiin teemoilla tieteidenvälisyys, tutkimuksen arviointi ja tutkimuksen tuottavuuden mittaaminen.

Seminaariin toivotetaan tervetulleiksi kaikki bibliometriikan parissa työskentelevät ja sitä hyödyntävät henkilöt. Osallistujia toivotaan sekä korkeakoulujen ja tutkimusorganisaatioiden hallinnosta ja kirjastoista, ministeriöstä, Suomen Akatemiasta että tutkijakunnasta. Osallistujia pyydetään halutessaan julkaisemaan seminaarin yhteydessä artikkeli jostain sen aihepiiriin liittyvästä kokonaisuudesta.

Seminaarin järjestävät yhdessä opetus- ja kulttuuriministeriö, Suomen yliopistokirjastojen neuvosto (SYN) ja CSC – Tieteen tietotekniikan keskus.

Tarkempi ohjelma ja seminaariin ilmoittautuminen tällä lomakkeella: https://www.webropolsurveys.com/S/17307AB42743F589.par

Ilmoittaudu viimeistään ke 7.10.2015.

Bibliometriikkaseminaari 16.10. Helsingissä

Tutkimuksen arviointi ja indikaattorien valinta

Vuoden 2015 bibliometriikkaseminaari järjestetään Helsingissä 16.10.2015. Seminaaripäivän teemana on tutkimuksen arviointi bibliometriikan näkökulmasta. Erityisesti paneudutaan tutkimuksen laatua kuvaavien indikaattorien valintaan ja selityskykyyn. Seminaarin avaa Ed Noijonsin (Associate Director CWTS, Leiden) esitelmä. Iltapäiväksi jakaudutaan ajankohtaisia aiheita käsitteleviin työryhmiin teemoilla tieteidenvälisyys, tutkimuksen arviointi ja tutkimuksen tuottavuuden mittaaminen.

Seminaariin toivotetaan tervetulleiksi kaikki bibliometriikan parissa työskentelevät ja sitä hyödyntävät henkilöt. Osallistujia toivotaan sekä korkeakoulujen ja tutkimusorganisaatioiden hallinnosta ja kirjastoista, ministeriöstä, Suomen Akatemiasta että tutkijakunnasta.

Ilmoittautuminen avataan kesälomien jälkeen elokuussa, jolloin myös seminaarin tarkempi ohjelma julkaistaan.

Merkitsethän seminaarin ajankohdan jo kalenteriisi. Seminaarin järjestävät yhdessä OKM, SYN ja CSC.

Tutkimuksen tueksi uusia innovaatioita kirjastoista

Suomen yliopistokirjastojen neuvoston vuosille 2013-2017 laaditun strategian yhtenä strategisena päämääränä on luoda innovatiivisia tietopalveluita suomalaisen tutkimuksen ja korkeakouluopiskelun menestykseksi.  Tähän liittyen pyritään kehittämään tutkimuspalveluinnovaatioita, jotka edistävät tutkimusta ja luovat uusia linkkejä kirjaston ja tutkimuksen välille.  Viime vuonna avattiin yliopistokirjastoille innovaatiokilpailu, johon saatiin vuoden loppuun mennessä kaksi innovaatiota:

  • Terkon altmetriikkaprosessi (Helsingin yliopiston kirjasto)
  • Oulun yliopiston kirjaston tutkijapalveluiden integroituminen tutkimusprosesseihin

Helsingin yliopiston kirjaston johtavat tietoasiantuntijat Maria Forsman ja Jukka Englund ovat esitelleet altmetriikkaa blogikirjoituksessaan: “Altmetriikka antaa mahdollisuudet luoda “data-vetoisia tarinoita” tutkimuksen rahoittajille ja hallinnolle. Tutkijat voivat nähdä, ketkä puhuvat heidän tutkimuksistaan, mitä he sanovat niistä …”. Terkon altmetriikkaprosessiin voi tutustua myös Jukka Englundin diaesityksen avulla.

Oulun yliopiston tutkimuspalveluinnovaatio

Oulun yliopiston kirjastossa on aloitettu viime vuonna hanke kirjaston tutkijapalveluiden kehittämiseksi vastaamaan tutkijoiden tarpeita. Tavoitteena oli kehittää yhdessä tutkijoiden kanssa uusia palveluita ja integroida palvelut tutkimusprosessin eri vaiheisiin sekä tehdä palveluita näkyviksi. Hyvänä pohjana palvelujen kehittämiselle on ollut Oulun yliopiston RAE2013-tutkimuksen kokonaisarviointi, jonka bibliometrisen osuuden tuottamiseen kirjasto osallistui.

Hanke alkoi elokuussa pidetyllä kehittämispäivällä, jossa olivat mukana kirjaston informaatikot ja neljä kutsuttua tutkijaa eri aloilta. Yhteisen päivän ideat koottiin ja palvelujen tuotteistamista jatkettiin kirjastossa alkusyksyn aikana. Koosteena syntyi näkemys kuinka havainnollisesti ja lyhyesti kuvata tutkijoiden näkökulmasta kirjaston palvelujen integroituminen tutkimusprosessiin (ks. kuva):

oulun innovaatio

Kuva esittää tutkimusprosessin etenemistä ja kirjastopalveluiden integroitumista prosessiin. Kuvan avulla kirjaston palvelut tehdään tutkijoille näkyväksi ja ymmärrettäväksi osana tutkimusprosessia. Kuvaan on koottu palveluja ja aihepiirejä, joissa voimme auttaa tutkijoita ja tutkimusryhmiä tutkimuksen elinkaaren eri vaiheissa. Kuva tulee toimimaan kirjaston www-sivulla pohjana, josta kyseiset palvelut avautuvat. Kuvaa täydennetään palvelujen osalta.

Näitä kirjaston palveluja ja tutkimusryhmiltä itseltään esiin tulevia palvelutarpeita testataan hankkeen seuraavassa vaiheessa pilottiryhmien kanssa. 11 pyydettyä tutkijaryhmää lähti mukaan piloteiksi innostuneena yhteistyömahdollisuudesta. Viiden ryhmän kanssa on jo loppuvuodesta pidetty aloituspalaveri. Pilottiryhmien kanssa keskustellaan tarvittavista palveluista, uusien palvelujen luomisesta ja testataan kuvan mukaista palvelupakettia.

Alkukartoituksen jälkeen tutkijaryhmien kanssa tavataan säännöllisesti mm. uusien palvelutarpeiden ideoimiseksi. Jo ensimmäiset tapaamiset tutkijoiden kanssa ovat lisänneet palvelujen kysyntää; esimerkiksi patenttiasiat, bibliometriset palvelut.

Monet palvelut ovat jo olemassa olevia kirjaston palveluja, jotka tiiviimmällä yhteistyöllä saadaan tutkijoille näkyviksi. Tärkeää on myös löytää uusia palveluja, joiden tarvetta kirjastossa ei ole tunnistettu tai palveluja, joita tutkijat mahdollisesti eivät osaa kysyä kirjastosta, vaikka kirjastossa siihen olisikin asiantuntemusta ja osaamista.

Lisätietoja Oulun yliopiston kirjaston tutkimuspalveluinnovaatiosta voi kysyä ylikirjastonhoitaja Päivi Kytömäeltä ja kirjastohoitaja Irene Salomäeltä.

Tutkimuspalveluinnovaatiokilpailu jatkuu

Edellä on esitelty kaksi innostavaa esimerkkiä uusien tutkimuspalveluiden kehittämisestä. Yliopistokirjastoilla on paljon osaamista, jolla voidaan edistää tutkimusta yliopistoissa. Tutkimuspalveluinnovaatiokilpailun myötä Suomen yliopistokirjastojen neuvosto, SYN kannustaa tuomaan tätä osaamista näkyvämmin esiin. Kilpailu toistetaan vuosittain, joten nyt vain uusia innovaatioita kehittelemään!

Susanna Parikka, kirjastonjohtaja, Lapin korkeakoulukirjasto
SYN:n puheenjohtaja 2013-2014

Altmetriikka – vaihtoehtoista metriikkaa

Eri alojen tutkijoiden keskuudessa on usein kritisoitu tapoja, joilla mitataan tutkimuksen vaikuttavuutta ja näkyvyyttä. Erityisesti viittausanalyysit ovat olleet kritiikin kohteena. Syitä ovat olleet mm. se, että ne ovat tietokantakohtaisia, kansainväliset viittaustietokannat kattavat paremmin lääketieteen ja luonnontieteiden alat ja kohtelevat eri tieteenaloja eri tavalla riippuen siitä, millainen julkaisukulttuuri niissä on. Myös h-indeksi, jota käytetään tutkijoiden vertailussa viittausanalyysien yhteydessä, on saanut kritiikkiä.

Samoin Journal Impact Factor on herättänyt kritiikkiä tiedeyhteisössä, kun huhuja  sen mahdollisista manipuloinneista on levinnyt tiedeyhteisöissä. Myös se, miten JIF todella lasketaan, on herättänyt kysymyksiä.

Viittausten hitaus, mikä osin liittyy vertaisarvioinnin ja julkaisemisen hitauteen, on myös kiusannut tutkijoita. Viittausanalyysit kertovat menneestä ajasta, kun tutkijoita kiinnostaa enemmän se, mitä tapahtuu nyt, mistä keskustellaan, miten tutkimuksiin reagoidaan ja mihin suuntaan tieteessä ollaan menossa.

Perinteinen vertaisarviointi on koettu aikansa eläneeksi myös siksi, että se suosii konventionaalista tieteen tekemistä ja saattaa jopa estää uusien ajatuksien ja tutkimustulosten julkituloa.

Mitä on altmetriikka

Yhtenä vastauksena tähän kritiikkiin on bibliometriikan uusi suuntaus altmetriikka (altmetrics), joka muodostuu sanoista alternative (biblio)metrics tai – toisen tulkinnan mukaan – article level (biblio)metrics, koska siinä mitataan julkaisujen – ei lehden tai kirjoittajan – näkyvyyttä.

Altmetriikka on nähty myös webnatiivin sukupolven vastaiskuna aikansa eläneelle tutkimuskulttuurille. Vuonna 2010 julistettiinkin verkossa manifesti, “Altmetrics manifesto”.

Altmetriikan avulla yritetään löytää vastauksia siihen, mitä tieteessä tapahtuu juuri nyt. Mistä keskustellaan? Mikä kiinnostaa toisia tutkijoita, mikä kansalaisia? Voidaanko näin saada selville tutkimuksen yhteiskunnallista vaikuttavuutta? Yhtenä ideana on se, että ei vain julkaistaisi tutkimustietoa, vaan tehtäisiin tutkimusta julkiseksi, tunnetuksi laajemminkin kuin vain tutkijapiireissä. Ihanteena on tieteen avoimuus.

Altmetriikassa keskeistä on verkossa käytävä keskustelu, sosiaalinen media. Millaista keskustelua tarjoavat Twitter, Facebook, Linkedin? Entä kirja-arvostelut, sanomalehdet ja blogit? Entä linkit tutkimusdataan ja data-arkistoihin?

Altmetriikan avulla voidaan seurata sitä, montako kertaa tutkimuksen tuotos (artikkeli, kirja jne.) saa viittauksia, twiittauksia, tykkäämisiä, jakoja, kirjanmerkkejä. Samoin, montako kertaa sitä katsotaan, ladataan, mainitaan jossain, suositellaan, ja kuinka monta kertaa sitä arvioidaan tai siitä keskustellaan.

Näitä lukuja kerätään laajasta, avoimessa verkossa olevien palvelujen joukosta, joihin sisältyy esimerkiksi Open Access-lehtiä, viittaustietokantoja, tutkimustiedon näkyvyyspalveluja ja sosiaalista mediaa. Näkyvyyspalveluja ovat esim. ORCID, ResearcherID, Google Scholar, AcademiaEdu, Mendeley, ja niiden perusajatuksena on se, että tutkijat jakavat verkkoyhteisössä omia tutkimustuloksiaan ja julkaisujaan muille ja saavat samalla palautetta, herättävät ehkä keskusteluakin.

Mitä hyötyä ja lisäarvoa altmetriikasta sitten on tutkimuksen arvioinnissa?

Altmetriikka antaa mahdollisuudet luoda “data-vetoisia tarinoita” tutkimuksen rahoittajille ja hallinnolle. Tutkijat voivat nähdä, ketkä puhuvat heidän tutkimuksistaan, mitä he sanovat niistä, ja jopa kuinka he aikovat käyttää niitä hyväksi erilaisiin tieteellisiin, kaupallisiin, poliittisiin ja julkisiin tarkoituksiin. Näin tutkijat voivat myös löytää potentiaalisia yhteistyökumppaneita ja saada rakentavaa palautetta niiltä, jotka ovat kiinnostuneita ko. tutkimuksesta.

Altmetriikka antaa mahdollisuuden demokraattiseen julkiseen tarkasteluun, jossa tutkimuksen tuloksia voivat analysoida ja arvioida kaikki ne, jotka haluavat osallistua tähän keskusteluun. (Lisää tästä)

Webnatiivi tutkijasukupolvi ajattelee ja työskentelee eri tavalla kuin “paperiorientoitunut”. Voidaan kysyä, ovatko nuoret tutkijat nykyisin aikaisempien sukupolvien tutkijoita anarkistisempia? Uskaltavat he rikkoa sääntöjä? Nuoret ovat tottuneet kommentoimaan ja keskustelemaan myös tutkimustuloksista sosiaalisessa mediassa. Uskovatko he enemmän tieteen avoimuuteen ja aikamme “open data” –ajatteluun, jonka mukaan tutkimustulokset ja tutkimusdata on tarkoitettu julkaistaviksi kaikille? Yliopistokirjastojen olisi hyvä ymmärtää näitä muutostrendejä ja etsiä uutta roolia ja uusia näkemyksiä tiedeyhteisössä!

Terkon metriikkaprosessi

Helsingin yliopiston kirjaston Meilahden kampuskirjasto Terkko on kehittänyt palveluita, joiden avulla kampuksen julkaistut artikkelit saisivat mahdollisimman suuren näkyvyyden. Nämä näkyvyyspalvelut ovatkin tärkeässä roolissa Terkon metriikkaprosessissa (tämä on käytössä Helsingin yliopiston lääketieteellisen tiedekunnan ja HUSin, eli Helsinki Academic Medical Centerin, artikkeleille), jossa kirjasto on ottanut proaktiivisen roolin kehittämällä toimintamallin, jonka kautta tiedot julkaisuista leviävät verkon eri palveluihin ja sosiaaliseen mediaan.

Terkko seuraa n. 700 Suomessa tutkimusta tekevää lääketieteen tutkijaa ja kerää tiedot heidän julkaisutoiminnastaan Scholar Chart –palveluun. Palvelu näyttää läpinäkyvästi, mitä suomalaisessa lääketieteessä tutkitaan juuri tällä hetkellä. Tutkijoista on tallennettu tekijähaku kansainväliseen PubMed-tietokantaan, josta uudet viitteet kerätään Terkon FeedNavigator-palveluun RSS-syötteiden avulla ja näiden tietojen avulla päivitetään Scholar Chartia reaaliajassa.

Altmetriikan seurantapalvelut hyödyntävät mm. ns. social bookmarking –palveluita, sellaisia kuten esimerkiksi CiteULike ja Mendeley. Osana Terkon metriikkaprosessia uudet viitteet lisätään näihin palveluihin, jolloin artikkelit saavat niissä välittömästi näkyvyyttä. Mendeleystä viitteet on määritelty menemään automaattisesti suoraan Terkon Twitter-tilille, josta ne löytyvät #HelsinkiAcadMedCent –merkinnällä. Sieltä tutkijat voivat vaikkapa käydä uudelleen twiittaamassa niitä edelleen.

Terkon ylläpitämään Helsinki Academic Medical Centerin Facebook -sivulle lisätään tiedot valikoiduista, Julkaisufoorumin kolmostason artikkeleista. Nämä liitetään myös ImpactStory-altmetriikkapalveluun, jossa yksittäisen artikkelin näkyvyyden ja vaikuttavuuden kehittymistä voi seurata. Näiden lisäksi Pinterestiin kerätään valikoituja kuvia kampuksen open access –julkaisuista.

Terkko tarjoa myös erilaisia metriikkapalveluita Terkko Navigator –verkkopalvelun kautta. Terkko Impact –teemaprofiili kerää kaikki metriikoihin ja rankingpalveluihin liittyvät aineistot yhteen. Täältä löytyy mm. altmetriikkasivu, jonka kautta on mahdollista seurata ko. aiheen uusimpia artikkeleita ja twiittejä.

Terkko Navigator tarjoaa myös tutkijaprofiileja, jotka listaavat tutkijoiden uusimmat julkaisut. Näihin on liitetty ohjelmointirajapinnan (API) kautta myös altmetriikkatietoja mm. ImpactStory ja Altmetric –palveluista.

Terkko Kudos on Terkko Navigator –profiili, johon on kerätty kaikki Terkon kehittämät näkyvyyspalvelut, joiden avulla kirjasto pyrkii nostamaan oman kampuksensa julkaisutoiminnan vaikuttavuutta ja maailmanlaajuista näkyvyyttä.

Terkon altmetriikka-sivut ovat herättäneet paljon kiinnostusta, ja Helsingin yliopiston kirjaston piirissä olisikin tarkoitus laajentaa palvelua myös muille kampuksille ja muille tieteenaloille.

Johtavat tietoasiantuntijat Maria Forsman ja Jukka Englund, Helsingin yliopiston kirjasto