Laatutyö

Kirjastopalvelujen arvoa mittaamassa

Kirjastopalvelujen laadun ja tehokkuuden mittaaminen on ajankohtainen teema tieteellisissä kirjastoissa kaikkialla maailmassa. Se tuli hyvin ilmi Espoon Dipolissa 2.-6. kesäkuuta pidetyssä kansainvälisessä IATUL-konferenssissa, jonka teemana oli ”Measures for Success – Library Resources and Effectiveness under Scrutiny”. Konferenssiin osallistui 180 teknillisten yliopistokirjastojen edustajaa 29 maasta, ja isäntänä toimi tänä vuonna Aalto-yliopiston kirjasto.

ryhmakuva

Kirjastot kilpailevat yliopistojen muiden laitosten kanssa samoista niukkenevista resursseista. Tästä johtuen kirjastojen johtajien on tuotava neuvottelupöytään omat palvelunsa mitattavassa muodossa.
‒ Tämä on yksi esimerkki, joka osoittaa kirjastopalvelujen kvantitatiivisen mittaamisen tärkeyttä, mihin taas sisältyy asiakkaiden tyytyväisyys, prosessien tehokkuus, voimavarojen hyödyntäminen, innovaatioiden mahdollisuus, laatujohtaminen, rakenteiden joustavuus ja paljon muuta, totesi IATUL:n (International Association of Scientific and Technological University Libraries) presidentti Reiner Kallenborn.

Konkreettisimmin kirjastotyön arvon mittareita, kuten artikkelien latausmääriä, investointien tuottoprosenttia (ROI) ja akateemisen toiminnan tukeminen, käsitteli yksi keynote-puhujista, professori Carol Tenopir Tennesseen yliopistosta. Australialaisessa Wollongongin yliopiston kirjastossa tehty tutkimus taas todistaa, että opiskelijat menestyvät sitä paremmin, mitä enemmän he käyttävät kirjastojen aineistoja hyväkseen.

Professori Carol Tenopir puhui akateemisten kirjastopalvelujen arvon mittaamisesta ja lisäämisestä.
Professori Carol Tenopir puhui akateemisten kirjastopalvelujen arvon mittaamisesta ja lisäämisestä.

Konferenssin toisen päivän teemana oli bibliometriikka, skientometriikka ja altmetriikka, johon johdatteli dr. Rafael Ball Regensburgin yliopistosta. Bibliometrisiä menetelmiä voi käyttää paitsi tutkimuksen tulosten mittaamiseen, myös hyödyntää kirjaston kokoelmien kattavuuden arvioinnissa.

Kirjastopalvelujen ja –tilojen kehittäminen paremmin asiakkaiden tarpeita vastaaviksi oli myös monien esitelmien teemana. Kuultiin esimerkkejä siitä, miten kirjastotiloja on muutettu viihtyisiksi oppimisympäristöiksi yhdessä opiskelijoiden kanssa. Kirjastojen tulisi pyrkiä joustavuuteen ja ketteryyteen, ja liikkua siellä, missä asiakkaat ovat.

Ehkä hauskimman esitelmän pitivät dr. Grace Saw ja Janine Schmidt, jotka puhuivat mm. kirjaston palveluiden markkinoinnista, kun kirjastot ja asiakkaat muuttuvat yhä enemmän virtuaalisiksi. He käyttivät esimerkkinä Legoa, josta kirjastot voisivat ottaa mallia markkinoinnissaan. Legon arvoja ovat mm. mielikuvitus, luovuus, hauskuus, oppiminen, välittäminen ja laatu. Onnistumisen avaimia ovat mm. online-palvelut ja verkkosivujen tehokkaampi käyttö.

Myös konferenssin ensimmäisen keynote-puhujan Mikko Hyppösen (F-Secure) esitys oli mainio. Hän varoitteli internetissä vaanivista kyber-vaaroista. Tiedonhakujakin tehdessämme jätämme verkkoon jälkiä ja tietoja itsestämme.

Paljon hyviä esitelmiä kuultiin myös mm. kirjastoammatin tulevaisuudesta ja informaatiolukutaidosta. Kaikki esitelmät ovat saatavissa myöhemmin syksyllä IATUL:n verkkosivuilla.

IATUL (International Association of Scientific and Technological University Libraries) on kansainvälinen yliopistokirjastojen maailmanjärjestö, joka järjestää konferensseja vuosittain, nyt jo 35. kerran. Vuosittaisessa tapaamisessa tärkeää on myös yliopistokirjastoväen verkostoituminen ja kokemusten vaihtaminen kollegoiden kanssa.

Tänä vuonna isäntänä toimii Aalto-yliopiston kirjasto. Järjestelyihin osallistui yhteensä 33 Aalto-yliopiston kirjaston työntekijää.

Leila Juusola, tietoasiantuntija, Aalto-yliopiston kirjasto

Altmetriikka – vaihtoehtoista metriikkaa

Eri alojen tutkijoiden keskuudessa on usein kritisoitu tapoja, joilla mitataan tutkimuksen vaikuttavuutta ja näkyvyyttä. Erityisesti viittausanalyysit ovat olleet kritiikin kohteena. Syitä ovat olleet mm. se, että ne ovat tietokantakohtaisia, kansainväliset viittaustietokannat kattavat paremmin lääketieteen ja luonnontieteiden alat ja kohtelevat eri tieteenaloja eri tavalla riippuen siitä, millainen julkaisukulttuuri niissä on. Myös h-indeksi, jota käytetään tutkijoiden vertailussa viittausanalyysien yhteydessä, on saanut kritiikkiä.

Samoin Journal Impact Factor on herättänyt kritiikkiä tiedeyhteisössä, kun huhuja  sen mahdollisista manipuloinneista on levinnyt tiedeyhteisöissä. Myös se, miten JIF todella lasketaan, on herättänyt kysymyksiä.

Viittausten hitaus, mikä osin liittyy vertaisarvioinnin ja julkaisemisen hitauteen, on myös kiusannut tutkijoita. Viittausanalyysit kertovat menneestä ajasta, kun tutkijoita kiinnostaa enemmän se, mitä tapahtuu nyt, mistä keskustellaan, miten tutkimuksiin reagoidaan ja mihin suuntaan tieteessä ollaan menossa.

Perinteinen vertaisarviointi on koettu aikansa eläneeksi myös siksi, että se suosii konventionaalista tieteen tekemistä ja saattaa jopa estää uusien ajatuksien ja tutkimustulosten julkituloa.

Mitä on altmetriikka

Yhtenä vastauksena tähän kritiikkiin on bibliometriikan uusi suuntaus altmetriikka (altmetrics), joka muodostuu sanoista alternative (biblio)metrics tai – toisen tulkinnan mukaan – article level (biblio)metrics, koska siinä mitataan julkaisujen – ei lehden tai kirjoittajan – näkyvyyttä.

Altmetriikka on nähty myös webnatiivin sukupolven vastaiskuna aikansa eläneelle tutkimuskulttuurille. Vuonna 2010 julistettiinkin verkossa manifesti, “Altmetrics manifesto”.

Altmetriikan avulla yritetään löytää vastauksia siihen, mitä tieteessä tapahtuu juuri nyt. Mistä keskustellaan? Mikä kiinnostaa toisia tutkijoita, mikä kansalaisia? Voidaanko näin saada selville tutkimuksen yhteiskunnallista vaikuttavuutta? Yhtenä ideana on se, että ei vain julkaistaisi tutkimustietoa, vaan tehtäisiin tutkimusta julkiseksi, tunnetuksi laajemminkin kuin vain tutkijapiireissä. Ihanteena on tieteen avoimuus.

Altmetriikassa keskeistä on verkossa käytävä keskustelu, sosiaalinen media. Millaista keskustelua tarjoavat Twitter, Facebook, Linkedin? Entä kirja-arvostelut, sanomalehdet ja blogit? Entä linkit tutkimusdataan ja data-arkistoihin?

Altmetriikan avulla voidaan seurata sitä, montako kertaa tutkimuksen tuotos (artikkeli, kirja jne.) saa viittauksia, twiittauksia, tykkäämisiä, jakoja, kirjanmerkkejä. Samoin, montako kertaa sitä katsotaan, ladataan, mainitaan jossain, suositellaan, ja kuinka monta kertaa sitä arvioidaan tai siitä keskustellaan.

Näitä lukuja kerätään laajasta, avoimessa verkossa olevien palvelujen joukosta, joihin sisältyy esimerkiksi Open Access-lehtiä, viittaustietokantoja, tutkimustiedon näkyvyyspalveluja ja sosiaalista mediaa. Näkyvyyspalveluja ovat esim. ORCID, ResearcherID, Google Scholar, AcademiaEdu, Mendeley, ja niiden perusajatuksena on se, että tutkijat jakavat verkkoyhteisössä omia tutkimustuloksiaan ja julkaisujaan muille ja saavat samalla palautetta, herättävät ehkä keskusteluakin.

Mitä hyötyä ja lisäarvoa altmetriikasta sitten on tutkimuksen arvioinnissa?

Altmetriikka antaa mahdollisuudet luoda “data-vetoisia tarinoita” tutkimuksen rahoittajille ja hallinnolle. Tutkijat voivat nähdä, ketkä puhuvat heidän tutkimuksistaan, mitä he sanovat niistä, ja jopa kuinka he aikovat käyttää niitä hyväksi erilaisiin tieteellisiin, kaupallisiin, poliittisiin ja julkisiin tarkoituksiin. Näin tutkijat voivat myös löytää potentiaalisia yhteistyökumppaneita ja saada rakentavaa palautetta niiltä, jotka ovat kiinnostuneita ko. tutkimuksesta.

Altmetriikka antaa mahdollisuuden demokraattiseen julkiseen tarkasteluun, jossa tutkimuksen tuloksia voivat analysoida ja arvioida kaikki ne, jotka haluavat osallistua tähän keskusteluun. (Lisää tästä)

Webnatiivi tutkijasukupolvi ajattelee ja työskentelee eri tavalla kuin “paperiorientoitunut”. Voidaan kysyä, ovatko nuoret tutkijat nykyisin aikaisempien sukupolvien tutkijoita anarkistisempia? Uskaltavat he rikkoa sääntöjä? Nuoret ovat tottuneet kommentoimaan ja keskustelemaan myös tutkimustuloksista sosiaalisessa mediassa. Uskovatko he enemmän tieteen avoimuuteen ja aikamme “open data” –ajatteluun, jonka mukaan tutkimustulokset ja tutkimusdata on tarkoitettu julkaistaviksi kaikille? Yliopistokirjastojen olisi hyvä ymmärtää näitä muutostrendejä ja etsiä uutta roolia ja uusia näkemyksiä tiedeyhteisössä!

Terkon metriikkaprosessi

Helsingin yliopiston kirjaston Meilahden kampuskirjasto Terkko on kehittänyt palveluita, joiden avulla kampuksen julkaistut artikkelit saisivat mahdollisimman suuren näkyvyyden. Nämä näkyvyyspalvelut ovatkin tärkeässä roolissa Terkon metriikkaprosessissa (tämä on käytössä Helsingin yliopiston lääketieteellisen tiedekunnan ja HUSin, eli Helsinki Academic Medical Centerin, artikkeleille), jossa kirjasto on ottanut proaktiivisen roolin kehittämällä toimintamallin, jonka kautta tiedot julkaisuista leviävät verkon eri palveluihin ja sosiaaliseen mediaan.

Terkko seuraa n. 700 Suomessa tutkimusta tekevää lääketieteen tutkijaa ja kerää tiedot heidän julkaisutoiminnastaan Scholar Chart –palveluun. Palvelu näyttää läpinäkyvästi, mitä suomalaisessa lääketieteessä tutkitaan juuri tällä hetkellä. Tutkijoista on tallennettu tekijähaku kansainväliseen PubMed-tietokantaan, josta uudet viitteet kerätään Terkon FeedNavigator-palveluun RSS-syötteiden avulla ja näiden tietojen avulla päivitetään Scholar Chartia reaaliajassa.

Altmetriikan seurantapalvelut hyödyntävät mm. ns. social bookmarking –palveluita, sellaisia kuten esimerkiksi CiteULike ja Mendeley. Osana Terkon metriikkaprosessia uudet viitteet lisätään näihin palveluihin, jolloin artikkelit saavat niissä välittömästi näkyvyyttä. Mendeleystä viitteet on määritelty menemään automaattisesti suoraan Terkon Twitter-tilille, josta ne löytyvät #HelsinkiAcadMedCent –merkinnällä. Sieltä tutkijat voivat vaikkapa käydä uudelleen twiittaamassa niitä edelleen.

Terkon ylläpitämään Helsinki Academic Medical Centerin Facebook -sivulle lisätään tiedot valikoiduista, Julkaisufoorumin kolmostason artikkeleista. Nämä liitetään myös ImpactStory-altmetriikkapalveluun, jossa yksittäisen artikkelin näkyvyyden ja vaikuttavuuden kehittymistä voi seurata. Näiden lisäksi Pinterestiin kerätään valikoituja kuvia kampuksen open access –julkaisuista.

Terkko tarjoa myös erilaisia metriikkapalveluita Terkko Navigator –verkkopalvelun kautta. Terkko Impact –teemaprofiili kerää kaikki metriikoihin ja rankingpalveluihin liittyvät aineistot yhteen. Täältä löytyy mm. altmetriikkasivu, jonka kautta on mahdollista seurata ko. aiheen uusimpia artikkeleita ja twiittejä.

Terkko Navigator tarjoaa myös tutkijaprofiileja, jotka listaavat tutkijoiden uusimmat julkaisut. Näihin on liitetty ohjelmointirajapinnan (API) kautta myös altmetriikkatietoja mm. ImpactStory ja Altmetric –palveluista.

Terkko Kudos on Terkko Navigator –profiili, johon on kerätty kaikki Terkon kehittämät näkyvyyspalvelut, joiden avulla kirjasto pyrkii nostamaan oman kampuksensa julkaisutoiminnan vaikuttavuutta ja maailmanlaajuista näkyvyyttä.

Terkon altmetriikka-sivut ovat herättäneet paljon kiinnostusta, ja Helsingin yliopiston kirjaston piirissä olisikin tarkoitus laajentaa palvelua myös muille kampuksille ja muille tieteenaloille.

Johtavat tietoasiantuntijat Maria Forsman ja Jukka Englund, Helsingin yliopiston kirjasto

Bibliometriikkaseminaarien herättämiä ajatuksia

Istuin maanantaina 11.3. Opetus- ja kulttuuriministeriön järjestämässä ja tiistaina 12.3. Suomen yliopistokirjastojen neuvoston tutkimuksen tuen verkoston järjestämässä bibliometriikkaseminaarissa. OKM:n seminaarissa käsiteltiin bibliometriikkaa ennen muuta ohjauksen ja arvioinnin näkökulmista,  SYN:n seminaarissa enemmän käytännön toteutusten näkökulmista. Kirjoitukseni kuvaa niitä ajatuksia, joita minulla kuulijana heräsi. Isoin kiitos ajatusten herättämisestä kuuluu Oulun yliopiston kirjaston esiintyjille – hehän ovat meneillään olevan evaluoinnin vuoksi juuri joutuneet paneutumaan bibliometriikkaan varsin perusteellisesti.

Mittareita ja puntareita

Nykyisen yliopistojen hallintomallin sekä ministeriöiden ohjausjärjestelmän mukaan yliopistojen toimintaa ohjataan monenlaisten tunnuslukujen perusteella. Tutkimus on yksi kolmesta yliopistojen päätehtävästä ja sen tulokset esitetään ensisijaisesti julkaisemalla. Niinpä julkaisutoimintaan liittyvät tunnusluvut ovat keskeisessä asemassa johtamis- ja ohjausjärjestelmissä. Bibliometriikan tavoitteena on tuottaa mahdollisimman hyvin julkaisuja ja niiden laatua kuvaavia tunnuslukuja. Siinä meille kirjastolaisille haastetta kyllikseen: me siis olemme avainasemassa tuottamassa merkittävää osaa niistä luvuista, joilla Suomen tieteellistä tutkimusta ohjataan.

”Sitä saa, mitä mittaa” otsikoi erään tutkimuslaitoksen sisäinen kehittämisryhmä raporttinsa. Tämä lause pyöri mielessäni seminaareissa istuessani. Mittareilla on erittäin vahva ohjausvaikutus. Olen kuullut tutkijan suusta lausahduksen, että laitoksen johdon on ihan turhaa painottaa tutkimustulosten popularisoinnin tärkeyttä – niin kauan kuin työtä mitataan vain tieteellisten artikkelien määrällä, hän tuottaa vain niitä eikä haaskaa aikaa kirjoittelemalla sanomalehtiin sun muihin. Toinen tutkija totesi, että oikeustieteessä on OECD:n mittauskäytäntöjen vuoksi ryhdytty kirjoittamaan artikkeleita tieteellisiin lehtiin (joita on viime aikoina jouduttu myös perustamaan), vaikka tieteenalan oma julkaisukäytäntö on ollut tuottaa kirjoja.

Me kirjastolaiset emme tietenkään ole vastuussa siitä, millaisia ohjaus- ja hallintojärjestelmiä käytetään, mutta mielestäni meidän pitää ymmärtää tämä näkökulma tuottaessamme (tai tilatessamme Leidenin yliopiston bibliometriikkaan erikoistuneesta yksiköstä) erilaisia tunnuslukuja yliopistomme käyttöön. Meidän hallussamme on metodiikka lukujen laskemiseen ja tulkintavastuu on viime kädessä toki yliopistojemme johdolla. Meidän tehtävämme on mielestäni kuitenkin myös oman tietämyksemme ja kokemuksemme nojalla osoittaa tulkitsijoille mahdollisia kuoppia ja epäoikeudenmukaisuuksia, joita lukujen tulkintaan liittyy.

Tunnuslukujen esittämisessä kannattaa myös muistaa se tosiseikka, josta Markku Laitinen jossakin kirjastojen tilastokoulutuksessa muistutti: ”Kun laitatte jonkin luvun nettiin, ette voi ryömiä sen perässä kertomaan kaikille, mitä rajoituksia ja ongelmia lukuun sisältyy, vaan jokainen lukija tulkitsee sen omista lähtökohdistaan. Kannattaa tarkoin valita, mitä laskee, miten laskee ja mitä julkistaa.”  Kirjastolaiset on otettu viime vuosina mukaan useimpiin yliopistoissa tehtyihin tutkimuksen evaluointeihin, mikä on tietenkin mukavaa työmme arvostusta ajatellen, mutta antaa meille myös raskaan vastuun bibliometristen tunnuslukujen valinnassa ja esittämisessä. Esimerkkinä tästä on seminaarissa esitelty Oulun yliopiston meneillään oleva evaluointi, jossa kirjasto neuvottelee Leidenin yliopiston kanssa bibliometrisestä laskennasta ja on mukana siihen liittyvän uuden metodiikan kehittämisessä. Tavoitteena on mm. parantaa tunnuslukujen vertailtavuutta tieteenalojen välillä.

Viittausmääriin perustuvaa bibliometriikkaa käytetään – kuten seminaareissakin moneen kertaan todettiin – vain osalle tieteenaloista. Se ei sovellu ns. SSH-aloille (yhteiskunta- ja humanistiset tieteet) ja niillä käytetään kuvailevampia tunnuslukuja. Karkeasti voisi ehkä yleistää: kvantitatiiviseen metodologiaan perustuvat julkaisut voidaan kuvata kvantitatiivisin eli bibliometrisisn menetelmin, mutta kvalitatiiviseen metodologiaan perustuvat julkaisut kuvataan kvalitatiivisin menetelmin. Entä sitten tutkimus, joka liikkuu molemmilla alueilla? Leidenin kriteeri bibliometriikan soveltamiselle on, että arvioitavan yksikön/ryhmän julkaisuista vähintään 40 % sisältyy Web of Scienceen. Helsingin yliopiston ratkaisu oli, että kirjaston toimesta analysoitiin kuvailevin menetelmin vain niiden ryhmien julkaisut, joilla ei voitu tehdä WoS-pohjaista bibliometriikkaa. Siis periaatteessa jopa 60 % julkaisuista jätetään ottamatta arvioinnissa huomioon, koska bibliometriikka on ensisijainen menetelmä. Onko vain teoreettinen mahdollisuus, että tuohon max. 60 %:iin sisältyy tieteellisiä helmiä? Miksi ihmeessä sitten puheiden tasolla varsin yleisesti pidetään moni- ja poikkitieteellistä tutkimusta arvokkaana ja toivottavana? Ainakin meidän yliopistossamme on tehty sellaista monitieteellistä tutkimusta, jossa on ansiokkaasti yhdistetty kvantitatiivisia ja kvalitatiivisia tieteitä ja tulosten arvo perustuu juuri siihen. Pitääkö kaikki monitieteinen tutkimus julkaista kvantitatiivisen osapuolen ehdoin? Entä ne viittaukset, jotka kertyvät sen kvalitatiivisen tieteenalan kirjoihin? Niistä viis?

Kirjojen ja kirja-artikkelien viittausmääriin liittyviä tietokantoja on aivan viime aikoina ryhdytty kehittämään, mutta niiden kattavuus on vielä varsin heikko. Paljonko niiden avulla saadaan korjatuksi tieteenalojen välistä epätasapainoa, jää vielä nähtäväksi.

Laadunarviointia

Yhteiskunta- ja humanistisilla tieteenaloilla kirjastolaisten vastuu tunnuslukujen tuottamisessa on ehkäpä vielä raskaampi. Ei ole olemassa kansainvälisiä palveluita ja vakiintunutta metodiikkaa, vaan kirjastot tekevät julkaisutietojen analyysit parhaan ymmärryksensä mukaan. Työkaluksi on pelkkien bibliografisten tietojen oheen saatu julkaisufoorumiluokat, joiden avulla pyritään kuvaamaan lehden, sarjan tai kirjankustantajan mukaan julkaisujen tasoa. Julkaisufoorumiluokitus on tehty myös SSH-alojen lehdille, sarjoille ja kustantajille, millä tavoitellaan tieteenalojen välistä tasa-arvoa.

Julkaisufoorumiluokituksen käyttöohjeessa sanotaan: ”Julkaisufoorumin tasoluokat ennustavat suurten julkaisumäärien keskimääräistä laatua ja vaikuttavuutta, mutta ovat liian summittainen väline yksittäisten julkaisujen tai tutkijoiden arviointiin. Tasoluokitus kertoo julkaisun läpäisemän kilpailun ja vertaisarvioinnin tasosta, mutta tason 1 julkaisukanavissa ilmestyy yksittäisiä, keskitasoa laadukkaampia ja vaikuttavampia julkaisuja, ja tason 2 ja 3 julkaisukanavissa ilmestyy myös keskitasoa heikompia ja ilman viittauksia jääviä julkaisuja. Tasoluokitus ei missään tapauksessa voi korvata julkaisujen sisältöön perustuvaa vertaisarviointia yksittäisten tutkijoiden tai tutkimusryhmien arvioinnissa.”

OKM:n seminaarissa esiteltiin Kansalliskirjastossa tuotettua käyttöliittymää yliopistojen julkaisutietojen selailuun (julkaisuportaali). Se mahdollistaa julkaisuihin liittyvien lukujen tuottamisen ristiin rastiin monilla eri kriteereillä. Kuten seminaarilaiset saattoivat omin silmin todeta, julkaisuportaalista hyppää äkkiä esiin, ketkä tutkijat ovat julkaisseet eniten julkaisufoorumitason 3 kanavilla. Näin OKM:n tilaamassa käyttöliittymässä.

Oulun yliopiston tutkimuksen arvioinnissa kirjasto tekee julkaisuanalyysit niille tutkimusryhmille, joiden julkaisutuotanto ei täytä Leidenin kriteereitä bibliometristen menetelmien käytölle (kuten esim. Helsingissäkin tehtiin pari vuotta sitten). Täyttääkö niiden julkaisutuotanto oikeasti julkaisufoorumiluokituksenkaan kriteeriä suurista julkaisumääristä? Yliopiston johto on ainakin meillä Lapissa – puhtaasti SSH-yliopistossa – kovasti kiinnostunut julkaisufoorumiluokituksesta, kun ei muutakaan laadunarviointimenetelmää ole tarjolla. Pitäisikö meidän kirjastolaisten kieltäytyä tutkimusryhmien julkaisujen julkaisufoorumiluokkajakaumien esittämisestä vedoten julkaisufoorumiluokituksen käyttöohjeeseen?

SSH-epätoivoa?

Kaikenlaista mittarointia ja puntarointia tehdään nykyisin niin innokkaasti, että välillä herää epätoivo. Kun kerran yhteskuntatieteellisen ja humanististen tieteiden julkaisujen laatua ei voida mitata, sitä ei mitata. Niinpä erilaisissa yhteenvedoissa ja arvioinneissa esitetään mittaustulokset/tunnusluvut vain kvantitatiivisista tieteistä. Mitä se vaikuttaa resurssien jakoon? Kuivattaako se yhteiskuntatieteellisen ja humanistisen tutkimuksen pois yliopistoista? Vai ehtivätkö kirjoihin ja kirja-artikkeleihin perustuvat tietojärjestelmät ja mittaristot kehittyä pelastamaan vielä jotakin? Vai miten kuvataan rinnakkain samassa taulukossa / kuvassa bibliometrisesti mittaroidut ja kuvailevasti puntaroidut eri tieteenalojen julkaisut. Vai pitääkö kaikkien yhteiskunta- ja humanististen tieteiden tehdä kuten edellä kuvaamani oikeustieteilijä kertoi: ryhtyä kirjoittamaan referoituja artikkeleita lehtiin, tarvittaessa perustaa niitä lehtiä. Mitä se tekee itse tieteille? Heiluttaako häntä koiraa?

Liisa Hallikainen
Informaatikko, Lapin yliopisto
Tutkimustietojärjestelmäprojektin päällikkö

Katse kohti tulevaa – Suomen yliopistokirjastojen neuvostolle uusi strategia

Suomen yliopistokirjastojen neuvosto SYN hyväksyi lokakuun kokouksessaan itselleen uuden strategian vuosille 2013–2017. Uusi strategia antaa SYN:lle suuntaa kompleksisessa toimintaympäristössä, jossa verkostoissa toimimisesta on tullut entistä tärkeämpää.

Neuvoston perustehtävä on yliopistokirjastojen tukeminen ja kehittäminen tutkimusta ja opetusta edistävinä asiantuntijaorganisaatioina. SYN on luonteeltaan yhteistyöverkosto, jolle on jo monien vuosien ajalta kertynyt hyvää kokemusta osaamisen ja hyvien käytäntöjen jakamisesta, samoin yhteisistä hankkeista, selvityksistä ja kannanotoista. Yhdessä toimimalla yliopistokirjastot voivat tehdä enemmän kuin yksin. Ne voivat myös saavuttaa jotain, johon yksittäisen kirjaston resurssit ja osaaminen eivät riittäisi.

Strategian aikajänne asetettiin ulottumaan vuoteen 2017. Nopeasti muuttuvassa toimintaympäristössä oli vaikea miettiä, missä SYN haluaa olla viiden vuoden kuluttua. Mutta tulevaisuuden hahmottaminen ilman visiota olisi ollut vieläkin vaikeampaa. Jonkinlainen tulevaisuuden tavoitetila tarvitaan, vaikka sitä joudutaankin arvioimaan koko ajan. SYN:n tavoitetila on selkeä. SYN haluaa olla mukana luomassa suomalaisen tieteen menestystarinaa. Uusi visio kuuluu: ”Uutta luova yliopistokirjasto – osaavaa kumppanuutta Suomen tieteen menestykseksi! ”

Visio ei toteudu itsestään vaan vaatii toteutuakseen tekoja ja valintoja. Neuvoston piirissä keskusteltiin hyvin paljon niistä päämääristä, joilla asetettu visio voidaan saavuttaa. Niin ikään yhteisen keskustelun kautta tunnistettiin ne kriittiset menestystekijät, joissa pitää onnistua. Strategisiksi päämääriksi nousivat 1) työhyvinvointi, osaamisen kehittäminen ja verkostoituminen; 2) toimintojen ja prosessien rakentava uudistaminen sekä 3) innovatiiviset tietopalvelut suomalaisen tutkimuksen ja korkeakouluopiskelun menestykseksi.

Strategian toteutumisen seuraamista varten määriteltiin mittarit. Koska uusi visio asetettiin niinkin kauas kuin vuoteen 2017, selkeät konkreettiset tavoitteet uskallettiin asettaa vain kahdelle seuraavalle vuodelle. Tarkoitus on, että tavoitteet tarkistetaan vuosittain.  Tavoitteiden saavuttamista haluttiin varmistaa määrittelemällä niille vastuutahot. Ilahduttavaa on se, että vastuutahot todentavat neuvoston verkostomaista toimintaa. Vastuuta eivät ota vain neuvoston jäsenet (yliopistokirjastojen johtajat) ja työvaliokunta vaan myös neuvoston perustamat erilaiset verkostot: varajohtajien foorumi, tutkimuksen tuen verkosto, IL-verkosto jne.

SYN:n uusi strategia on vaativa, mutta samalla se on mahdollinen ja mahdollistava. Siihen sisältyy myös lupaus osaamisen yhteisestä kehittämisestä ja suorituskyvyn parantamisesta – Suomen tieteen menestykseksi.

Mirja Iivonen
Ylikirjastonhoitaja, Tampereen yliopiston kirjasto
SYN:n puheenjohtaja 2011–2012

Julkaisujen merkitys tiedepolitiikassa -seminaarissa pohdittiin tieteellisten julkaisujen merkitystä monesta näkökulmasta

SYN järjesti Helsingissä 19.10.2012 seminaarin otsikolla Julkaisujen merkitys tiedepolitiikassa. Seminaarin yleisönä oli yliopistokirjastojen ja tutkimuslaitosten kirjastojen ja tietopalvelujen johtajia sekä henkilökuntaa. Esiintyjiä oli yliopistojen lisäksi saatu Opetus- ja kulttuuriministeriöstä ja Tieteellisten seurain valtuuskunnasta.  Aiheen ajankohtaisuudesta kertoi se, että esitykset herättivät ilahduttavan paljon keskustelua.

Seminaarin aiheena oli tarkastella julkaisuja ja tieteellistä julkaisemista useasta eri näkökulmasta ja pohtia kirjastojen roolia julkaisuihin liittyvien palvelujen tarjoajana. SYN:n puheenjohtaja Mirja Iivonen toi avauspuheenvuorossaan esiin sen, että yliopistokirjastot ja niiden henkilökunta ovat jo monessa mukana: ne hankkivat tutkimusjulkaisuja asiakkaiden käyttöön, tarjoavat tukea rinnakkaisjulkaisemisessa ja kustantamisessa, tekevät julkaisuvaikuttavuuden arviointeja ja toimivat jopa itse tutkimustiedon tuottajina. Viimeaikainen keskustelu julkaisujen laadun arvioinnista ja parantamisesta ja erityisesti OKM:n uuden rahanjakomallin ohjaava vaikutus näkyvät myös jo kirjastojen arjessa.

Julkaisujen laatu

Suunnittelija Janne Pölönen Tieteellisten seurain valtuuskunnasta kertoi esityksessään Julkaisufoorumiluokituksen tämänhetkisestä tilanteesta. Luokituksen vuosittainen täydentäminen on parhaillaan käynnissä ja sen seuraava kokonaisarviointi tehdään vuonna 2014. Uudet asiantuntijapaneelit valitaan ensi syksynä kaudelle 2014–2016. Nyt kun JUFO -luokitus on kytketty ministeriön rahanjakomalliin, yliopistot ymmärtävät varmasti edellistä kertaa paremmin, kuinka tärkeää on saada omat tieteenalat hyvin edustetuiksi paneeleissa.

Pölönen korosti luokituksen oikeita käyttötarkoituksia ja erityisesti sitä, että luokituksella pystytään ennustamaan vain suurten julkaisumäärien keskimääräistä laatua, eikä se siksi sovellu yksittäisten tutkijoiden tai tutkimusryhmien arviointiin. Kirjastot voisivat osaltaan huolehtia siitä, että JUFOn kriteerit ja sallitut käyttötarkoitukset olisivat paremmin yliopistoyhteisön tiedossa.

Julkaisujen osuus rahanjakomallissa

Opetus- ja kulttuuriministeriön uudessa rahoitusmallissa vuosille 2013–2016 julkaisut saavat paljon aiempaa suuremman painoarvon. Tämän vuoksi yliopistot ovat aktiivisesti alkaneet tarkastella omia julkaisukäytäntöjään ja alkaneet etsiä keinoja julkaisujen laadun nostamiseksi.  Opetusneuvos Olli Poropudas (OKM) keskittyikin esityksessään rahanjakomalliin esitellessään vuoden 2011 julkaisutietojen pohjalta tehtyjä laskelmia julkaisujen yksikköhinnoista. Luvut ovat vielä ainoastaan suuntaa antavia, mutta toivat silti selvästi esille, miten paljon julkaisufoorumiluokat tulevat vaikuttamaan rahanjakoon vuodesta 2015 eteenpäin. Rahanjakomalli lisää paineita myös julkaisutiedonkeruuseen, koska on entistä tärkeämpää, että koko julkaisutoiminta saadaan luotettavasti raportoitua ministeriölle. Useassa yliopistossa kirjasto on mukana tuottamassa julkaisutietorekisteriä ja siten osaltaan vastaa tietojen kattavuudesta ja luotettavuudesta.

Yliopistojen rahoitusmalli 2013-2016. Kuva Olli Poropudaksen esitelmästä.

Esitys herätti paljon kysymyksiä mm. rahanjakomallista ja Vipunen – tietovaraston roolista. Ministeriön suuntaan heitettiin myös ehdotus open access – julkaisemisen huomioimisesta rahoitusmallissa.

Avoin tiede – avoin data

Opetusneuvos Juha Haataja (OKM) käsitteli julkaisemista ja tieteellistä kommunikaatiota laajemmassa avoimen tieteen kontekstissa. Digitalisoituminen ja uudet toimintamallit tutkimuksen tekemisessä toisaalta mahdollistavat ja toisaalta edellyttävät, että tutkittu tieto on kaikkien käytettävissä ja hyödynnettävissä.  Miten tähän avoimuuteen päästään? Haatajan mukaan tarvitaan ensinnäkin asennemuutosta. Avoimuus ei voi toteutua, ellei siihen olla valmiita panostamaan ja ellei sillä nähdä lisäarvoa tutkimukselle. Toiseksi pitää kyetä ratkaisemaan avoimeen dataan liittyviä haasteita: miten jatkuvasti kasvavaa tietomäärää hallitaan (mitä säilytetään ja mitä hävitetään), miten varmistetaan tiedon löytyminen ja hyödyntäminen ja miten turvataan oleellisen tiedon säilyminen.

Samojen haasteiden parissa painitaan niin Suomessa kuin maailmallakin.  Suomessa on käynnissä useita hankkeita avoimeen dataan liittyen. Uusimpana hankkeena Haataja mainitsi OKM:n juuri perustaman Tutkimustulosten saatavuus –työryhmän, jonka tehtävänä on toteuttaa tietoaineistokartoitus ja luoda visio tietoaineistojen saatavuuden ja hyödyntämisen tavoitetilasta.

Kirjastot voivat osallistua avoimen tieteen kehittämiseen konkreettisesti tarjoamalla tukea ja neuvontaa avoimen datan ja julkaisemisen kysymyksissä.

Avoimuuden lisääntyminen vaatii asenteiden muuttumista. Kuva Juha Haatajan esityksestä.

Julkaisut ja tutkimuksen arviointi

Päivän viimeisessä varsinaisessa esityksessä tutkimuksen kehittämispäällikkö Johanna Hakala Tampereen yliopistosta kuvasi tapoja, joilla julkaisuja hyödynnetään yliopistoissa tutkimuksen arvioinnin välineenä. Esimerkkinään hän käytti viime vuonna Tampereen teknillisessä yliopistossa tehtyä kansainvälistä tutkimuksen arviointiprojektia. Hakala korosti, että julkaisuja on aina käytetty tutkimuksen arviointiin, koska ne ovat tieteellisen kommunikaation päätuote. Nykyisin julkaisutietojen keruu ja seuranta ovat entistä systemaattisempia ja julkaisutietoja yhdistellään entistä systemaattisemmin myös tutkimusrahoituksen ja – hankkeiden seurantaan.

Kasvanut kiinnostus julkaisuihin ja niiden laatuun on Hakalan mukaan tuonut myös ongelmia. Julkaisupaine voi johtaa tutkimuseettisiin ongelmiin, jos tutkijat alkavat paineen alla livetä hyvästä tieteellisestä käytännöstä. Julkaisujen laatumittarit eivät myöskään ole ongelmattomia. Esimerkiksi JUFO –luokitus ei yksinään kerro koko totuutta laadusta, vaan laadun arviointiin tarvitaan aina useita näkökulmia ja mittareita. Seminaarin yleisöä miellytti varmasti se, että Hakala näki kirjastoilla merkittävän roolin julkaisuanalyysien suunnittelussa ja toteuttamisessa.

Tutkimusdatan hallinnointia käsittelevä esitys peruuntui, mutta kirjastonjohtaja Jarmo Saarti Itä-Suomen yliopiston kirjastosta käsitteli loppupuheenvuorossaan lyhyesti aihetta ja pyysi myös yleisöä pohtimaan kirjastojen mahdollisuutta kehittää uusia palveluja tutkimusdatan hallinnointiin liittyen.  Kirjastoilla on osaamista tiedon organisoimisessa ja metadatassa ja näissä asioissa voisimme ainakin opastaa tutkijoita. Toinen uusi avaus kirjastoilta voisi olla tuen tarjoamien tutkimushankkeiden tiedonhallintasuunnitelmien laatimisessa, jota toki on pienimuotoisesti yliopistokirjastoissa jo tehtykin. Näistä uusista avauksista ja askelista niiden toteuttamiseksi keskustellaan yliopistokirjastokentällä varmasti vilkkaasti jatkossakin.

Minna Niemi-Grundström
Kirjastonjohtaja
Tampereen teknillinen yliopisto

Turussa keskustellaan elokuussa kirjaston vaikuttavuudesta ja tuloksellisuudesta

IFLA lähestyy ja me itse kukin mietimme osallistumistamme.Varsinaisen konferenssin lisäksi eri puolilla Suomea ja Baltian maissa järjestetään yhteensä 20 satelliittikonferenssia. Yliopistokirjastot osallistuvat aktiivisesti myös IFLA satelliittien järjestämiseen Turussa, Tampereella, Kuopiossa ja Helsingissä.

Turun yliopistossa järjestetään kolmen IFLAn jaoston (Management and Marketing; Research Libraries, Statistics) ja Turun yliopiston kirjaston yhteistyönä toteutettava satelliittikonferenssi 8.-9.8. 2012. Keskiviikko 8.8. on kirjastovierailuja ja yhteinen iltajuhla Muumimaassa. Varsinainen seminaaripäivä on torstaina 9.8.12.

Konferenssi on osoitettu erityisesti kirjastojen johdolle ja sen aihe on varsin ajankohtainen: Library’s Efficiency, Impact and Outcomes – Statistical Evaluation and Other Methods as Tools for Management and Decision-making. Konferenssissa on yhteisen osion lisäksi seminaarit sekä yleisille että tieteellisille kirjastoille.

Olisi hienoa nähdä Suomen kirjastojohtajia myös tässä seminaarissa, sillä kirjastojen toimintaympäristön radikaalit muutokset asettavat yhä uusia haasteita kirjastojen johtamiselle, eikä perinteinen tilastotiedon keruu kirjaston toiminnasta raportoitaessa enää riitä. Nykyajan talouspoliittisessa ilmastossa myös kirjaston on kyettävä osoittamaan arvonsa. Tämä koskee yhtä hyvin yleisiä kuin tieteellisiä kirjastoja. Perinteisen kvantitatiivisen tiedon (tilastot) rinnalle tarvitaan myös laadullista eli kvalitatiivista tietoa ja eri lähteistä kerättyä tietoa yhdistämällä löydetään uusia välineitä todistaa kirjaston arvo ja yhteiskunnallinen vaikuttavuus taisteltaessa niukkenevista resursseista ja pyrittäessä vastaamaan kirjaston käyttäjien muuttuviin tarpeisiin.

Markku Laitinen
suunnittelija, Helsingin yliopiston kirjasto

Miten kirjastojen asiantuntijapalvelujen vaikuttavuutta voidaan mitata?

Kirjastojen asiantuntijuutta kuvaaville suoritteille ei ole tällä hetkellä käytettävissä riittävän tarkkoja ja tyhjentäviä mittareita. Tämä käy ilmi tarkasteltaessa Tieteellisten kirjastojen tilastointiohjetta (KITT) ja myös parhaillaan kirjastosektoreilla lausuntokierroksella olevaa uudistettua ISO-standardia (2789).

Tiedonhakupalvelut, sekä laajat kirjallisuusselvitykset että vastauksen etsiminen yksittäisiin kysymyksiin, ovat olleet kirjastojen ydinosaamista, vaativaa asiantuntijapalvelua sekä keskeinen osa niiden toiminnan vaikuttavuutta.  Maksuttomien tiedonhakujen määrä Suomen Tieteellisten kirjastojen yhteistilastotietokannassa on vuodesta 2009 vuoteen 2010 laskenut 5% (yhden organisaation yliopistokirjastoissa).  Joissakin kirjastoissa lasku on ollut huomattavasti suurempi. Esimerkiksi Jyväskylän yliopiston kirjastossa opetustilastot ovat viime vuosina kasvaneet samaa tahtia kuin tiedonhakutilastot ovat pienentyneet.

Faktakysymykset ovat kirjastoista hävinneet melko olemattomiin: kansalaiset ovat tottuneet ja oppineet hakemaan tietoa internetistä. Kuitenkin monenlaiset asiakkaiden tiedonhallintakysymyksiin liittyvät pulmat työllistävät kirjastojen asiantuntijoita. Näitä päivittäin esiintyviä kysymyksiä ovat kirjastotietokantojen hakulogiikkaan ja aineistojen löytyvyyteen liittyvät tilanteet, hakuliittymien ongelmat ja e-aineistojen toimimattomuudet. Muita esimerkkejä tiedonhallintaan liittyvistä asiantuntijapalveluista ovat viitteidenhallinta, opastus tiedon oikeaan käyttöön sekä erilaiset tutkijapalvelut.  Nämä ilmiselvästi mitattavissa olevat asiat jäävät nyt tilastoinnissa vaille huomiota. Niinpä kirjastojen vaikuttavuudesta syntyy vaillinnainen kuva.

Vaikuttavuutta pitäisi tietenkin mitata myös laadullisin mittarein. Tällaisesta on maininta KITT-käyttäjän käsikirjassa 2011 s. 14: Kirjastotoiminnan vaikuttavuuden arviointiryhmän on laatinut mittariston, jossa yhtenä vaikuttavuutta kuvaavana elementtinä on ”asiakkaan saaman tiedon antama hyöty asiakkaalle”, ja tätä selvitetään kyselyllä.

Toteutimme Jyväskylän yliopiston kirjastossa marraskuussa 2010 – huhtikuussa 2011 kolmena kuukautena tarkemman tiedonhakujen tilastoinnin seurannan.  Tähän tarkempaan tilastointiin otettiin mukaan vain kysymykset, jotka täyttävät KITT-käyttäjän käsikirjan määritelmän. Seurannan aikana ilmeni, että kirjastohenkilökunnan on vaikea tulkita tiedonhakujen määritelmää: minkälaiset kysymykset ovat tai eivät ole tiedonhakua.  Tulkinnanvaraisia kysymyksiä jää ilmeisesti tilastoimatta. Yksi esimerkki vaikeasta rajanvedosta: onko asiakaspalvelutilanteessa opastettu itsenäiseen tiedonhakuun, joka on tilastoitavaa, vai oliko kyse opastuksesta miten haetaan tietystä tietokannasta, joka ei ole tilastoitavaa!

Lausuntokierroksella olevassa ISOn kirjastotilastostandardissa tiedonhakukysymysten (Reference questions) määritelmä on nyt käytössä olevaa väljempi. Osasta edellä mainituista tulkintaongelmista voidaan päästä eroon, ja tiedonhakutilastot voivat taas kääntyä kasvuun. Myös tässä standardiluonnoksessa todetaan, että vaikuttavuutta kokonaisuudessaan ei voida mitata numeerisesti; rinnalle tarvitaan laadullisia kuvauksia, mm. käyttäjäkyselyjen tuloksia. Yliopistokirjastojen vaikuttavuus näkyy loppujen lopuksi kehysorganisaation menestyksessä opetuksessa ja tutkimuksessa sekä myös onnistumisessa yhteiskunnallisessa palvelutehtävässä.

Mirja Laitinen
Tietopalvelupäällikkö
Jyväskylän yliopiston kirjasto
Email: mirja.p.laitinen[AT] jyu.fi

Yliopistokirjastot korkeakoulujen laatutyön edelläkävijöinä

Suomalaiset korkeakoulut ja niiden kirjastot integroituivat eurooppalaiseen korkeakoulualueeseen hyvin konkreettisesti, kun Suomessakin aloitettiin korkeakoulujen ulkoiset auditoinnit vuonna 2005. Suomalaiseen malliin on kuulunut se, että kukin korkeakoulu on voinut rakentaa laatujärjestelmänsä itse, ja Korkeakoulujen Arviointineuvosto (KKA) arvioinnissaan arvioi tuon laatujärjestelmän toimivuuden. Ensimmäinen arviointikierros on nyt loppumassa – kaikki suomalaiset yliopistot ja ammattikorkeakoulut on kohta auditoitu vähintään kerran.

Kirjastojen laatutyö

Yliopistokirjastojen neuvosto valmistautui hyvin auditointien alkamiseen korkeakouluissa. Neuvosto perusti Laatu ja vaikuttavuus -hankkeen ja sai sille KKA:n rahoituksen. Hankkeen tavoitteena oli helpottaa laadun ja vaikuttavuuden arvioinnin kytkemistä osaksi yliopistokirjastojen johtamista sekä kehittää kirjastojen vaikuttavuuden osoittamista. Hanke toimi vuosina 2005 – 2008, jona aikana se järjesti useita seminaareja ja koulutusta yliopistokirjastojen laatujärjestelmien kehittäjille.

Konkreettisina tuotteita oli yliopistokirjastojen keskeisten prosessien kuvaukset, joiden avulla pyrittiin yhdenmukaistamaan kirjastojen laatujärjestelmien laatimista. Hanke toimi tiiviissä yhteistyössä ammattikorkeakoulukirjastojen ja Suomen tieteellisen kirjastoseuran kanssa. Tästä lopputuloksena oli yhteinen julkaisu AMKIT-konsortion, Suomen tieteellisen kirjastoseuran ja neuvoston kesken: Laatu ratkaisee – laatutyön opas korkeakouluille.

Tämä työ on selkeästi tuottanut tulosta. Kun lukee korkeakoulujen auditointiraportteja, niin huomaa, että kirjastoissa on kautta linjan hyvin kehittyneet laadunhallintajärjestelmät. Jopa niin, että joidenkin ensimmäisellä kerralla auditointia läpäisemättömien korkeakoulujen kirjastot saavat osaltaan hyvän maininnan tekemästään laatutyöstä.

Korkeakoulujen laatujärjestelmien arviointi uudistuu Suomessa

KKA on uusinut auditointikriteereitään alkamassa olevalle toiselle arviointikierrokselle. Näyttää siltä, että arvioinnin luonne ja kohde tulevat muuttumaan selkeästi.  Ensinnäkin itsearviointi on saamassa keskeisemmän sijan. Sen lisäksi tutkintotavoitteisen koulutuksen laadunhallinta tulee nousemaan tärkeämpään rooliin. Tässä on tapahtumassa selkeä yhdentyminen kansainväliseen arviointikulttuuriin, jossa keskeisenä on juuri korkeakoulujen antaman opetuksen laadukkuuden arviointi.

Laatukriteeristöä on myös tiivistetty. Selkeästi on haluttu korostaa kokonais- ja yliopistotason näkymää eli laatujärjestelmää työkaluna koko yliopiston johtamisessa ja perustehtävien toteuttamisessa.

Kirjastoille tämä tulee merkitsemään entistä enemmän sitä, että niiden tulee pystyä osoittamaan oman toimintansa merkitys yliopiston perustehtävissä, erityisesti tutkintoon johtavassa opetuksessa. Lisäksi valmiuksia oman toiminnan itsearviointiin ja raportointiin tulee kehittää edelleen. Kirjastot ovat valmiita jakamaan laatutyökokemuksiaan myös kansainvälisesti.

Jarmo Saarti
Itä-Suomen yliopiston kirjaston johtaja