Tietolinja
02/2004

Kansallisten tietokantojen nykytila ja tulevaisuus

Juha Hakala
Helsingin yliopiston kirjasto

URN:NBN:fi-fe20042322

Amerikkalainen fyysikko Richard Feynman määritteli tieteellisen luomistyön kolmivaiheiseksi prosessiksi: ensin määritellään ongelma, sitten ajatellaan ankarasti, ja lopuksi kirjoitetaan ratkaisu paperille. Skenaarion tekeminen on vähän samanlaista puuhaa, sillä niissä määritellään nykytilanne, kuvataan tavoitetila jossa erinäisiä ongelmia on ratkaistu, ja hahmotellaan keinot joilla tavoitetila saavutetaan.

Osallistuin 90-luvun puolivälin paikkeilla kirjastojen tietoteknisen tulevaisuusskenaarion kirjoittamiseen. Skenaario kattaa vuodet 1997-2006, mutta siitä ei ole enää vuosiin ollut osviitaksi. Internetin ja erityisesti Webin suosion nopea kasvu, tieteellisen julkaisutoiminnan muutokset sekä tiedonhakuportaalien ja digitaalisen aineiston hallintasovellusten ilmaantuminen perinteisten integroitujen kirjastojärjestelmien rinnalle ovat muuttaneet kirjastojen toimintaympäristöä tavalla, jonka ennakointi vuonna 1996 olisi vaatinut turboahdetun kristallipallon.

Tietoteknisen skenaarion optimaalista aikajännettä on mahdotonta määritellä, mutta se asettunee tällä hetkellä kolmen vuoden paikkeille. Viime vuosikymmenen kokemusten perusteella voi väittää, että tavoitetilan asettaminen viiden vuoden päähän ei enää kannata tuolle jaksolle osuvien laadullisten muutosten vuoksi. Määrällisiä muutoksia on helppo ennakoida; esimerkiksi FUNET-verkon kapasiteetti vuonna 2009 voidaan kohtuullisella tarkkuudella ekstrapoloida jo tehdyistä päivityksistä. Laadulliset muutokset, kuten Internet-tietokoneiden entistä tiiviimpi yhteiskäyttö Grid-teknologian avulla, luovat kokonaan uusia mahdollisuuksia (ja ongelmia) ja tekevät pitkän aikavälin skenaarioiden rakentamisen vaikeaksi.

Koko kirjastojen tietohuollon kattava skenaario olisi hyvin laaja dokumentti. Rajaan tarkastelun siihen tietohuollon osa-alueeseen jonka tunnen parhaiten, eli kirjastojen kansallisiin tietokantoihin. Helsingin yliopiston kirjaston ylläpitämien kansallisten tietokantojen nykyinen tilanne, tavoitetila sekä keinot tuohon tavoitetilaan pääsemiseksi ovat asioita joita pohtii tätä kirjoitettaessa muun muassa opetusministeriön asettama Kansalliskirjasto 2005 –työryhmä. Tämä artikkeli perustuu osittain työryhmälle ja sen valmisteluelimille toimittamiini tausta-aineistoihin.

Missä olemme nyt...

Kansalliskirjaston ylläpitämät Linnea-yhteistietokannat (LINDA, MANDA, ARTO, VIOLA) ja kansallisbibliografia FENNICA ovat kaikille kirjastoalan ammattilaisille tuttuja, ja yliopistojen ja korkeakoulujen henkilökunta ja opiskelijatkin ovat omaksuneet niiden käytön, kuka enemmän, kuka vähemmän tehokkaasti.

Linnea-yhteistietokantojen ja FENNICAn tuotantotavat vaihtelevat suuresti. Helsingin yliopiston kirjastolla on vapaakappalelakiin perustuva vastuu kansallisbibliografian ja –diskografian laatimisesta, joten Fennicaa ja Violaa tullaan varmasti ylläpitämään jatkossakin. Avoin kysymys on, miten paljon ja millaisella aineistolla muiden kirjastojen olisi mahdollista osallistua luettelointiin. Voisivatko esimerkiksi yliopistokirjastot kuvailla omien kehysorganisaatioidensa (elektroniset) julkaisut?

Lakisääteisten järjestelmien rinnalle on luotu tietokantoja joiden olemassaolon peruste on niiden käytännöllisyys. Yhteisluettelona Linda syntyy periaatteessa varsin vaivattomasti kirjastoissa tehtävän tallennustyön sivutuotteena. Mutta laadukas yhteisluettelo vaatii ylläpitotyötä, kuten tuplatietueiden manuaalista poistoa sekä kirjastojen poistamien julkaisujen tietojen eliminointia. Lisätyön määrä riippuu esimerkiksi tuplien poiston osalta käytettävästä sovelluksesta; VTLS tuotti vähemmän tarkistettavaa kuin nykyinen Voyager-ohjelmisto. Mahdollinen uusien kirjastojen lisääminen Lindaan tulee lisäämään myös ylläpitotyön määrää jos tietokannan nykyinen laatutaso halutaan säilyttää.

Arto-tietokannasta voimme olla ylpeitä. Se on erittäin laajan, kirjastorajat ylittävän yhteistyön tulos. Monessa muussa maassa artikkeli-indeksejä tuottavat kaupalliset yritykset; kirjastot joutuvat maksamaan niiden käytöstä eivätkä viime kädessä pysty vaikuttamaan tallennuksen prioriteetteihin. Yrityksen kaatuessa tai tuotteen muuttuessa kannattamattomaksi kaupallisen indeksin tulevaisuus on niin sanotusti katkolla. Arto on kaupallista järjestelmää vahvemmalla pohjalla, mutta senkin tulevaisuus on riippuvainen siitä, että vastuukirjastot näkevät tallennuksen mielekkääksi ja panostavat siihen.

Perinteisten Linnea-yhteistietokantojen ja FENNICAn rinnalle on lähivuosina tulossa koko joukko uusia rekistereitä. Yhdessä uudet ja vanhat tietokannat muodostavat hierarkkisen kokonaisuuden, josta lisää seuraavassa luvussa.

...ja mihin olemme menossa

Tietokantojen käyttö on muuttunut parissakymmenessä vuodessa informaatikkojen erityisalasta arkipäiväiseksi puuhaksi. Kirjastojen näkökulmasta asiakkaiden tottuminen atk-vetoisiin tiedonhakujärjestelmiin on periaatteessa hyvä asia, mutta joudumme yhtä kaikki painiskelemaan uuden ongelman kanssa, jota Lorcan Dempsey kuvasi European Conference on Digital Libraries –kokouksessa syyskuussa 2004 uudissanalla Amazoogle. Asiakkaamme käyttävät Googlea päivittäin ja monet Amazonia tai muita verkkokirjakauppojakin säännöllisesti.

Haastattelututkimuksissa on selvinnyt, että käyttäjien mielestä tiedonhakujärjestelmien tulisi Googlen ja Amazonin kaltaisia yksinkertaisia tai siltä näyttäviä sovelluksia. Kirjaston näyttöluettelo on monine hakuelementteineen kuitenkin huomattavasti Googlea monimutkaisempi hakujärjestelmä, jonka tehokas käyttö ei ole helppoa.

Vuoden 2004 jälkipuoliskolla yliopistoissa vaiheittain käyttöön otettava tiedonhakuportaali tarjoaa mahdollisuuden hakea monenlaisia tietokantoja yhden ja saman käyttöliittymän kautta. Toivottavasti portaalin käyttöä pystytään analysoimaan niin, että tiedämme jatkossa miten asiakkaat toimivat perinteisen kirjastojärjestelmän, digitaalisen aineiston hallintasovelluksen ja tiedonhakuportaalin muodostamassa triangelissa. Ilman tietoa hakutavoista on olemassa vaara, että järjestelmiä kehitetään käyttäjien kannalta epätarkoituksenmukaiseen suuntaan. Näyttöluettelon yksinkertaistaminen on helpommin sanottu kuin tehty; jos tietäisimme tarkkaan miten asiakkaat tekevät hakuja, voisimme kohdistaa mahdolliset leikkaukset niihin ominaisuuksiin joita ei joko käytetä tai sovelletaan tehottomasti.

Triangelin myötä syntyy myös suuri joukko uusia tietokantoja. Tiedonhaun helpottamisen kannalta tämä on melkoinen haaste. Valitettavasti kirjastojen tietojärjestelmät kehittyvät monimutkaisemmiksi; ohjelmistojen kehittäjien ja kirjastojen tehtävä on saada järjestelmien käyttö tästä huolimatta näyttämään asiakkaiden kannalta aiempaa helpommilta.

Seuraava taulukko havainnollistaa nykytilannetta ja esittelee näköpiirissä olevia uusia tietokantoja. Tietokantojen jaottelu perustuu omaan näkemykseeni eikä sitä pidä tulkita Helsingin yliopiston kirjaston viralliseksi kannaksi. Tietokantojen maksullisuuteen en ota kantaa; sitä pohtii opetusministeriön asettama Kansalliskirjasto 2005 –työryhmä.

Osa yllä listatuista tietokannoista on kaikille tuttuja, osaa ovat käyttäneet vasta harvat, ja muutamia ei ihan vielä ole olemassakaan. Triangelin myötä ne kaikki kuitenkin tulevat tarjolle osana kansalliskirjaston keskitettyjä palveluja; jotkin selkeästi omina itsenään, jotkut mahdollisesti piilotettuna sovellusten sisään vailla omaa tuotebrandia.

Triangelin kaikkia vaikutuksia ei vielä pystytä ennakoimaan, mutta se on varmaa, että kansallisten tietokantojen ja niiden ylläpitoon tarvittavien formaattien ja kuvailusääntöjen määrä kasvaa. Tarvitsemme myös standardeja joiden avulla järjestelmät kykenevät kommunikoimaan keskenään. Ilman tehokasta koordinointia triangeli hajoaa yhteismitattomiksi palasiksi ja päällekkäistyön riski kasvaa.

Tässä luvussa tarkastellaan lyhyesti mahdollisuuksia ja tarpeita joidenkin yllä mainittujen tietokantojen kehittämiseen. Yhdenkään rekisterin osalta ei ole saavutettu rutiiniylläpidon vaihetta; merkittävät avoimet kysymykset vaihtelevat Lindan tallentajakirjastojen määrän kasvattamisesta teostason tietueiden lisäämiseen Fennicaan.

Tietokantakohtaisten muutostarpeiden ohella on muutamia useita tietokantoja koskettavia asioita, jotka on syytä käsitellä ensin.

OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting) –standardin tuki. OAI-PMH:ta käytetään jo nyt laajalti yliopistojen raportteja ja opinnäytteitä koskevien bibliografisten tietojen siirtoon. Siksi tuon standardin tuki on tarpeen saada Voyager-järjestelmään. Mutta OAI-PMH:sta voi tulla väline myös kokoelmien ja palveluiden kuvailutietojen vaihtoon. Siksi myös MetaLib ja ENCompass on varustettava OAI-PMH:lla, ennemmin tai myöhemmin.

ZING (Z39.50 International Next Generation) –standardin implementointi. ZING on toistaiseksi käytettävissä vain tiedonhakuportaalissa. Se on saatava kaikkiin keskeisiin triangelisovelluksiin, jotta niiden tietokannat olisivat helpommin käyttävissä kirjastojen ulkopuolelta, siis esimerkiksi arkistojen, museoiden tai kustantajien järjestelmistä. ZING on Web-yhteensopiva ja sen vuoksi helpommin toteutettavissa kuin vanha sotaratsu Z39.50.

Käytettävyyden parantaminen. Voyagerin graafinen käyttöliittymä on vanhan VTLS-järjestelmän komentopohjaista liittymää helpommin opittavissa ja käytettävissä, mutta tietokantojemme käyttö ei ole vielä niin helppoa kuin sen pitäisi olla. Hakuelementtien suuri määrä – joka johtuu kuvailusääntöjen monimutkaisuudesta – tekee tietokannoistamme teoriassa erittäin tehokkaita tiedonhakujärjestelmiä, mutta tiedämme yhä liian vähän siitä, miten paljon kantojen edistyneitä hakuominaisuuksia todella käytetään.

Portaalin myötä asiat monimutkaistuvat entisestään, kun tarjolle tulee satoja ja myöhemmin jopa tuhansia tietokantoja. Jo sopivien hakukohteiden löytäminen edellyttää hakua, mutta kokoelmien, ei julkaisujen tiedoista. Kaksivaiheisen hakuprosessin tekeminen helpoksi on melkoinen haaste paitsi portaalien kehittäjille, myös kirjastoille.

Formaattituen parantaminen. Päätös siitä, siirrytäänkö ensin Voyager-tietokannoissa ja sitten mahdollisesti kansallisella tasolla MARC21-formaattiin, tehtäneen vuoden 2005 kuluessa. Mutta olipa MARC-formaatti mikä tahansa, järjestelmiemme on tuettava lukuisia muita formaatteja. Esimerkkejä näistä ovat:

Arto-tietokanta on kansainvälisestikin harvinainen esimerkki organisaatiorajat ylittävästä kirjastojen yhteistyöstä, jonka avulla on kyetty luomaan kotimaiset tieteelliset lehdet varsin hyvin kattava artikkeli-indeksi. Artoa on kyetty täydentämään myös takautuvasti; Turun yliopiston kirjaston kokoamasta painetusta artikkeli-indeksistä on tallennettu vuodet 1959-1962, ja Historiallisen bibliografian takautuva tallennus on alkamassa. Artosta löytyvät myös Urho Kekkosen, Kalevi Sorsan ja tulevaisuudessa toivottavasti muidenkin merkkihenkilöiden kaikkien julkaisujen tiedot.

Arto kasvaa huikeat 70.000 tietuetta vuodessa, mikä vaatii paljon luettelointiresursseja. Tietokannan aktiivinen käyttö kertoo artikkeli-indeksin merkityksestä ja luo kansalliskirjastolle paineita tietokannan katteen parantamiseen. Palvelun merkittävä laajentaminen nykyisestä edellyttää uusien kirjastojen mukaan tuloa ja/tai yhteistyötä BTJ-Kirjastopalvelun kanssa. Artossa ja Aleksissa on kymmeniä päällekkäisiä lehtiä, joiden tuplatallennuksesta olisi syytä päästä eroon. Tätä kirjoitettaessa neuvottelut BTJ:n kanssa eivät ole vielä johtaneet käytännön päätöksiin. Keskustelut Teknillisen korkeakoulun kirjaston kanssa tekniikan lehtien tallennusta koskevasta yhteistyöstä ovat olleet vasta alustavia.

Helsingin yliopiston kirjasto ylläpitää kahta yhteisluetteloa, yliopistokirjastojen ja keskeisten virastokirjastojen Lindaa ja maakuntakirjastojen Mandaa. Jälkimmäisen tietokannan kehittäminen on lopetettu, toisin sanoen siihen ei enää lisätä uusia tietueita vaikka Manda onkin edelleen käytettävissä.

Lindan poikkeaa muiden pohjoismaiden yhteisluetteloista (Libris, Bibsys, Danbib) siinä että se kattaa verraten pienen joukon kirjastoja. Lindan laajentaminen aidosti kansalliseksi yhteisluetteloksi on nykytekniikalla mahdollista, mutta vaatii merkittäviä poliittisia päätöksiä. Esimerkiksi ammattikorkeakoulujen on ratkaistava haluavatko ne ylipäätään fyysistä yhteisluetteloa, ja sitten päätettävä rakennetaanko oma yhteisluettelo vai pyritäänkö mukaan Lindaan. Kansalliskirjasto 2005 –työryhmässä erityisesti jälkimmäinen vaihtoehto on saanut kannatusta, koska sen kustannukset vaikuttavat edullisemmilta kuin muiden. Tarkkaa kustannusarviota ei kuitenkaan ole vielä tehty, ja jos ja kun se saadaan aikaan, työlle on vielä löydettävä maksaja.

Ammattikorkeakoulukirjastojen ohella Lindaan voidaan tulevaisuudessa suuremmitta ongelmitta (ainakin mitä tekniikkaan tulee) lisätä ne kirjastot, jotka tulevat mukaan erikoiskirjastojen yhteiseen Voyager-pohjaiseen ERKKI-tietokantaan, jonka suunnittelutyö aloitettaneen jo tämän vuoden kuluessa. Mutta niiden kirjastojen, jotka eivät käytä Voyageria, on ainakin toistaiseksi varauduttava lisätyöhön, jota uusien ja muutettujen tietueiden poiminta ja lähettäminen yhteisluettelotietokantaan päivitettäväksi sekä poistettujen tietueiden eliminointi myös yhteisluettelosta edellyttää. HYK:ssa on vastaavasti oltava valmiina eräpäivitysten aiheuttamaan varsin huomattavaan lisätyöhön. Tältä urakalta on valitettavasti mahdoton välttyä jos haluamme edetä nykyisen tekniikan turvin. Jatkossa tietueiden siirto voitaneen automatisoida esimerkiksi OAI-PMH:n avulla, mikä vähentää lisätyötä.

HYK on solminut syksyllä 2004 OCLC:n kanssa sopimuksen siitä, että Fennica-tietueet vuodesta 1800 eteenpäin tallennetaan WorldCat-tietokantaan. Myöhemmin tietueista generoidaan OCLC:n kehittämien FRBR-algoritmien avulla teostason tietueet. Ne ovat alkuvaiheessa käytettävissä vain WorldCatin kautta, mutta kunhan Voyageriin rakennetaan FRBR-tuki, WorldCatin suomalaiset teostietueet voidaan lisätä Fennicaan (tai vaihtoehtoisesti voimme luoda nuo tietueet paikallisesti OCLC:n ohjelmilla).

Teostietojen lisäämisen ohella toinen Fennicaan ja muihinkin bibliografisiin tietokantoihin vaikuttava edistysaskel on siirtyminen perinteisestä URL-pohjaisesta staattisesta viitteen ja elektronisen dokumentin linkityksestä dynaamiseen OpenURL-pohjaiseen linkitykseen. Jälkimmäisessä tapauksessahan resurssin sijaintitietoa ei tallenneta kirjastojärjestelmään, vaan Voyager (tai vaikkapa Pallas) kerää tietueesta julkaisun tunnistamiseen tarvittavat tietoelementit ja lähettää ne OpenURL-standardin määrittelemässä muodossa OpenURL-linkityspalveluun. Linkityspalvelu, meidän tapauksessamme ExLibriksen SFX, etsii omasta rekisteristään julkaisun tiedot sekä resurssin sijainnin, ja tarkistaa onko asiakkaalla oikeus käyttää ao. aineistoa. Jos on, URL lähetetään asiakkaalle tiedoksi.

Dynaaminen linkitys vähentää ylläpitotyötä, koska URL-tietoja ei tarvitse enää ylläpitää kaikissa bibliografisissa tietokannoissa, vaan SFX-rekisterin päivittäminen riittää. Toinen etu on se, ettei asiakas näe hyperlinkkiä silloin kun hänellä ei ole oikeutta julkaisun käyttämiseen.

Tehokas portaalisovellus, jonka kautta voidaan hakea tietoa sadoista ja ennen pitkää tuhansista Internet-tietokannoista, on haasteellinen rakennettava. Portaali edellyttää

Palvelujen – tässä siis esimerkiksi Z39.50-palvelimien – ja kokoelmien kuvailua on tehty jo vuosien ajan; esimerkiksi Voyagerista löytyvät kaikkien niiden tietokantojen tiedot, joihin WebVoyagella pääsee, ja kirjastojen kokoelmien kuvauksia voi löytää muun muassa niiden WWW-sivuilta. Valitettavasti mitään yleisesti hyväksyttyä formaattia ja kuvailusääntöjä ei näille metatiedoille ole ollut olemassa; tämän vuoksi jokainen kirjasto on joutunut tallentamaan kaiken itse. Muutama poikkeus säännöstä, kuten BookWhere-ohjelmiston yhteiskäyttöinen palvelukuvauksien tietokanta, eivät muuta sitä tosiasiaa että päällekkäistyötä on tehty paljon. Eikä saavutettuja tuloksia voi pitää tyydyttävinä; vaikka portaalit ovat osoittautuneet suosituiksi järjestelmiksi kaikkialla missä ne ovat ehättäneet tuotantoon saakka, niiden sisältämät metatiedot ovat sekä palvelujen että varsinkin kokoelmien kuvausten osalta puutteellisia.

Palvelu- ja kokoelmien kuvausten standardointi on käytännöllisin tapa parantaa nykytilannetta. Sitten kun portaalit voivat vaihtaa keskenään ja mahdollisesti myös kirjastojärjestelmien kanssa palvelujen ja kokoelmien tietoja, jokaisen asiakkaan pitäisi voida löytää näistä järjestelmistä itselleen sopivia kokoelmia ja/tai tietokantoja, Suomesta tai periaatteessa mistä tahansa muualta maailmasta. Tämä edellyttää tietenkin sitä, että kuvailutyö tehdään Suomessa ja muissa maissa sekä koti- että ulkomaisia asiakkaita ajatellen.

National Information Standards Organization’in (NISO) Metasearch Initiative kehittää portaalien edellyttämiä standardeja. Sen kolme työryhmää rakentavat paitsi metadataformaatteja kokoelmien ja palvelujen kuvauksille, myös portaalien tiedonhakustandardia (joka todennäköisesti tulee perustumaan Z39.50 International Next Generation –protokollaan) sekä autentikointistandardia; tältä osin Shibboleth on yksi vahvimmista tutkittavista vaihtoehdoista, mutta ei suinkaan ainoa.

Toistaiseksi on mahdotonta sanoa milloin portaalistandardit valmistuvat, mutta kokoelmien kuvailuformaatin ensimmäinen luonnos pyritään lähettämään kuusi kuukautta kestävälle kommenttikierrokselle vuodenvaihteessa 2004/2005. Formaattiehdotus tulee perustumaan Dublin Core Collection Description Application Profile –määritykseen, mutta sisältänee joitakin lisäkenttiä. Todennäköisin lisäys on Completeness-kenttä, johon voidaan tallentaa tieto kokoelman kattavuudesta. Vastaavasti palvelukuvausten metadataformaatin pohjaksi on valittu Z39.50-standardin Explain-palvelun pohjalle rakentuva, mutta sitä oleellisesti helpommin toteutettavissa oleva ZeeRex-spesifikaatio.

Käytännössä kaikki merkittävät portaalisovelluksia kehittävät yritykset osallistuvat NISO MI:n toimintaan; koko hankkeen toinen vetäjä on Ex Libriksestä ja yhden työryhmän vastuuhenkilö Endeavorilta. Voimme siis luottaa siihen, että kun määritykset on saatu valmiiksi, ne myös implementoidaan. Suomessa tavoitteena on rakentaa palvelukuvausten tietokanta portaaliin ja kokoelmien kuvaukset ainakin alkuvaiheessa ENCompassiin, koska ohjelma sallii kokoelmien kuvausten tallennuksen asianmukaisessa Dublin Core –muodossa (mihin MetaLib ei vielä pysty).

NISO MI:n Collection Description –työryhmän vetäjänä pystyn seuraamaan aitiopaikalta portaalien metadataformaattien kehitystä, ja toivon mukaan myös vaikuttamaan siihen, että nämä standardit soveltuvat suomalaisten ja yleensä eurooppalaisten kirjastojen käyttöön.

Kansalliskirjaston vastuut tulevat kasvamaan sekä hallinnollisten päätösten että tekniikan kehityksen myötä. Toimialan laajennus ja triangelin rakentaminen ovat merkittäviä muutosprosesseja, joissa olisi yksinäänkin ollut koordinoimista. Muutosten samanaikaisuus lisää suunnittelutyön vaikeutta, koska triangelin käytännön seuraukset – jotka ovat osittain vaikeasti ennakoitavissa – pitää ottaa huomioon toimialan laajennusta suunniteltaessa. Vastaavasti triangeli on koottava niin, että olipa toimialamme mikä tahansa, sovellukset ja niiden tekninen infrastruktuuri selviävät kasvavan käyttäjäkunnan vaatimuksista.

Poliittisen ja teknologisen muutosprosessin samanaikaisuus tekee kansalliskirjaston tietoteknisten palveluiden skenaarion laatimisen juuri tällä erää erityisen haasteelliseksi. Googlen, Amazonin ja muiden kilpailijoiden puristuksessa meillä ei ole varaa ajautua virran mukana, vaan palveluja on suunniteltava kokonaisvaltaisesti ja pitkäjänteisesti. Suomen kirjastoverkon nykyinen tila antaa tähän hyvät mahdollisuudet verrattuna muihin Länsi-Euroopan maihin, joista monissa laaja konsortiopohjainen yhteistyö on vasta käynnistymässä.

Juha Hakala, kehittämisjohtaja
Helsingin yliopiston kirjasto
PL 26, 00014 Helsingin yliopisto
Email: juha.hakala(at)helsinki.fi