Eesti Looduse fotov�istlus
2012/9



   Eesti Looduse
   viktoriin




   AIANDUS.EE

Eesti Loodus
Teaduspoliitika EL 2012/9
Kuidas mõõta teaduse tõhusust?

Igal aastal on Eesti teadusfond (nüüdseks muudetud Eesti teadusagentuuriks) eraldanud teadusele üle 8,3 miljoni euro. Sellega rahastati aastas üle 650 uuringuprojekti, toetati üle 2000 elukutselise teadlase, veelgi rohkem doktorante ja järeldoktorante [4]. Praegu, majanduskriisi ajal, on ehk iseäranis tähtis küsida: kuidas mõõdetakse selle investeeringu tasuvust?

Erasektor hoidub tavaliselt investeerimast teadusesse, sest oodatav tulu pole piisavalt kiire või otsene. Samas, niipea kui investorid aimavad mingist teaduslikust ettevõtmisest mõistlikku tulu, hõivatakse see kiiresti eraomandusse. Viimasel ajal on säärast teed läinud näiteks mitmesugused geeni-, meditsiini- ja ravimiuuringud, hea näide on kas või Google. Google sai alguse tavalisest riiklikult rahastatud doktoriprojektist. Küllalt kiiresti taipasid töö autor Larry Page ja tema kolleeg Sergei Brin, et projektist võib loota üüratut kasumit, ja asutasid erafirma.
Paraku pole valdava osa teadusuuringute tasuvus kaugeltki nii ilmne, otsene ega kiire. Erasektor ei mataks ealeski raha projekti, mis võib, aga ei pruugi anda käegakatsutavat tulu, ja kui annabki, siis alles viie, kümne või kahekümne aasta pärast. Ajal, mil Page ja Brin arendasid Google’it, nokitses hulk inimesi üle kogu maailma samalaadsete doktoriprojektide kallal, arendades otsingumootoreid või muid veebiteenuseid. Paljud, tõenäoliselt enamik neid projekte on siiani päädinud vaid mõne teadusartikliga.

Riikide eluiga on tavaliselt pikem ja taskud sügavamad kui erafirmadel. William Bruce Cameron [2] (mitte Einstein!) on kirjutanud: „Mitte kõike, mis loeb, ei saa loendada, ja mitte kõik loendatav ei loe”. Hoolimata vastupidistest väidetest on erafirmade eesmärk teenida raha, ja selles pole midagi halba. Riigiasutused peavad aga silmas pidama ka mitteainelisi ja rahas mõõdetamatuid väärtusi: rahva elukvaliteet, pikaajaline kasu, rahvusvaheline maine, riigi julgeolek jms.

Kui rahaline kasum teaduse mõõdulatiks ei passi, mis siis ikkagi? Heast mõõdupuust ei peaks olema huvitatud mitte ainult valitsused, vaid ka teadlased ise. Nende töökohad, ametialane maine, uurimistoetused – kõik oleneb või vähemalt peaks olenema sellest, kui oluline, sisukas ja mõjukas on nende tehtav teadus.
Teadustöö mõju mõõtmiseks on loodud palju meetodeid, aga enamik põhineb sellel, et loendatakse, kui tihti on kõnealusele teadustööle viidatud. „Viitamise” all peetakse silmas seda, kui kõnealust teadusartiklit mainib mõni edaspidine teadusartikkel.
1676. aastal kirjutas Isaac Newton kirjas Robert Hooke’ile oma kuulsa lause: „Kui olen näinud [eelkäijatest] kaugemale, siis tänu sellele, et seisin hiiglaste õlgadel”. Ühelt kõigi aegade suurimalt teadlaselt on see üllatavalt tagasihoidlik, aga täiesti aus ülestunnistus. Rõhutamaks nendesamade eelkäijate töö tähtsust hilisemate avastuste lähtealusena.

Viiteloendused olid toona veel kauge tulevik. Esimesed teadusajakirjad, Journal des Sçavans ja The Philosophical Transactions of the Royal Society, olid loodud alles tosin aastat varem: 1665. aastal. Enne seda olid teadustulemused levinud vaid teadlaste erakirjades, pikituna eravisiitide, avalike koosolekute, loengute ja mahukate raamatutega.

Ometi peegeldab Newtoni tundepuhang üsna täpselt seda, mida viiteloendus mõõdab: avaldatud uurimuste mõju edasisele teadusele. Ning sedagi, miks teadusuuringute väärtust ühiskonnale hinnatakse just viiteloenduse põhjal.
Teadusajakirjade loomine andis võimaluse avalikult jälgida teaduse arengut. Ka iga üksiku teadlase panust sai nüüd märksa hõlpsamalt hinnata. Kes ikkagi pakkus mingi idee esimesena välja? Kes tegi põhjapaneva katse? Hea teadusuuring võib vastata küll mõnele küsimusele, aga mis veel olulisem – tõstatab küsimusi, mis varem ei olnud nii ilmsed või mida ei osatud ettegi kujutada. Tänu ajakirjadele ja viitamisele sai jälgida ka uute teadussuundade ja uurimisalade kujunemist: kes ikkagi olid põhialgatajad, kes inspireerisid teisi enda avastusi sügavuti edasi uurima?
Näiteks leiame viidete järgi hõlpsasti, et Gregor Mendel esitas pärilikkuse teoreetilise mudeli 1865. aastal [7], Thomas Morgan tõestas, et geene kantakse kromosoomides, 1911. aastal [8], ning Watson ja Crick avaldasid sellesama geneetilise materjali struktuuri 1953. aastal [9]. Nende läbimurdeuuringute tähtsus ja mõjukus on väljaspool kahtlust. Jälgides viiteid neile teadusartiklitele, näeme isegi artiklite endi täpset sõnumit mõistmata, kuidas igaüks neist pani idanema hulga uusi uuringuid ja uurimisvaldkondi.

Enne digitaalajastut oli laiahaardelisi viiteloendusi paraku väga raske korraldada.
Isegi üheainsa teadlase tööde viidatuse kokkurehkendamine võttis palju aega ja kippus olema ebatäpne.
Sestap hinnati teadusartiklite väärtust hoopis selle järgi, kui „kvaliteetses” ajakirjas oli artikkel ilmunud. Kuidas aga mõõta ajakirja kvaliteeti? Seda on tavaks hinnata ajakirja mõjuteguri (ingl. impact factor) järgi.
Esimesed ajakirja mõjutegurid töötati välja ja võeti kasutusele 1927. aastal. Mõjutegur näitab, kui tihti kõnealuses ajakirjas ilmunud artiklitele keskeltläbi viidatakse: mida sagedamini viidatakse, seda suurem on mõjutegur. Leiutatud on mitmesuguseid mõjuteguri variante, pisut erisuguse arvutuskäiguga, aga põhimõte on kõigil sama.
Kummaline küll, kuid mõjutegureid ei arendatud välja sugugi mitte teadlaste tarbeks, et nad leiaksid lihtsama vaevaga parimad ajakirjad. Pigem hoopis raamatukogude tarbeks, et nood saaksid oma piiratud rahavaru kasutada parimal võimalikul moel: tellides vaid kõige olulisemaid, s.t. suurima mõjuteguriga ajakirju [1].

Tagajärjeks oli aga nõiaring. Raamatukogud hankisid vaid suure mõjuteguriga ajakirju. Teadlased said lugeda eelkõige neid ajakirju, mida raamatukogud hankisid. Seetõttu viitasid nad just nendele ajakirjadele sagedamini ning puhusid nende mõjutegureid üha rohkem üles.
Samas tahtis iga teadlane, et tema uurimistöö tulemused jõuaksid võimalikult laia lugejaskonnani. Seetõttu joosti oma tulemuste avaldamisel tormi just suurima mõjuteguriga ajakirjadele – nood noppisid loomulikult välja vaid parimad palad ning jätsid ülejäänu kehvemal järjel ajakirjadele. Kõik see kujundas klassikalise positiivse tagasisideahela: mida suurem oli mingi ajakirja mõjutegur, seda kiiremini see suurenes.

Ajakirjade mõjutegurite kaudu hinnati ka teadlaste kvaliteeti. Kes avaldas artikli suure mõjuteguriga ajakirjas, pidi järelikult olema hea teadlane.
Kõik teadsid, et mõjuteguritel kui teaduse mõõdikutel on nii põhimõttelisi kui ka tehnilisi puudusi [5]. Ent parema puudumisel järgiti neid ometi. Mõnel pool, näiteks Indias, Pakistanis, Lõuna-Koreas ja Hiinas, tasustatakse teadlasi heldelt suurima mõjuteguriga ajakirjades avaldamise eest. Mujal, Euroopas ja Põhja-Ameerikas, ei anta otseselt küll raha, aga suure mõjuteguriga ajakirjades publitseerimine tuleb kindlasti kasuks teadlase karjäärile, ametialasele mainele ja võimaldab suuremaid uurimistoetusi.
Samas avaldavad väga vähesed teadlased „eliitajakirjades”, mille mõjutegurid on kahekohalised (s.t. mille igale artiklile viitab keskmiselt üle kümne uue teadusartikli – toim.) Meie ülejäänute jaoks ei ole mõjuteguritel tegelikult kuigi suurt tähtsust. Mõjutegurid võivad nimelt aastati suurel määral varieeruda. Kui postitad oma artikli ajakirjale, mille mõjutegur on neli, võib juhtuda, et aasta pärast, artikli avaldamise ajaks, on mõjutegur vähenenud kahe või ühe peale.

Seetõttu püüab enamik teadlasi panustada pigem oma teadusartiklite arvusse. Tänapäevani on loengupidajaid tutvustades kombeks kasutada väljendit stiilis: „avaldanud üle 50 teadusartikli”. See ütleb midagi kvantiteedi, aga mitte kuigi palju kvaliteedi kohta. Meie loengupidaja võib kõigis oma 51 artiklis olla vaid üks paljudest kaasautoritest, ja võib-olla pole neid artikleid mitte keegi (peale retsensentide) kunagi isegi lugenud, ammugi neile viidanud!

Ometi pole digitaalajastul vähimatki põhjust mõõta teaduse või teadlase kvaliteeti ei artiklite arvu ega ajakirjade mõjuteguritega. Esiteks on nüüd seos ajakirja mõjuteguri ja selles avaldatud üksikartikli viidatuse vahel jäänud aasta-aastalt aina nõrgemaks: üha rohkem loevad teadlased üksikartikleid veebist, selle asemel et sirvida korraga läbi kogu ajakirjanumber [5].
Teiseks on tänapäeval lihtne välja selgitada ükskõik millisele üksikartiklile viidanud tööde hulka, hoolimata ajakirjast, kus see artikkel on avaldatud. Samavõrra lihtne on teada saada terve asutuse, osakonna, uurimisrühma või üksikuurija viidatust. Veelgi enam, lihtne on mõõta ka neist igaühe viidatust aastati või koguni võrrelda huvipakkuvate uurimisrühmade või artiklikogumike viidatust omavahel.

Tänu uutele hõlpsatele analüüsivõimalustele peaks saama teadustööd rahastada senisest märksa tõhusamalt: toetades teadlasi nende töö tegeliku mõju järgi. Mitte selle järgi, kui heades ajakirjades või kui palju nad on avaldanud, vaid otsemaid selle järgi, kui paljud uued uurimused nende töödest lähtuvad.
Peale selle, et viiteid on nüüd lihtne loendada, on internetiajastu lükanud ukse irvakile ka sootuks uutele teaduse mõju mõõtmise võimalustele. Näiteks saab praegusajal hõlpsasti jälgida, kui sageli loetakse üht või teist teadusartiklit veebis või mitu korda seda on alla laaditud. Pakutud on hulk muidki pealtnäha väärtuslikke meetodeid, aga senini pole veel head moodust, kuidas neid võrrelda ja ühitada traditsioonilise viiteloendusega. Sestap pole teadlaskond sääraseid meetodeid veel laialt omaks võtnud, ehkki selle üle on juba mõnda aega aru peetud.

Vaid mündi üks pool. Siiani olen käsitlenud seda, kuidas mõõta teaduse mõju. Kuid see on vaid pool valemist, millega mõõta teadusinvesteeringute tõhusust. Teine pool on investeeritud raha hulk.
1905. aastal kirjutas Einstein oma doktoritöö ja avaldas uuringu, mis tegi teaduses revolutsiooni. Samal ajal töötas ta täiskohaga patendiametnikuna. Teadusuuringuid tegi ta kodus ilma igasuguse uurimistoetuse või palgata.
Kuigi Einsteini saavutusele ei leidu võrdset, pole väärtusliku teaduse sünd samalaadses olukorras sugugi nii haruldane, kui võiks arvata. Teisalt on aga lihtne leida heldelt palgatud täiskohaga teadlasi, kelle käsutuses on tehnikute ja doktorantide armee ning võimsad laboratooriumid, kus tehtud kulukate uuringute mõju on lausa šokeerivalt väike.
Üllataval kombel ei taga suurem raha alati mõjukamat teadust, isegi mitte rohkem teadusartikleid. Ometi, kui riigi eesmärk on saada oma – või õigemini meie – raha eest suurimat võimalikku väärtust, peaks igale projektile kulutatud raha hulk olema võrdeline selle mõjukusega.

Teadusraha jagavad asutused nõuavad enamasti, et teadlane selgitaks oma rahataotluses, milline on tema töö laiem mõju teadusele ja ühiskonnale tervikuna. Kavatsus on hea, ometi on säärane nõue eksiteel, sinisilmne ja tarbetu.
See on eksiteel, sest kui kasu oleks tõepoolest otsene ja ilmne, oleks erasektor juba innukalt ligi hüpanud ja kõnealust uuringut toetama asunud. Poleks mingit vajadust taotleda uurimistoetust riigilt.
See on sinisilmne, sest teadusuuringute kasu ette aimata on põhimõtteliselt võimatu. Teaduse eesmärk on selgitada tundmatut. Nii ei tea teadlane põhimõtteliselt, mida ta leiab. Kui teaks, siis poleks see uuring enam teadus. Ta uuriks siis midagi muud! Isegi siis, kui uuring on juba valmis ja artikliks vormistatud, ei leia me sellest tihtipeale vastust kõige tähtsamale küsimusele: „Noh, ja mis siis sellest?”. Teadlasel on raske spekuleerida isegi seeüle, kuidas tema uurimus mõjutab ta enda uurimisvaldkonda. Kui nõuame, et teadlased spekuleeriksid teemal, kuidas nende uurimused mõjutavad kogu ühiskonda, siis soodustame eelkõige häid jutuvestjaid, mitte väärtuslikumat teadust.
Ja kolmandaks on säärane tuleviku manamine tarbetu, sest on küllaltki lihtne hinnata iga teadlase varasema töö ja uurimistoetuste mõju. Jagades tehtud töö mõjukuse kulutatud raha hulgaga, ongi meil käes lihtne ja paslik teaduse mõõdik: mõju dollari kohta [6].

Mõju dollari kohta. Võib eeldada, et need teadlased, kes on teinud mõjukaid uuringuid lähiminevikus, suure tõenäosusega jätkavad samal tasemel ja väärivad ka edaspidi toetust. Just need, kelle töö tõhusus, mõju dollari kohta on suurim, pakuvad riigile enim väärtust neile loovutatud raha eest.
Tõsi, mõned teadusalad on tähtsamad ja/või kulukamad kui teised, aga see ei takista meil mõõta mõju dollari kohta, jagades raha iga teadusala sees. Tegelikult täpselt seda rahastusagentuurid püüavadki teha, kuid paljud neist on veel takerdunud vanadesse kommetesse ning jätavad kasutamata andmed, mida digiajastu neile lausa kandikul pakub.
Hiljuti loodud Eesti teadusagentuuri veebilehelt [3] loeme, et selle peaeesmärgid on rahastada teadust ja analüüsida teaduse rahastamise tulemuslikkust. Praegu, ülemaailmse majanduskriisi ajal, on paras aeg võtta kasutusele uued meetodid, mis vastaksid täpsemalt seda laadi mandaadile: hakata teadlastele ja projektidele toetusi jagama, võttes aluseks nende ülesnäidatud – ja seega ka oodatud – mõjukuse rahaühiku kohta.

1. Archambault, Éric; Larivière, Vincen. 2009. History of the journal impact factor: contingencies and consequences. – Scientometrics 79 (3): 635–649.
2. Cameron, William B. 1963. Informal Sociology: a Casual Introduction to Sociological Thinking. Random House Studies in Sociology. New York: Random House.
3. Eesti Teadusagentuur. www.etag.ee.
4. Eesti Teadusfond. About us. www.etf.ee/index.php?page=74&.
5. Lozano, George A.; Larivière, Vincent; Gingras, Yves 2012. The weakening relationship between the impact factor and papers’ citation rates in the digital age. – Journal of the American Society for Information Science and Technology. (In press.)
6. Lozano, George A. 2010. A new criterion for allocating research funds: „impact per dollar”. – Current Science 99 (9): 1187–1188.
7. Mendel, Gregor J. 1866. Versuche über Pflanzenhybriden Verhandlungen des naturforschenden Vereines in Brünn, Bd. IV für das Jahr 1865. Abhandlungen: 3–47.
8. Morgan, Thomas H. 1911. Random segregation versus coupling in Mendelian inheritance. – Science 34: 384.
9. Watson, James D.; Crick, Francis H. C. 1953. A structure for Deoxyribose Nucleic Acid. – Nature 171 (4356): 737–738.

George A. Lozano, Ph.D., on Kanada evolutsiooniline ökoloog, kes elab Eestis. Huvitub peamiselt soolisest valikust ja lõimetishooldest. Viimase aja uurimisteemad on sooliste signaalide mitmekesisuse evolutsioon ja alalhoid, immuunsuse ja paarumisstrateegiate seosed, sooliselt valitud anoreksia, evolutsiooniline meditsiin, teaduspoliitika ja bibliomeetria; (www.georgealozano.com).




George A. Lozano / Tõlkinud Juhan Javoiš
28/11/2012
26/11/2012
05/10/2012
09/07/2012
26/06/2012
26/06/2012
22/05/2012