Ivan Oransky ei ilusta oma vastust, kui temalt küsitakse akadeemilise eksperdihinnangu olukorra kohta: „Asjad on üsna kehvad.“
New Yorgi ülikooli tunnustatud ajakirjanikuna ja Retraction Watch'i (veebileht, mis kajastab akadeemilistest ajakirjadest tagasi võetud artiklite arvu kasvu) kaasasutajana on Oransky heal positsioonil, et anda selline otsekohene hinnang.
Ta täpsustab oma seisukohti, tuues välja mitmeid tegureid, mis aitavad kaasa praegusele olukorrale. Nende hulka kuuluvad „avalda või hukku“ -mentaliteet, juturobotide vaimukirjutamine, röövkirjad, plagiaat, tööde ülekoormus, retsensentide vähesus ning nõrgad stiimulid retsensentide ligimeelitamiseks ja hoidmiseks.
Vastastikuse eksperdihinnangu kriis
„Asjad on üsna halvasti ja on olnud halvasti juba mõnda aega, sest stiimulid on täiesti valesti paigas,“ ütles Oransky FirstPrinciples'ile oma NYU büroost helistades.
2023. aastal püstitati uus murettekitav rekord: akadeemilistest ajakirjadest võeti tagasi üle 10 000 teadustöö. Lisaks suleti 19 ajakirja pärast seda, kui neid oli üle ujutatud võltsitud teadusuuringutega „paberivabrikutest“, mis toodavad välja klikibaitide teaduslikku ekvivalenti. Üks teadlane on praegu rekordiliselt 213 tagasivõtmist teinud.
„Numbrid ei valeta: teaduslikul kirjastamisel on probleem ja see muutub üha hullemaks,“ kirjutasid Oransky ja Retraction Watchi kaasasutaja Adam Marcus hiljuti Washington Posti arvamusartiklis. „Valve pettuse või vigase teadustöö vastu on alati olnud vajalik, kuid viimastel aastatel on kahtlase materjali hulk ähvardanud kirjastajad üle jõu käia.“
Peer Review: Ideaal vs. tegelikkus
Parimal juhul tagab vastastikune eksperdihinnang, et teaduslikke ideid kontrollivad ja vaidlustavad valdkonna kõige põhjalikumad eksperdid; halvimal juhul on see kriitikute sõnul katkine süsteem, mis vajab oma ausat läbivaatamist.
Inside Higher Ed tutvustas 2022. aasta artiklis vastastikuse eksperdihinnangu ohte, nimetades kriisi „hullemaks kui kunagi varem“ ja uurides ekspertide pakutud võimalikke lahendusi. Need ettepanekud hõlmasid retsensendi aja ja ekspertiisi eest tasustamist, vastastikuse eksperdihinnangu andmise kohustuse muutmist töövõtu eelduseks, „revideeri ja esita uuesti“ protsessi lihtsustamist ning kohustust, et tööde esitajad vaataksid ka teiste autorite tööd üle.
„Teoreetiliselt toimib vastastikuse eksperdihinnangu andmise protsess,“ kirjutab JT Torres Quinnipiaci ülikoolist The Conversationi jaoks kirjutatud essees. „Küsimus on selles, kas vastastikuse ekspertiisi tegijad saavad vajalikku toetust, et retsenseerimist tõhusalt läbi viia.“
Pakkumise ja nõudluse probleem
Oransky toob välja põhilise pakkumise ja nõudluse probleemi: liiga palju töid ja liiga vähe soovijaid ja võimekaid retsensente.
„Mastaap on võimatu,“ ütleb ta. „Tehkem matemaatikat: 3 miljonit eksperdihinnanguga tööd, mis avaldatakse igal aastal, korrutame need kahe-kolme retsensendiga, korrutame neli-kuus tundi ühe retsensendi kohta... see matemaatika ei toimi. Ometi püsib meil see unenäoline fantaasia, et eksperdihinnangud tagavad kuidagi kvaliteedi.“
Vastastikuse eksperdihinnangu süsteemi nõrkust tõi esile 2013. aasta „Who's Afraid of Peer Review“, milles teadusajakirjanik John Bohannon lõi „teadusliku versiooni Mad Libsist“ - mõttetu artikli, mille võttis vastu 157 avatud juurdepääsuga tasulistest 255 ajakirjast (60 protsendi vastuvõtu määr).
Tehisintellekti abil genereeritud paberite tõus
Retraction Watch jälgib ka uut murettekitavat suundumust: vähemalt osaliselt tehisintellekti abil (nt ChatGPT) koostatud ja läbi vaadatud dokumentide arvu suurenemist, kusjuures paljud avaldatud dokumendid sisaldavad kogemata tehisintellekti poolt genereeritud fraase nagu „regenerate response“, mida autorid ja retsensendid ei ole kopeeritud ja kleebitud tehisintellekti tekstist kustutanud.
Probleemi põhjus: Edetabelid
Oransky sõnul on need suundumused vaid sümptomid sügavamast haigusest, mis vaevab eksperdihinnanguid, ja see toitub pingereast.
„Kõik tahavad olla esikohal. See kehtib nii ajakirjade, ülikoolide, teadlaste kui ka valitsuste kohta. Selleks, et olla kõrgemal kohal, on tegelikult vaja tsitaate. Selleks, et sind tsiteeritaks, tuleb sind avaldada.“
„Avalda või hukku“ ei ole enam ainult noorte akadeemikute mantra, kes otsivad ametikohta, vaid see on muutunud üha enam konkurentsitihedaks ja kasumile orienteeritud tööstusharuks.
„Tsitaatidega mängitakse üha kavalamalt,“ kirjutab Oransky koos kaasautoritega meditsiiniajakirjas The BMJ. „Autorid ja toimetajad loovad tsiteerimisrõngad ja kartellid. Ettevõtted haaravad aegunud domeenid, et kaaperdada indekseeritud ajakirjad ja võtta nende nimed, petta pahaaimamatuid teadlasi. Või kasutavad mängust teadurid, kes on sellest mängust teadlikud, seda haavatavust, et avaldada oma tööd tsiteerivaid artikleid.“
On olemas isegi tsitaatide „maaklerfirmad“, mille kaudu saavad ostjad maksta endale teadustöö autorite nimekirja, isegi kui neil ei ole uurimistööga midagi pistmist.
Lahendused ja tulevased suundumused
Hoolimata neist hukkamõistvatest paljastustest usub Oransky endiselt vastastikuse eksperdihinnangu andmise protsessi ja näeb ette võimalusi selle parandamiseks. Need hõlmavad reguleerivate asutuste „suuremaid hambaid“, et ennetada ja karistada kuritarvitusi, kaotada „pay-to-publish“ mudel, julgustada ajakirju avaldama eksperdihinnanguid, et suurendada läbipaistvust, ning siduda akadeemilised edetabelid lahti tsiteerimiste arvust.
Kogu vastastikuse eksperdihinnangu andmise protsess vajab sama erapooletut kontrolli ja konstruktiivset kriitikat, mida ta püüab pakkuda.
„Teadus on endiselt parim viis teadmiste arendamiseks ja kasvatamiseks ning tõele lähemale jõudmiseks,“ lõpetab Oransky. „Teaduslik meetod on endiselt üks inimkonna suurimaid leiutisi. Kuid me peame meeles pidama, et ka teadlased on inimesed. Nimetagem seda selleks, mis see on: väga poorseks, kuid kasulikuks filtriks.“
Lisateave: https://www.firstprinciples.com/article/is-peer-review-failing-its-peer-review
