Kui Sevilla ülikooli teadur Maria Ángeles Oviedo-García hakkas uurima eksperdihinnanguid, mida mõned ajakirjad avaldavad koos oma töödega, nägi ta üllatusega, et pidevalt ilmuvad samad ebamäärased ja üldised fraasid.
„Abstraktis peaks autor lisama rohkem teaduslikke tulemusi.“ „Arutlege töö uudsust ja selget rakendust nii kokkuvõttes kui ka sissejuhatuses.“
Lõpuks tuvastas ta 263 kahtlast arvustust, mis olid koostatud 37 ajakirjale mitmes valdkonnas ajavahemikul 2021. aastast kuni tänavuse aastani. Üks retsensent kasutas dubleeritud fraase 56 arvustuses, teatas ta eelmisel kuul ajakirjas Scientometrics.
See on ebatavaliselt üksikasjalik analüüs vähe märgatud skeemi kohta, mis võib võimaldada mõnel teadlasel teenimatut kasu saada katlakirjade või lausa manipuleerivate arvustuste eest. See võib ohustada ka teaduskirjanduse terviklikkust. „Tõenäoliselt rajavad mõned teised teadlased oma tulevased teadusuuringud nendele võltsretsenseeritud töödele ja see on hirmutav,“ eriti tervise ja meditsiini kohta, ütleb Oviedo-García, kes uurib peamiselt turundust ja turismi.
Oviedo-García ja teised teadusuuringute terviklikkuse eksperdid kahtlustavad, et retsensendid töötasid malli järgi, et kiiresti aruandeid koostada. Seejärel võisid nad oma CV-s töö eest tunnustust saada, et saada kasu ametialastes hinnangutes. Mõnel võib olla täiendav omakasu: Mitmed retsensendid palusid autoril lisada viited omaenda töödele ja mõned autorid täitsid neid.
Oviedo-García analüüsitud arvustused ilmusid peaaegu eranditult MDPI ajakirjades, mis avaldab arvustusi koos paljude oma töödega, kui autor on sellega nõus. (Arvustajad nimetatakse, kui nad on nõus.) Šveitsis asuv eraomanduses olev ettevõte avaldab kõik oma artiklid avatud juurdepääsuga, võttes autoritelt tasu ja lubades kiiret avaldamist. Nagu teisedki avatud juurdepääsuga kirjastajad, pakub MDPI retsensentidele krediiti tulevaste kirjastamistasude eest, mis Oviedo-García sõnul loob täiendava stiimuli arvukate retsensioonide võimalikult kiireks kirjutamiseks.
MDPI on alustanud uurimist, teatas ta oma avalduses, alustades 84 paberist, mida Oviedo-García märkis esimest korda jaanuaris blogipostituses. Seni on leitud, et 32 tööd vajavad avaldamisjärgset uuesti läbivaatamist ja 37 vastavad kvaliteedistandarditele. MDPI teatas ka, et võttis ühendust 10 retsensendiga, kes hindasid artikleid, ja nende institutsioonidega, et „edastada meie mured otse“. ... Igasugust tulevast koostööd nende retsensoritega jälgitakse tähelepanelikult.“
56 arvustuse autor ei nõustu, et neil puudub sisu. „Kõik ettepanekud, mida ma teen, on tehtud veendumusega, et need on autorite teadustöö jaoks asjakohased ja väärtuslikud,“ ütles mehaanikainsener Moustafa Mahmoud Yousry Zaghloul Queenslandi ülikoolist Science'ile saadetud e-kirjas. Ta ütleb, et MDPI palus tal järgida struktureeritud formaati, et ülevaated oleksid järjepidevamad ja selgemad; selle tulemusena „on võimalik, et mõnedes ülevaadetes võivad esineda teatud standardlaused või kommentaarid,“ ütleb ta. „See ei tähenda siiski, et ülevaadetes ei oleks tehtud piisavalt jõupingutusi või et need ei oleks olnud piisavalt hoolikad.“ MDPI ei ole tema poolt läbi vaadatud artikleid tagasi võtnud. (Oviedo-García ütleb, et ta ei ole tema või enamiku teiste ülevaadetes käsitletud teemade ekspert).
Teised teadusliku terviklikkuse luurajad on varem märkinud võimalikke kompromiteeritud arvustusi. Andmeteadlase Adam Day 2022. aasta uuringu kohaselt sisaldas umbes 1% Sage Publishingi 67 000 paberist dubleeritud lõike. (Ta viis uuringu läbi Sage'i töötajana, kuid nüüd juhib Clear Skies'i, mis arendab tarkvara teaduslikes käsikirjades esinevate pettuste avastamiseks.) Day kasutas ka dubleeritud teksti kui signaali võimalikest võltsitud eksperdihinnangutest, kuid ütleb, et palju rohkem jääb tõenäoliselt avastamata.
Eraldi uuringus MDPI paberite kohta, mis avaldati sel aastal HALi arhiivis, leiti, et nende levimus on 0,1%. See ei ole rahustav, ütleb kaasautor Guillaume Cabanac, Paul Sabatier' ülikooli infoteadlane. „Teaduses ootame 0%, nagu transpordisüsteemi puhul. Kui iga päev kukub üks lennuk alla, kas see on okei?“
Mudelipõhised retsensioonid lisanduvad muudele kuritarvitustele, sealhulgas juhtumitele, kus esitatud käsikirjade autorid soovitavad fiktiivseid retsensente, kelle e-posti aadressid on autorite kontrolli all, võimaldades neil oma tööd retsenseerida. Ivan Oransky, Retraction Watch'i teadusliku terviklikkuse blogi kaasasutaja, ütleb, et see probleem, mida esmakordselt märgiti rohkem kui kümme aastat tagasi, näib olevat vähenemas. Tehisintellekti tarkvara poolt kirjutatud arvustused on uuem probleem, kuigi nende sagedust on raske mõõta. Retraction Watchi andmebaasi Science'i ülevaate kohaselt on kompromiteeritud eksperdihinnangute tõttu tehtud tagasivõtmised suurenenud, ulatudes 2021. aastal 2620-ni, võrreldes 898-ga aasta varem.
MDPI ütleb, et alates 2022. aastast on ta suurendanud meetmeid võltsitud eksperdihinnangute tuvastamiseks. Nende hulka kuulub tarkvara, mis võib märgistada eksperdihinnangute koostajate kasutatud malle ja juhtumeid, mil nad soovitavad omaenda tööd tsiteerida. 2023. aastal lükkas ta tagasi rohkem kui 30 000 retsensiooni „ebapiisava kvaliteedi ja/või MDPI retsensentide suunistele vastavuse tõttu“, seisab ettevõtte avalduses.
Muret võimalike võltsitud eksperdihinnangute pärast tuleks tõsiselt võtta, ütleb Londoni Imperial College'i sotsiaalantropoloog Kirsten Bell, kuid seda tuleb vaadelda ka perspektiivist lähtuvalt. Paljud autorid on kurtnud, et õiguspäraseks peetud retsensioonid on pealiskaudsed ja ebatäpsed; mõned kahtlevad, kas retsensent üldse luges käsikirja. „Kuidas erineb võltsitud eksperdihinnang kehvast?“ “Kuidas erineb võltsitud eksperdihinnang halvast?“ küsisid Bell ja kolleegid 2022. aastal ajakirjas Science, Technology & Human Values ilmunud artiklis. „Nendes aruteludes kompromiteeritud eksperdihinnangute üle on peaaegu et [tavapärase] eksperdihinnangu fetišeerimine,“ lisab ta, “mis unustab, et lõppkokkuvõttes on see põhimõtteliselt vigane.“
Bell väidab, et kompromiteeritud eksperdihinnangute lihtne lahendus ei ole ilmne ega lihtne. Neid on raske automatiseerida ja isegi mõnedel asjatundjatel on raske neid tuvastada. Ta seab kahtluse alla, kas nende eelistamine teistele väärkäitumistele vastastikuse eksperdihinnangu saanud töödes, näiteks võltsitud andmetele, mis tema sõnul võivad olla levinumad ja kahjustada teaduskirjandust veelgi rohkem. Bell ütleb, et vastastikuse eksperdihinnangu parandamine üldiselt nõuab süsteemsete probleemide lahendamist, sealhulgas teadlaste professionaalsed stiimulid avaldada üha rohkem ajakirjandusartikleid, nende hindamiseks vajalike retsensentide nappus ja mõnede avatud juurdepääsu võimaldavate kirjastajate lubadused käsikirjade kiireks läbivaatamiseks.
Lisateave: https://www.science.org/content/article/suspicious-phrases-peer-reviews-point-referees-gaming-system
