近日,各大頂會評審風(fēng)波不斷,可謂民意洶涌。Nature發(fā)表文章稱,我國國家自然科學(xué)基金委員會正在利用AI來選擇匹配評審人。那么這套系統(tǒng)是否能夠做到省時(shí)省力又無偏見呢?讓我們來一探究竟。
同行評審飽受爭議,要不試試AI?
最近,人工智能頂會IJCAI 19遭眾多網(wǎng)友猛烈抨擊:審稿不專業(yè)、學(xué)生審稿、review寥寥幾句、打分看心情。被網(wǎng)友評價(jià)為“審稿宇宙最爛”。
微博用戶評論
連大會程序主席Sarit Kraus也被迫站出來作解釋:
由于論文數(shù)量太多,審稿人數(shù)量不足,時(shí)間也頗為緊迫,只能在現(xiàn)有條件下盡力把控審稿流程。對于作者們反映的審稿過程瑕疵、公平性不足、隨機(jī)性太強(qiáng)等問題表示理解。
那么,為什么不試試AI呢?
文章地址:
https://www.nature.com/articles/d41586-019-01517-8
昨日,Nature發(fā)表文章稱,中國國家自然科學(xué)基金委員會(NSFC)正在建立一個(gè)更加復(fù)雜的系統(tǒng),該系統(tǒng)將利用自然語言處理技術(shù)抓取在線科學(xué)文獻(xiàn)數(shù)據(jù)庫和科學(xué)家的個(gè)人網(wǎng)頁,收集潛在評審人員的出版物或研究項(xiàng)目的詳細(xì)信息。
國家自然科學(xué)基金委負(fù)責(zé)人李靜海表示,該系統(tǒng)將使用文本的語義分析來比較資助申請和潛在評審人信息,并確定最佳匹配。
這個(gè)工具可以選擇研究人員來審查資助申請,讓這個(gè)過程更有效、更快、更公平。一些研究人員表示,NSFC采用的方法是世界領(lǐng)先的,但其他人對AI能否改善這一過程持懷疑態(tài)度。
AI加持同行評審:省時(shí)省力,也可減少偏見,外國正在效仿
上個(gè)月在杭州召開的學(xué)術(shù)交流會議上,國家自然科學(xué)基金前負(fù)責(zé)人楊衛(wèi)介紹了試點(diǎn)數(shù)據(jù)。該工具的試用版本從去年獲批資助項(xiàng)目的近44000個(gè)專家組中各選擇至少1位專家,每個(gè)專家組由3~7人組成。楊衛(wèi)說,該系統(tǒng)已經(jīng)減少了行政人員尋找評審專家的時(shí)間。他說,今年也將采用類似的方法來選擇評審專家。
節(jié)省時(shí)間
歐洲最大的基礎(chǔ)研究機(jī)構(gòu)法國國家科學(xué)研究中心國際合作部主任Patrick Nédellec說,中國國家自然科學(xué)基金委員會已經(jīng)成為改革資助審查程序的全球領(lǐng)導(dǎo)者。Nedellec在去年9月的一次會議上討論了國家自然科學(xué)基金的改革計(jì)劃,他說,因?yàn)樯暾埢鸬臄?shù)量不斷增加,NSFC已經(jīng)被迫進(jìn)行了創(chuàng)新。
“壓力如此之大,中國別無選擇,只能尋找最好的辦法,”他表示。
在過去的五年里,國家自然科學(xué)基金收到的申請數(shù)量以每年約10%的速度增長。2018年,該機(jī)構(gòu)評審了22.5萬份資助申請,幾乎是美國國家科學(xué)基金會收到的6倍。李靜海說,國家自然科學(xué)基金委正在努力處理申請并尋找合適的評審人員?!疤魬?zhàn)在于沒有足夠的人手,”他表示:“AI會解決這個(gè)問題。”
減少偏見
李靜海還希望這個(gè)工具能夠減少審稿人評審時(shí)的偏見。他說,在中國,科學(xué)家們可能為他們的項(xiàng)目找關(guān)系?!霸u審中的一個(gè)問題是,人們可能走關(guān)系。AI是不會被行賄收買的,”李靜海說。
在其他一些國家,申請者可以推薦由哪位專家審查他們的提案,這也是一個(gè)問題。例如,瑞士國家科學(xué)基金會發(fā)現(xiàn),由申請者推薦的評審員比由基金會選擇的評審員更有可能支持這個(gè)項(xiàng)目。
國家自然科學(xué)基金委的試點(diǎn)AI系統(tǒng)目前僅適用于中文網(wǎng)站,但李靜海希望它將來也能夠抓取英文網(wǎng)站。
維也納理工大學(xué)的科學(xué)政策顧問Manfred Horvat表示:“國家自然科學(xué)基金委的改革計(jì)劃雄心勃勃、具有前瞻性和全面性?!盚orvat去年9月也聽過李靜海的演講。
其他國家也在效仿中國。上個(gè)月,挪威研究委員會開始使用自然語言處理技術(shù),將大約3000份研究提案分組,并將它們與最佳評審小組進(jìn)行匹配。
在接受《國家科學(xué)評論》((National Science Review,NSR)專訪時(shí),李靜海院士表示:
在其他國家有一些智能系統(tǒng)的雛形,但還沒有過一個(gè)完整的系統(tǒng)。比如在一些期刊的投審稿系統(tǒng)中,已經(jīng)可以通過關(guān)鍵詞匹配來判斷特定的專家是否適合審稿,也可以提供審稿人的既往評審數(shù)據(jù)。
而我們希望能做得更多更好更嚴(yán)格。將要建成的系統(tǒng)可以對評審人的既往研究工作、發(fā)表過的文章等進(jìn)行分析,通過語義理解比對,與基金申請書進(jìn)行匹配,找到在專業(yè)上合適的專家,同時(shí)結(jié)合信譽(yù)數(shù)據(jù),遴選出最適合的評審人。
評審人的選擇在基金評審中舉足輕重,是世界各國科學(xué)基金資助機(jī)構(gòu)共同關(guān)心的問題。現(xiàn)在,申請人常常不信任機(jī)器的選擇,而單純依靠人為選擇也同樣可能影響公正性。我們希望能夠利用更先進(jìn)的人工智能技術(shù),真正解決這個(gè)問題。這方面還需要凝聚科技界全體的智慧。
Frontiers通過AI協(xié)助審稿人和編輯提高效率
高質(zhì)量的同行評審是學(xué)術(shù)出版的基礎(chǔ),證明研究假設(shè)、方法和結(jié)論的有效性、嚴(yán)謹(jǐn)性和正確性。出版商和審稿人面臨的挑戰(zhàn)是,在不斷增加的稿件提交面前,要保持嚴(yán)格的質(zhì)量標(biāo)準(zhǔn)。
Frontiers(《前沿》系列期刊)在2018年推出下一代通常評審AIRA,試圖解決日益增長的稿件提交量,并更有效地保護(hù)稿件和同行評審質(zhì)量。
Frontiers聲稱,AIRA使用內(nèi)部自定義算法,同時(shí)使用iThenticate(CrossRef首創(chuàng)并與iParadigms公司共同開發(fā)出一個(gè)全新的,用于幫助學(xué)術(shù)出版者驗(yàn)證出版文檔原創(chuàng)性的工具)和Ada(一款文字檢查工具)。所有這些都經(jīng)過Frontiers的10年同行評審經(jīng)驗(yàn)的培訓(xùn)和嚴(yán)格測試,并完全融入Frontiers的協(xié)作評審論壇和內(nèi)部流程。
AIRA能夠通過分析稿件質(zhì)量、解釋和傳達(dá)審核流程,以及提供建議和識別潛在審稿人,為編輯、審稿人和內(nèi)部團(tuán)隊(duì)提供協(xié)助,并將通過持續(xù)學(xué)習(xí)不斷優(yōu)化。
上述功能已集成到Frontiers Review Forum和內(nèi)部工作流程中,簡化了投稿人在Frontiers的發(fā)布流程。
Frontiers首席執(zhí)行官兼聯(lián)合創(chuàng)始人Kamila Markram:“技術(shù)不能取代人,而是幫助人們能夠以更有效的方式做出編輯決策。AIRA可以讓我們的編輯、審稿人和內(nèi)部團(tuán)隊(duì)專注于在正確的時(shí)間做對的事并做出關(guān)鍵決策。這加快了審查過程并縮短了發(fā)布時(shí)間,同時(shí)確保了最高質(zhì)量的控制?!?/p>
AI致力于兩項(xiàng)關(guān)鍵同行評審任務(wù)
AIRA目前致力于兩項(xiàng)關(guān)鍵的同行評審任務(wù):質(zhì)量控制和評審員識別。其算法可根據(jù)一系列質(zhì)量測量,快速準(zhǔn)確地評估提交的稿件,包括文本重疊;語言、人體圖像的存在以及其他道德因素。
達(dá)到既定質(zhì)量門檻的人員,將被傳遞給編輯;而任何有潛在問題的人員都會被標(biāo)記,并交由Frontiers的研究誠信和審查運(yùn)營團(tuán)隊(duì)以進(jìn)行進(jìn)一步調(diào)查,并且在解決之前暫停一些審核工作。
AIRA的算法還根據(jù)專業(yè)知識和可用性,來識別潛在的審閱者,并檢查編輯、審閱者和作者之間是否存在潛在的利益沖突。
Frontiers的質(zhì)量和道德高級經(jīng)理MarieSoulière說:“它不僅標(biāo)記有潛在問題的稿件,還會告訴我們需要手動(dòng)檢查的內(nèi)容,從而減少了審查疲勞并使審查更加準(zhǔn)確。AIRA還能夠提醒一些人工難以完成的檢查任務(wù),例如抄襲?!?/p>
想用AI來匹配審稿人?目前可能還不行
但并非所有人都支持AI用在評審過程中。
英國劍橋RAND Europe研究機(jī)構(gòu)的科學(xué)政策專家Susan Guthrie指出,加拿大衛(wèi)生研究院在使用一種用于評審人員選擇的算法時(shí)就遇到了重大挑戰(zhàn)。
這個(gè)機(jī)構(gòu)于2016年聘請了RAND Europe公司對同行評審的研究進(jìn)行meta分析。而得出的結(jié)論有時(shí)可謂是大跌眼鏡:算法有時(shí)會選擇存在利益沖突、不適合或者沒有資格的審稿人。獨(dú)立專家小組的結(jié)論是:
雖然基于算法的匹配聽起來很有吸引力,但在人工智能的這個(gè)階段,它可能實(shí)現(xiàn)的目標(biāo)是有限的。審稿人的選擇必須主要依據(jù)科學(xué)的人類判斷。
威斯康辛州麥迪遜市教育分析公司的政策研究員Elizabeth Pier認(rèn)為,人工智能無法消除選擇偏見。
她擔(dān)心人工智能系統(tǒng)最終會復(fù)制人類判斷中根深蒂固的偏見,而不是避免它們。她建議國家自然科學(xué)基金委員會應(yīng)該做一項(xiàng)研究,將人工智能選擇的審稿人與人類選擇的審稿人進(jìn)行比較。李靜海對此表示,一旦系統(tǒng)建立并運(yùn)行起來,自然科學(xué)基金委可能會考慮這一點(diǎn)。
“偉大的項(xiàng)目”需要時(shí)間的打磨
李靜海計(jì)劃在未來五年推出其他工具,使撥款系統(tǒng)更加公平, 其中包括一個(gè)獎(jiǎng)勵(lì)系統(tǒng),獎(jiǎng)勵(lì)研究人員進(jìn)行良好、公平和及時(shí)的審查。他說,信用體系的理念是鼓勵(lì)審稿人認(rèn)真對待這份工作并保持專業(yè)度。
斯坦福大學(xué)的統(tǒng)計(jì)學(xué)家John Ioannidis對國家自然科學(xué)基金委員會在繪制提案時(shí)使用客觀、數(shù)據(jù)驅(qū)動(dòng)的工具來選擇評審者的努力表示贊賞。但他認(rèn)為,目前很難評估評審者是否做出了正確的決定。Ioannidis說,一個(gè)想法可能需要幾十年的時(shí)間才能被鑒定是“偉大的”或是“無用的”。
但是李靜海已經(jīng)做好了準(zhǔn)備,他說:“這項(xiàng)任務(wù)不容易實(shí)現(xiàn),需要在長期的學(xué)習(xí)和測試過程中不斷改進(jìn)?!?/p>
那么親愛的讀者,你贊同利用AI來輔助同行評審嗎?
-
AI
+關(guān)注
關(guān)注
87文章
29425瀏覽量
267723 -
人工智能
+關(guān)注
關(guān)注
1789文章
46391瀏覽量
236581 -
自然語言處理
+關(guān)注
關(guān)注
1文章
588瀏覽量
13466
原文標(biāo)題:Nature:同行評審屢遭毒噴,中國欲啟用AI系統(tǒng)解決問題
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論