一位教授帶著一名碩士生,只用不到一個小時,就寫完了一篇研究論文。而且是從提出問題,制定分析計劃,編寫代碼,進行分析,解釋結果并撰寫論文的全流程,一個環節都沒少,中間甚至還插空去吃了個午飯。
他們是怎么做到的?
事件的主角是以色列理工學院的生物學家和數據科學家Roy Kishony和其學生Tal Ifargan。他們使用ChatGPT在極短時間內寫完了一篇論文,題為《果蔬攝入量和體育鍛煉對成年人糖尿病的影響》。這篇論文行文流暢,論證嚴密,并以研究論文的預期結構呈現。
Kishony認為,“它制作的手稿一點也不差。”
Roy Kishony(左)Tal Ifargan(右)
指導ChatGPT寫論文
Kishony和學生的研究基于一個公開的電話調查數據集,是從美國疾病控制和預防中心的行為風險因素監測系統中下載而來。該數據集包含了超過250萬人的糖尿病狀況,以及果蔬消費和體育鍛煉情況。
首先,他們要求ChatGPT編寫代碼用來發現數據中的模式,以便進一步深入分析。第一次嘗試時,ChatGPT生成的代碼出現明顯錯誤,完全不能用。但是,當他們指出錯誤消息,并要求它糾正錯誤時,它最終產生了可用于探索數據集的正確代碼。
在獲得了更結構化的數據集后,他們要求ChatGPT幫助制定研究目標。ChatGPT建議他們探索身體活動和飲食如何影響糖尿病風險。生成了更多的代碼之后,ChatGPT得出結論:多吃果蔬和加強鍛煉可能會降低患糖尿病的風險。然后,他們提示ChatGPT在表格中總結關鍵發現,并編寫整個結果部分。接著,再對ChatGPT循循善誘,要求其撰寫稿件的摘要、介紹、方法和討論部分。最后,他們要求ChatGPT完善文本。
Kishony認為,盡管ChatGPT生成了一份具有可靠數據分析的清晰手稿,但該論文遠非完美。研究人員遇到的一個問題是ChatGPT傾向于通過編造數據來佐證自己的觀點,讓人難以識別,比如引用虛假論文。
這篇論文指出,該項研究“填補了研究領域的空白”——此類表述在論文中很常見,但又令人唏噓。耶路撒冷希伯來大學的計算機科學家Tom Hope說,這一發現“不會讓任何醫學專家感到創新”。
Kishony表示,使用ChatGPT寫論文是為了研究人機“聯合駕駛”的能力,從而將ChatGPT的優勢和缺陷擺上臺面,供公眾辯論。
ChatGPT在學術界如何自處
其實不久前,還有一位科學家用ChatGPT搞出了一件大事情。美國田納西大學健康科學中心的放射科醫生Som Biswas,在4個月內使用ChatGPT寫了16篇論文,并在4個不同的期刊上發表了其中5篇。
必須說,隨著ChatGPT的入局,AIGC(人工智能生成內容)數量井噴,尤其是在學界,ChatGPT更是成為科研人員的得力助手。
但問題也撲面而來。
Kishony就擔心兩個問題,一是這些工具可能會使研究人員學術不誠信,例如P-hacking(篡改P值)導致假陽性;二是科研人員利用人工智能生成論文的便利性,大量生產低質量論文。
在南澳大利亞大學開發人工智能教育技術的Vitomir Kovanovi?表示,人工智能工具在研究論文中的使用應該公開表明,否則,將很難評估一項研究的結果是否科學?!叭绻a假論文這么容易,那我們維護學術正義還有很長一段路要走。”
生成式AI可以承擔簡單但耗時的任務來提升科研效率,例如編寫摘要和生成代碼。麻省理工學院布羅德研究所和哈佛大學的計算生物學家Shantanu Singh認為,“未來用生成式人工智能完成整篇論文不是一個好主意。”
早在今年3月,學生利用ChatGPT寫論文、做作業就已然形成了一股勢不可擋的浪潮,英國教育部十分擔憂,牛津、劍橋、布里斯托、愛丁堡等8所羅素大學成員更是宣布禁止使用ChatGPT。
然而就在上周,牛津、劍橋、布里斯托、愛丁堡等24所羅素大學成員集體松口,宣布解除ChatGPT使用禁令。顯然,他們不想錯過生成式AI帶來的全新教育和發展機遇。
24所大學副校長全力支持,聯合發布了在教育中使用生成式AI工具的原則,制定相關使用規范課程和管理機構,旨在幫助學生以及研究人員科學、合理使用生成式AI工具。
羅素大學集團發布的生成式AI工具使用原則一共包括5項,以下是部分內容。
1.學校將培訓學生和教職員工具備良好的人工智能素養。
2.教職人員應具備引導學生在學習過程中有效、適當地使用生成式AI工具的能力。
3.學校將調整教學和評估方式,生成式AI的合法使用是允許的,保證所有人平等使用。
4.學校將全力維護學術嚴謹性,保證學術誠信。
5.隨著生成式AI在教育界深度應用,學校之間將通力合作,分享交流最佳實踐。
參考資料:
https://www.nature.com/articles/d41586-023-02218-z
https://blog.sciencenet.cn/blog-41174-1394389.html
https://russellgroup.ac.uk/news/new-principles-on-use-of-ai-in-education/
“掌”握科技鮮聞 (微信搜索techsina或掃描左側二維碼關注)