由ChatGPT编写的摘要愚弄了科学家（news）
研究人员总是不能区分人工智能生成的摘要和原始的摘要。
科学家和出版专家担心,日益成熟的聊天机器人可能会破坏研究的完整性和准确性。图片来源:Ted Hsu/Alamy
根据bioRxiv服务器上12月底发布的一份预印本，人工智能(AI)聊天机器人可以编写如此有说服力的虚假研究论文摘要，以至于科学家往往无法发现它们。研究人员在ChatGPT对科学的影响存在着分歧。
“我非常担心，”Sandra Wachter说。她在英国牛津大学(University of Oxford)研究技术和监管，但没有参与这项研究。她补充说:“如果我们现在的情况是，专家无法确定什么是真的或假的，我们就失去了我们迫切需要的中间人，在复杂的话题中指导我们。”
聊天机器人ChatGPT根据用户提示创建现实且听起来智能的文本。它是一个“大型语言模型”，一个基于神经网络的系统，通过消化大量现有的人工生成的文本来学习执行任务。位于加州旧金山的软件公司OpenAI于11月30日发布了这款免费工具。
自从它发布以来，研究人员一直在努力解决围绕其使用的道德问题，因为它的许多输出可能很难与人类书写的文本区分开。科学家们发表了一篇预印本和一篇由ChatGPT撰写的社论。现在,一组由Catherine Gao 在芝加哥西北大学,伊利诺斯州,利用ChatGPT生成人工研究论文摘要测试科学家是否能发现它们。
研究人员要求聊天机器人根据发表在《美国医学会杂志》(JAMA)、《新英格兰医学杂志》(The New England Journal of Medicine)、《英国医学杂志》(The BMJ)、《柳叶刀》(The Lancet)和《自然医学》(Nature Medicine)上的一篇文章撰写50篇医学研究摘要。然后，他们通过剽窃检测器和人工智能输出检测器将这些摘要与原始摘要进行比较，并要求一组医学研究人员找出伪造的摘要。
不为人知的真相
ChatGPT官网：https://openai.com/
ChatGPT生成的摘要通过剽窃检查:中位原创分数为100%，这表明没有检测到剽窃。AI-output探测器发现66%生成的摘要。但人工审阅者也没有做得更好:他们只正确识别了68%的生成摘要和86%的真正摘要。他们错误地将生成的32%的摘要识别为真实的，并将14%的真正的摘要识别为生成的。
“ChatGPT撰写了可信的科学摘要，”Gao及其同事在预印本中说。“使用大型语言模型来帮助科学写作的道德和可接受的界限仍有待确定。”
Wachter说，如果科学家不能确定研究是否正确，可能会有“可怕的后果”。这不仅会给研究人员带来问题，因为他们正在阅读的研究是捏造的，他们可能会被有缺陷的调查路线所拖垮，还会“对整个社会产生影响，因为科学研究在我们的社会中发挥着如此巨大的作用”。她补充说，例如，这可能意味着基于研究的政策决定是不正确的。
但是新泽西州普林斯顿大学的计算机科学家Arvind Narayanan说:“任何严肃的科学家都不太可能使用ChatGPT来生成摘要。”他补充说，生成的摘要是否能被检测到是“无关紧要的”。“问题在于，该工具能否生成准确而令人信服的摘要。它不能，所以使用ChatGPT的好处是微乎其微的，而缺点是显著的，”他说。
总部位于纽约和巴黎的AI公司Hugging Face的研究人工智能对社会影响的艾琳·索莱曼(Irene Solaiman)对科学思维依赖于大型语言模型感到担忧。她补充说:“这些模型是在过去的信息上训练出来的，社会和科学的进步往往来自于不同于过去的思考，或对思考持开放态度。”
这组作者建议，那些评估科学传播的人，比如研究论文和会议记录，应该制定政策，杜绝使用人工智能生成的文本。如果机构选择允许使用的技术在某些情况下,他们应该建立明确的规定披露。本月早些时候，将于7月在夏威夷檀香山举行的第40届国际机器学习大会(第40届国际机器学习大会是一场大型AI会议)宣布禁止使用ChatGPT和其他AI语言工具撰写的论文。
Solaiman补充说，在假信息可能危及人们安全的领域，比如医学，期刊可能必须采取更严格的方法来验证信息的准确性。
Narayanan说，这些问题的解决方案不应该集中在聊天机器人本身，“而应该集中在导致这种行为的不正当动机上，比如大学在进行招聘和晋升审查时，只计算论文数量，而不考虑它们的质量或影响”。
doi: https://doi.org/10.1038/d41586-023-00056-7
References
Gao, C. A. et al. Preprint at bioRxiv
https://doi.org/10.1101/2022.12.23.521610 (2022).
Blanco-Gonzalez, A. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).
O’Connor, S. & ChatGPT Nurse Educ. Pract. 66, 103537 (2023).
