复旦MOSS大模型与chatGPT差距在哪？

　　数据质量的差别是主要瓶颈之一。相较于英文数据，中文数据的开源程度较低，导致中文数据集的规模相对较小。此外，英文作为科研主流语言，在学术界和工业界中得到广泛应用，积累了大量高质量的语料数据，这为英文自然语言处理的研究提供了极大的优势。

　　2月20日晚间，复旦大学邱锡鹏教授团队发布国内首个类ChatGPT模型MOSS，引发各界人士参与内测的热情。一个显著的反馈是，MOSS的英文回答水平比中文高，这在公众与ChatGPT的互动中也有类似体现。为何如此？

　　位于深圳的粤港澳大湾区数字经济研究院（IDEA）认知计算与自然语言中心文本生成算法团队负责人王昊表示：“数据质量的差别是主要瓶颈之一。相较于英文数据，中文数据的开源程度较低，导致中文数据集的规模相对较小。此外，英文作为科研主流语言，在学术界和工业界中得到广泛应用，积累了大量高质量的语料数据，这为英文自然语言处理的研究提供了极大的优势。”

　　MOSS研究团队也坦承，“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个”。

　　王昊认为，对于中文来说，高质量无监督语料和指令数据尤其严重不足。因此，中文自然语言处理领域需要更多的投入和努力来积累高质量的数据，并将其开源，以促进中文自然语言处理的发展。

　　清华大学计算机科学与技术系长聘副教授、聆心智能创始人黄民烈曾制定了全球首个《AI对话系统分级定义》，他表示：

　　“从数据和应用的角度来说，中国的科技企业目前来看有比较大的优势。从数据角度来说，国内其实是产出了大量数据的，而数据的准确性和可靠性如果能够提上去，对于模型的学习和生成来说都会帮助很大。”

　　“而国内的应用场景和市场其实是更加广阔的，在新闻、广告、教育等领域，而应用市场越广带来的优质数据也会越多，这样其实是能够实现双飞轮的运转，从而加速AIGC领域的成长。”

　　2月20日晚，MOSS发布至公开平台（https://moss.fastnlp.top/），邀公众参与内测。当晚，社交媒体上出现截图，显示该平台“服务器流量过载，请明天上午重试”。随后，该平台官网发布一则公告，解释称“计算资源不足以支持如此大的访问量”，“给大家造成非常不好的体验和第一印象”，并致以真诚的歉意。

　　在公告中，MOSS研究团队称，“MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线，并且实现各种对话能力”。

　　那么AI对话技术发展到今天经过了哪些关键节点？

　　当下的“技术路线”又是什么？

　　黄民烈解答道，回顾早期聊天机器人的对话，大部分都是基于规则的，第二代在技术上混合了一些规则和机器学习的方法。到了第三代，就是以Transformer为基本架构的大模型作为技术底座，实际上还是在一个新的神经网络架构下，结合大量的数据和算力优化去做到的，所以技术上有了显著的一些进步。由于对话本身就是在语言处理中最重要也是最难的任务，也就是最近一两年，才因为大模型的发展使得聊天机器人在性能上有接近人类的表现。

　　复旦大学计算机科学技术学院教授邱锡鹏此前曾表示，“GPT-3的In-context learning是一个我觉得有变革性的范式。不再需要调参，给一些提示，就可以去做任务了。这个目前虽然说质量并没有调参的好，但也能达到一个不错的效果，这个会让大模型看起来更加智能”。

　　什么是In-context learning（上下文学习）？

　　“以前的方式是基于模型参数调整的，比如说要识别猫，然后看模型能不能检测到猫的位置。如果标的不对，再通过误差反过来去调整参数，使得预测和正确位置对应起来。上下文学习则是圈出来猫的位置，然后再给它一张另外的图片，问它猫在哪里？它就能够正确圈出来。这个任务它之前没有见过，但是通过这样的方式就学会了。”邱锡鹏讲解道。

　　调参极耗费人力和时间成本，尤其是GPT-3这样的超大模型。碳同化系统Carbontracker估计，训练GPT-3一次所需的电量与丹麦126户家庭每年使用的电量相同。而In-context learning可以让一个未经进一步调参的预训练大模型，通过给其恰当的demonstration（示例）学会完成目标任务。

　　黄民烈也提到上下文理解技术。“ChatGPT最大的特点是通用任务助理，也就是在一个模型之内可以完成如此之多的开放任务，同时它在生成任务、上下文理解、安全伦理方面也有相当好的表现。”

　　总结而言，黄民烈认为，这里面的技术突破是一个技术、工程、数据的综合性工程创新，是一个长期积累从量变到质变的过程。比如从GPT-3到代码，到加instruct，到RL，以及数据和模型之间的飞轮，造成了这些质变。