致敬流浪地球?复旦发布国内首个类ChatGPT模型MOSS
【CNMO新闻】2月20日晚,据复旦大学自然语言处理实验室消息,国内第一个对话式大型语言模型MOSS已由邱锡鹏教授团队发布至公开平台,邀公众参与内测。
据了解,MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。
《流浪地球》系列电影中的量子计算机MOSS
MOSS和ChatGPT一样,开发的过程也包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。不同之处在于,复旦团队采用了不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。
不过,邱锡鹏坦言:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”
他还表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”
有趣的是,复旦大学团队开发的这个对话式大型语言模型的名字刚好和《流浪地球》系列电影中的人工智能550W量子计算机MOSS重名,后者是领航员空间站的核心智能主机,具有自我意识、自我迭代、自我更新的特点,也是流浪地球计划与火种计划的监督者和执行者。复旦大学团队如此命名,不知道是在致敬还是巧合。