与《流浪地球》AI同名:国内首个类ChatGPT模型MOSS发布
来源:封面新闻
封面新闻记者 边雪
“尽管我们的对话模型和《流浪地球》中MOSS的能力不能相提并论,但就像过去NLP领域的其他优秀模型一样,作者们都希望使用自己喜欢的影视角色名称命名自己的模型,例如BERT、Meqatron等。”
2月20日,复旦大学自然语言处理实验室邱锡鹏教授团队在公开平台发布对话式大型语言模型MOSS(https://moss.fastnlp.top/),邀请公众参与内测。当晚,该平台显示“服务器流量过载,请明天上午重试”。2月20日,封面新闻记者在多次尝试登录MOSS内测版的网页时,都未能成功。
对此现象,MOSS团队在官网作出解释:“我们最初的想法只是想将MOSS进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”
MOSS团队在官网针对“为何测试者无法登录网站”做出解释。(图片来源:官网截图)
在公告中,研发团队还解释了MOSS名字的由来。“我们在训练完成第一代模型的时候,正值流浪地球2热映,片中MOSS给团队每个人都留下了深刻的印象,因此便使用了这样一个名称来指代我们的模型,以表示我们对最前沿A模型的不懈追求。”
2月20日,封面新闻记者在多次尝试登陆MOSS内测版的网页时,都未能成功登陆。
MOSS的诞生:邱锡鹏教授团队
人工智能开源社区的“先行者”
根据复旦大学计算机科学技术学院官网的介绍,邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习,发表CCF-A/B类论文70余篇,研究方向是围绕自然语言处理的机器学习模型构建、学习算法和下游任务应用,包括:自然语言表示学习、预训练模型、信息抽取、中文NLP、开源NLP系统、可信NLP技术、对话系统等。
自从事自然语言处理研究开始,邱锡鹏便开始着手于开源工具 FudanNLP 的开发。出于对机器学习的兴趣,他独立完成了 FudanNLP 所有底层的机器学习算法。不同于当时其他的自然语言处理工具,FudanNLP 是集成式的,用一套统一的机器学习算法驱动多种自然语言处理任务。FudanNLP 从底层优化了模型的效率,在 2009年开源后,被许多算法公司所应用。
在主持开发了开源自然语言处理工具FudanNLP之后,邱锡鹏还研发了一套基于深度学习的自然语言处理框FastNLP,同样获得了学术界和产业界的广泛使用。
值得注意的是,邱锡鹏也常活跃在知乎等技术社区。2月21日凌晨,邱锡鹏的知乎账号关注了问题“复旦团队发布国内首个类ChatGPT模型MOSS,将为国内大语言模型的探索和应用带来哪些影响?”,目前,该问题浏览量已接近200万。据知乎用户表示,该问题已邀请邱锡鹏回答,但截至发稿,邱锡鹏并未对该问题作任何回复。
邱锡鹏教授知乎账号。(图片来源:截图)
MOSS虽不成熟
但未来可期
据悉,MOSS开发的过程包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。不同之处在于,邱锡鹏教授团队采用了不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。
据上观新闻报道,MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。因为MOSS的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个,所以相较于中文,英文指令更能展示MOSS多轮交互、表格生成、代码生成和解释能力。
MOSS内测版的出现,无疑将为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。邱锡鹏在接受采访时表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”
21日,复旦复华(600624.SH)开盘即涨停,截至发稿,该股报6.78元,涨停板上封单近15万手。复旦复华随后表示,MOSS为复旦大学研发,与公司无关。目前公司的主营业务为生物医药、软件和园区三大板块,未参与MOSS研发。封面新闻记者在致电复旦复华公司询问该公司是否参与MOSS研发时,工作人员表示并不清楚。
21日,复旦复华(600624.SH)开盘即涨停。(图片来源:网络截图)
想做出ChatGPT这样的“出圈”的产品,足够的算力、模型工程化的人才和完整的产业生态缺一不可,据悉,MOSS研发项目已得到了上海人工智能实验室的有力支持,相信人类与MOSS流畅对话的那天,不会等的太晚。