第一个做出大语言模型的大厂:百度带头狂飙
自ChatGPT火爆以来,其背后的大语言模型技术深受市场关注。谷歌、微软、百度、阿里、腾讯、字节等全球头部科技大厂纷纷在这条赛道发力狂飙。其中,百度成为第一个明确产品落地时间点的科技公司。近期,百度宣称将在3月16日围绕其生成式AI产品、大语言模型“文心一言”召开新闻发布会,这意味着百度有机会成为全球第一个做出大语言模型的科技大厂。
在大语言模型赛道中,OpenAI虽然在大语言模型的研发上快人一步,但身为美国创业公司的它高度依赖微软提供的资金及算力支持;与此同时,虽然微软最先吃到了ChatGPT的红利,但并不意味着微软自身已经具备这一技术能力,而是通过投资与采买的方式集成OpenAI的技术。纵观全球,一个关键问题已经浮现:直到现在,美国的大厂和其他创业公司、中国的大厂与创业公司中,为何只有百度做出了自己的大语言模型?
十年树木,百年树人。大语言模型作为AI技术创新桥头堡,不是突击一两个月即可诞生的产物,背后的技术积累需要多年沉淀。百度能抢下头筹也并非是朝夕之功。将时光的指针拨回十余年前,百度开始深耕人工智能领域。十年如一日,百度已然拥有芯片、框架、模型和应用四层技术栈,十年逾千亿的研发投入,也为今日的枝繁叶茂提供了充足养分。
基于长期技术投入,百度基础能力完全具备、具有综合优势,不仅能够实现整体持平ChatGPT,甚至还有机会做到局部超越。超越部分包括知识增强、检索增强和对话增强。
知识增强方面,百度文心大模型是全球首个知识增强千亿大模型,拥有世界上最大规模知识图谱,包含50亿实体、5500亿级事实,每天调用量超过400亿次。知识图谱通过结构化的形式描述真实世界中的实体、属性、关系等,是机器认知世界的重要基础。
检索增强则是指在大模型底层上,搜索架构和生成式AI架构可以融合。搜索在真实数据和用户需求理解上具备先发优势,能提升大语言模型的准确性和实效性。
此外,在对话一致性、长期记忆和多轮对话丰富度上,百度也实力显著,其“知识与深度学习融合的通用对话技术及应用”曾获中国人工智能协会吴文俊奖特等奖,是历史上首个特等奖;“百度大脑核心技术与开放平台”获中国电子学会科技进步奖一等奖;百度超级智能助手也曾获中国专利金奖。
大语言模型的技术难度横亘在每一位开发者面前,需要正视、重视。那么,对于国产大语言模型,应当报以多大的期待?
ChatGPT在发布之初也有诸多槽点,但随着用户越来越多,它也变得越来越聪明。这与大模型的底层技术逻辑有关,文心一言和ChatGPT背后,都是SFT(模型微调)、RLHF(强化学习)、prompt(用户指令)等技术。在训练阶段,SFT和RLHF通过学习真实的用户数据,提升模型效果;部署阶段,用户的prompt能够给预训练大语言模型提示,使模型能更好理解人类问题。因此,百度文心一言只要能达到ChatGPT去年11月发布水平,就实属不易。
SFT(模型微调)、RLHF(强化学习)、prompt(用户指令)等技术跟大模型通过海量无标注数据训练是不同的,需要人的参与,帮助AI更好地理解人的意图,生成符合人的价值观、表达习惯的回复。随着文心一言开始内测与邀测,真实的用户、开发者调用和模型迭代之间的飞轮开始转动,文心一言就将以令人惊讶的速度不断进步。
大语言模型建构将带动应用开发、场景开发等一系列产业链联动,具有无限想象空间,可以说是“大国重器”,也是新时代下科技经济的“加速器”。同时,由于东西方文化差异、语言差异等因素,国外大语言模型是否能更好地理解中国文化、中文语言存在隐忧。
因此,我们需要中国的大语言模型,中国的大语言模型,也值得市场给予一些信心与耐心。
责任编辑:马婕