cha

ChatGPT引发全球科技竞速赛,凭什么百度是第一个做出大语言模型的大厂?

  谷歌、微软、百度、阿里、腾讯、字节……随着ChatGPT带动大语言模型爆火,全球头部科技大厂再次站上了同一个赛道。其中,百度宣称将在3月16日围绕其生成式AI产品、大语言模型“文心一言”召开新闻发布会,这意味着百度有机会成为全球第一个做出类ChatGPT的大语言模型的科技大厂。

  纵观全球,OpenAI虽然在大语言模型的研发上快人一步,但它其实是一家美国的创业公司,有赖于微软提供的资金及算力支持;虽然微软最先吃到了ChatGPT的红利,但微软自身并不具备这一技术能力,而是通过投资与采买的方式集成OpenAI的技术。直到现在,美国的大厂和其他创业公司、中国的大厂与创业公司中,为何只有百度做出了自己的大语言模型?

  大语言模型不是突击一两个月就做出来的,而是需要多年沉淀。百度能抢下头筹也并非是一朝一夕之功,百度深耕人工智能领域十余年,拥有芯片、框架、模型和应用四层技术栈。

  基于长期技术投入,百度基础能力完全具备、具有综合优势,不仅能够实现整体持平ChatGPT,甚至还有机会做到局部超越。超越部分包括知识增强、检索增强和对话增强。

  知识增强方面,百度文心大模型是全球首个知识增强千亿大模型,拥有世界上最大规模知识图谱,包含50亿实体、5500亿级事实,每天调用量超过400亿次。知识图谱是以结构化的形式描述真实世界中的实体、属性、关系等,是机器认知世界的重要基础。

  检索增强则是指,在大模型底层上,搜索架构和生成式AI架构可以融合。搜索在真实数据和用户需求理解上具备先发优势,能提升大语言模型的准确性和实效性。

  此外,在对话一致性、长期记忆和多轮对话丰富度上,文心一言也可能有更好的表现。百度在这方面实力显著,其“知识与深度学习融合的通用对话技术及应用”曾获中国人工智能协会吴文俊奖特等奖,是历史上首个特等奖;“百度大脑核心技术与开放平台”获中国电子学会科技进步奖一等奖;百度超级智能助手也曾获中国专利金奖。

  当然,我们也要充分意识到大语言模型的技术难度,百度文心一言只要能达到ChatGPT去年11月发布水平,就实属不易。

  ChatGPT在发布之初也有诸多槽点,但随着越来越多人使用,它也变得越来越聪明。这与大模型的底层技术逻辑有关,文心一言和ChatGPT背后,都是SFT(模型微调)、RLHF(强化学习)、prompt(用户指令)等技术。在训练阶段,SFT和RLHF通过学习真实的用户数据,提升模型效果;部署阶段,用户的prompt能够给预训练大语言模型提示,使模型能更好理解人类问题。

  这些方法跟大模型通过海量无标注数据训练是不同的,需要人的参与,作用是更好地理解人的意图,生成符合人的价值观、表达习惯的回复。因此,随着文心一言开始内测与邀测,真实的用户、开发者调用和模型迭代之间的飞轮开始转动,文心一言就将以令人惊讶的速度不断进步。中国的大语言模型,值得市场给予一些信心与耐心。

  责任编辑:马婕


您可能还会对下面的文章感兴趣:

登录 注册 退出