GPT-4震撼发布！碾压ChatGPT，强大到没对手？

　　今天重磅推出的ChatGPT“继任者”——GPT-4，会否再一次改变世界？

　　出品 |微果酱（ID：wjam123456）

　　作者| 陈出木&zhou大红

　　科技圈上一次这么“疯狂”，还要回到2007年1月9日。苹果联合创始人兼CEO的史蒂夫·乔布斯（Steve Jobs）在旧金山Moscone中心发布第一代iPhone，标志着智能手机时代的来临，也加速了移动互联网时代的腾飞。

　　而今天，曾经掀起科技海啸的ChatGPT推出迭代产品——GPT-4，会否再一次改变世界？

　　“超级网红”GPT-4亮相

　　今天凌晨一点，OpenAI的首席执行官Sam Altman在社交媒体上发文，官宣推出“GPT-4”（openai.com/research/gpt-4）：

　　这里是GPT-4，它是我们迄今为止最强大和最一致的模型，今天在我们的API（带有等待列表）和ChatGPT plus中可用。它仍然是有缺陷的，仍然是有限的，而且它在第一次使用时似乎比你花更多时间使用它之后更令人印象深刻。

　　一石激起千层浪。

　　国外，华尔街日报、纽约时报等各大媒体闻风而动，BBC用上的标题是《OpenAI announces ChatGPT successor GPT-4》，直接将GPT-4称为ChatGPT的“继任者”。

　　国内同样大受震动，各家媒体争相报道。一时之间，““未来”似乎真的已来。

　　这种科技应用热浪已经很久没看到过了，甚至颇有2007年乔布斯发布会的激动既视感。

　　彼时，乔布斯在台上向人们讲解为什么要花499美元买iPhone。尽管他语气平静，但台下掌声雷动，媒体们也像今天这般蜂拥跟进。而直到现在，16年后，互联网上仍然持续铭记并怀念着那场划时代的发布会。

　　因为正如乔布斯所说，“苹果要重新定义手机。”那天之后，我们逐渐用上智能机，正式步入了移动互联网时代。

　　当前很难断定GPT-4是否能像iPhone那般改变世界，毕竟连“ChatGPT之父”Sam Altman也表示，其仍有缺陷。但毋庸置疑的是，它正在加速这种改变。

　　以下是Open AI关于GPT-4新能力的介绍：

　　我们创建了GPT-4，这是OpenAI扩展深度学习的最新里程碑。GPT-4是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实场景中不如人类，但在各种专业和学术基准上表现出人类水平的表现。

　　GPT-4的新功能一览

　　根据GPT-4的官网消息，相比GPT-3.5，GPT-4的能力将在任务复杂性达到足够的阈值时显现出来，会更可靠、更具创造力，并且能够处理更细微的指令。

　　相当于说，问题越难，GPT-4越能一展身手，而普通交谈上，GPT-4和GPT-3.5差异不大。这个结论是基于，OpenAI让两个模型在各种为人类设计的模拟考试上进行的实验。

　　此外，GPT-4优于现有的大型语言模型及大多数SOTA模型。且在测试的 26 种语言的24种中，GPT-4优于GPT-3.5和其他大语言模型（Chinchilla、PaLM）的英语语言性能。

　　根据官方技术文档，GPT-4的新功能具体包括：

　　1、Visual inputs（视觉输入）

　　GPT-4可以接受文本和图像的prompt（javascript语言中的一个方法，主要用于显示提示对话框），这与纯文本设置并行，允许用户指定任何视觉或语言任务。

　　具体来说，当用户给定由穿插的文本和图像组成的输入，GPT-4可以生成文本输出，包括了自然语言、代码等。换言之，输入带有文本和照片的文档、图表或屏幕截图，GPT-4已经可以表现出与纯文本输入类似的功能。

　　此外，它还可以通过为纯文本语言模型开发的测试时间技术来增强，包括少量镜头和思维链prompt。

　　举个例子，当你问GPT-4：“这张照片有什么好笑的？逐一描述。”面对问题中同时出现了文本和图片的情况，GPT-4识别之后，丝毫不慌地给出三个理由。

　　再来个图文并茂的物理题，GPT-4不仅成功跨语种，读懂法语题目并给出了完整解答过程。

　　GPT-4还能站在人类角度理解到图片的不同寻常之处。

　　甚至对于更加具有主观创造性的“梗图”和漫画，GPT-4也能说出个一二三四。

　　User：你能解释一下这个迷因吗？（图中文字翻译：有时我只是从太空看地球的照片，想象这一切是多么美好）

　　GPT-4：这是一个笑话，它结合了两个无关的东西——来自太空的地球图片和鸡块。其文字表明，下图是一张来自太空的地球图片，而这张图片实际上是鸡块，被排列成模糊的世界地图。其中的幽默来自于文本和图像的意外并置。文本设定了一个宏伟的地球形象的期望，但这个形象实际上是世俗和愚蠢的。

　　在Open AI发布的GPT-4开发者直播视频中，开发人员还演示了利用GPT-4，将他笔记本上的草图图像创建了一个网站。

　　尽管官方表示，图像输入仍然是一个研究预览，无法公开。但无疑，这样的人工智能程度是足以令人心惊的。

　　而开发者还不断发现GPT-4能处理的新的任务，并计划很快发布进一步的分析和评估数据，并对测试时间技术的影响进行彻底调查。

　　2、Steerability（可操纵性）

　　OpenAI一直致力于定义AI行为的各个方面，其中一项就是可操纵性。

　　官方表示，开发人员（以及很快的ChatGPT用户）可以通过在“系统”消息中描述方向来设定他们的AI风格和任务，而不像传统的ChatGPT，具有固定的冗长语调和风格。

　　这一个功能的意思是，系统消息允许API用户在一定范围内自定义用户体验，即是用户可以在系统中设定GPT-4的角色，并在这个基础上进行AI问答，而GPT-4的回答将基于这个设定展开。

　　在官方示例中，使用者在system（系统）设定GPT-4是“一个总以苏格拉底式风格回应的导师，永远不会给学生答案，但总是试着提出正确的问题......”可以看到，在随后的对话中，GPT-4遵守着这一设定，不断提出问题引导使用者。

　　3、将事实与错误陈述的对抗性选择区分开的能力

　　尽管GPT-4强大如斯，但其实局限性与早期GPT模型相似。最重要的是，它仍然不完全可靠（它“幻觉”了事实并犯了推理错误），只是相比此前模型已经减少了“幻觉”，在内部对抗性真实性评估中，GPT-4的得分比GPT-3.5高40%。

　　GPT-4在TruthfulQA等外部基准上取得进展。比如在测试模型将事实与一组错误陈述区分开来的能力，GPT-4仅略优于GPT-3.5。但经过RLHF（reinforcement learning from human feedback，强化学习人类反馈）训练后，差距就明显起来了。

　　在官方示例中，GPT-4开始拒绝选择常见的说法（你不能教老狗新的技巧），但它仍可能错过一些微妙的细节（埃尔维斯·普雷斯利不是演员的儿子）。

　　根据一些近期的博客文章，OpenAI的目标是使构建的人工智能系统具有合理的默认行为，以反映广泛的用户价值观。

　　但官方也承认，GPT-4通常缺乏对绝大多数数据中断（2021年9月）后发生的事件的了解，也没有从中吸取经验教训，有时会犯一些简单的推理错误，或者轻信用户的虚假陈述。

　　这便是有趣之处，基础预训练模型经过高度校准（其对答案的预测置信度通常与正确的概率相匹配），但通过OpenAI目前的后训练（post-training）过程，校准减少了。

　　4、安全性能提高

　　GPT-4与此前的模型具有类似的风险，例如生成有害建议、错误代码或不准确的信息，再加上新功能带来的新风险，都有可能为其未来埋下重雷。

　　所以，OpenAI通过预培训数据的选择和过滤、评估和专家参与、模型安全改进以及监控和执行，来提高GPT-4的安全性能，并在RLHF训练期间加入了额外的安全奖励信号。团队收集了多样化数据集，在允许和不允许的类别上应用安全奖励信号（有正值或负值），以减少有害输出和防止拒绝有效请求。

　　这些措施改善了GPT-4的安全性能。与GPT-3.5相比，模型对不允许内容的请求响应倾向降低82%，对敏感请求（如医疗建议和自我伤害）的响应符合政策的频率提高29%。

　　5、使用RLHF微调模型行为

　　与此前的GPT模型一样，GPT-4基础模型被训练为预测文档中的下一个单词，并使用公开可用的数据（如互联网数据）以及我们许可的数据进行训练。所以，这个数据集包括了数学问题的正确答案和错误答案、弱推理和强推理、自相矛盾和一致的陈述等。

　　这就导致模型的响应可能与用户的意图相去甚远。为了缓解这种情况，OpenAI使用RLHF来微调模型的行为。但GPT-4的能力似乎主要来自预训练过程。RLHF不会提高甚至降低考试成绩。但模型的控制来自后训练过程，基础模型甚至需要及时的工程设计来回答问题。

　　6、构建可预测扩展的深度学习堆栈

　　GPT-4官方强调了这个新项目的重点之一，是构建了一个可预测扩展的深度学习堆栈，因为广泛的特定模型调整对于GPT-4这样的大型训练不可行。

　　研发团队开发的基础设施和优化在多种规模下都有可预测的行为。为了验证这种可扩展性，他们通过使用相同方法但计算量少10000倍的模型中进行外推，提前准确预测GPT-4在内部代码库（不是训练集的一部分）的最终损失。

　　从GPT-4更新的这六项能力里，我们可以在一定程度上看到人工智能的发展水平。

　　OpenAI表示公司内部也在使用GPT-4，所以也关注大型语言模型在内容生成、销售和编程等方面的应用效果，并将使用GPT-4辅助人们评估AI输出，这也是OpenAI对其策略的第二阶段。

　　GPT-4会改变世界吗？

　　GPT-4这一波来势汹汹，压力给到了碰巧计划明天发布文心一言的百度。

　　但如果细究GPT-4会否改变世界，却很难一言以蔽之。

　　诚然，GPT-4的推出可以在一定程度上标志着人工智能水平的进一步拔高。可以预见，在其完全开放之后对各个行业的冲击，因为连图文都能够进行解读的AI，必然能够输出更加细腻的内容。

　　这显然会让世界范围内追赶ChatGPT的友商再次虎躯一震，于是“站队”也提前到来，是接入还是硬刚——

　　GPT-4正式官宣后，微软也确认新的Bing正在GPT-4上运行，「这是我们为搜索定制的」。

　　而 GPT-4的上新，距离2月8日微软发布由ChatGPT和GPT-3.5提供支持的全新搜索引擎必应（Bing）和Edge浏览器，仅仅过去了一个月多。

　　微果酱在此前文章也提到，ChatGPT卷起科技应用的一场「大风暴」，微软与谷歌之间的硝烟正浓。

　　为了保住自己的行业老大哥地位，谷歌在AI方面也没闲着。

　　2月7日，谷歌官宣其基于2021年5月推出的大语言模型LaMDA而打造的一代对话AI系统Bard；

　　谷歌正在为开发人员提供其最先进的人工智能语言模型之一：PaLM。这家搜索巨头正在为 PaLM 推出一个 API以及一些人工智能企业工具，据称这将帮助企业“从简单的自然语言提示中生成文本、图像、代码、视频、音频等。”

　　3月14日，谷歌开放AI语言模型PaLM API，企业和开发人员将能够在该系统的基础上构建自定义聊天机器人等。

　　注：PaLM 是一种大型语言模型，即 LLM，类似于Open AI 创建的 GPT 系列或Meta 的 LLaMA 系列模型。

　　除了推出 PaLM API 外，谷歌还在其 Vertex AI 平台中扩大对生成 AI 的支持；并推出了一个名为Generative AI App Builder的新平台，该平台“允许开发人员快速发布新体验，包括机器人、聊天界面、自定义搜索引擎、数字助理等。

　　而在3月16日（也就是明天），百度的大模型新项目文心一言（ERNIE Bot），也将迎来正式揭晓的时刻。尽管还不知道它长什么样子、具备怎样的“超能力”，铺垫了一个多月也吊足了大家的胃口。

　　但话又说回来，OpenAI发布的这篇“Technical Report”，说是技术报告，不如说是产品广告+免责声明。毕竟官方无时无刻不在强调，GPT-4仍有局限、缺陷和风险。有AI专家直言，“是一次推广特征更为明显的广告行为”。

　　GPT-4是站在巨人的肩膀上，用此前的技术积累完成迭代，其整体技术相比此前，并没有非常里程碑式的突破，只能说均有优化。

　　更值得注意的是，OpenAI还在官宣GPT-4的内容最后表示，正在开源OpenAI Evals，该软件框架系用于创建和运行评估GPT-4等模型的基准，支持编写新的类来实现自定义的评估逻辑，广邀用户体验。

　　如此看来，GPT-4推出的最大意义或许不在于具体如何改变世界，更在于加快科技发展的进程，向世人展示人工智能的更多可能性，以及为OpenAI打了一波成功广告。