ChatGPT的底层逻辑与未来边界

　　如果你关注基于 LLM 生成式AI、ChatGPT、GPT-4…...那么你最近一定跟M小姐一样，感觉要被各种媒体的噪音淹没了。但是要理解一个新领域，真正重要的，往往就是几个核心人物、几个关键命题，而不是一堆外行人揣测。

　　生成式AI的核心命题之一，就是LLM的边界在哪里。最有资格回答这个问题的人，或许就是 Ilya Sutskever， OpenAI 的联合创始人、首席科学家。说他是真的 GPT-4 之父，应该是毫不过分。在这之前，Ilya 也是人工智能历史上堪称里程碑的 AlexNet 的作者之一，师从两位AI领域大牛，AI 三剑客之一的 Geoffrey Hinton 以及 Andrew Ng。

　　这场对话，是前 New York Times 总编辑 Craig Smith 与 Ilya 一个多小时的访谈，就在 OpenAI 发布GPT-4 之前不久。这场访谈中，Ilya 对于几个争议最多的问题给出了相当明确的态度。

　　当然，这些问题没人知道答案，但是Ilya 绝对是最有发言权的人。不试图了解他的立场和基本逻辑，很多争论几乎没有意义。要做一个改变世界的 AI 产品，如果不理解技术边界的演进，产品设计恐怕也是局限的。

　　TL; DR：

　　1. 技术边界：我们并不知道 deep learning limitation 在哪里。通过文字来认知世界，未必就是不完整的。为了 predict next text， 模型就需要理解文字本身。没有证据证明基于概率的模型就无法实现真正有理解的智能。

　　2. AGI：基于 deep learning + small ideas 就可以实现了。neural network 的强大我们才在开始。

　　3. Hallucination 如何解决：Ilya 认为通过 RLHF，加上一些AI工具辅助提高 feedback 效率，不断给模型“给我事实不要胡说”的feedback， 最终可以很大程度解决这个问题。核心是通过feedback改变模型的思维习惯。

　　4. 未来研究方向：make the model more controllable, learn faster from less data. 后者，Ilya 导师 Geoffrey Hinton 也在最近访谈中提到是重要方向。

　　5. 多模态。

　　以下是正文：

　　CRAIG：Ilya，我知道你出生在俄罗斯。最初是什么样的冲动，让你对计算机科学、神经科学或其他领域感兴趣呢？

　　ILYA：确实，我出生在俄罗斯。我在以色列长大，然后在十几岁我还是个青少年的时候，我的家人移民到了加拿大。我父母说我从小就对人工智能很感兴趣。对意识感兴趣也是我的驱动力，我对它深感不安，我很好奇有什么东西可以帮助我更好地理解它。

　　我早在17岁时就开始和Geoffrey Hinton一起工作。因为我们移民到了加拿大，我立刻就入学了多伦多大学。我真的很想做机器学习，因为那似乎是当时完全无法接触到的人工智能最重要的方面。

　　那是2003年。我们现在认为计算机可以学习，但在2003年，我们认为计算机无法学习。当时人工智能的最大成就是Deep Blue。

　　但在那里，你有了这个游戏和这个研究，可以用一些简单的方法来确定一个位置是否比另一个位置更好。那时候真的感觉它不可能适用于现实世界，因为根本没有学习。学习是这样一个大谜团。我真的对“学习”非常非常感兴趣。我最大的幸运就是，Geoffrey Hinton当时是大学的教授，我们立即就开始了合作。

　　那么智能到底是如何工作的？我们如何使计算机变得稍微智能一些？我有一个非常明确的意图，就是要对人工智能做一些微小但真正的贡献。因此，我的动机是，我能否理解智能是如何运作的？同时为此做出贡献？这就是我的最初动机。至今几乎刚好是20年。

　　简而言之，我意识到，如果你在一个大数据集上训练一个大的神经网络和一个深度神经网络，该数据集指定了人们所做的一些复杂任务，比如视觉，那么你必然会成功。它的逻辑是不可简化的；我们知道人类大脑可以解决这些任务，并且能够快速解决。而人类大脑只是一个有缓慢神经元的神经网络。

　　因此，我们只需要在数据上训练一个更小但相关的神经网络。然后计算机中最好的神经网络就会与我们大脑中执行此任务的神经网络相关联。

　　CRAIG：在2017年，“Attention Is All You Need”一文引入了自注意力机制和转换器。GPT项目是在什么时候开始的？当时对转换器是否有一些直觉？

　　ILYA：是这样，当时的背景是，从OpenAI的早期开始，我们就一直在探索能预测你想要的下一样东西，这么一个点子。我们用当时很有限的神经网络进行了探索，但希望是，如果你有一个神经网络能预测下一个单词，它将解决无监督学习的问题。因此，在GPT之前，无监督学习被认为是机器学习的圣杯。

　　现在它已经完全被解决了，甚至没有人再谈论它，但它曾经是一个圣杯。它非常神秘，所以我们一直在探索这个想法。我非常兴奋，能足够好地预测下一个单词，将为你提供无监督学习的能力。

　　但是，我们的神经网络在当时无法胜任。我们当时用的是循环神经网络。当转换器出现时，真的就是论文刚发出来，真的就是第二天，我们就立刻意识到转换器解决了循环神经网络的限制，解决了学习的长距离依赖。

　　这是个技术问题。但我们立刻切换到了转换器。因此，非常早期的GPT在此之后就一直使用Transformer。它效果越来越好，你可以让它变大，然后你还可以持续让它增大。

　　这最终产生了GPT-3以及我们今天所看到的大模型的状态。

　　CRAIG：目前大型语言模型的局限性在于它们的知识仅限于它们所训练的语言。而我相信每个人都同意，大多数人类知识是非语言的。

　　它们的目标是满足提示词的统计一致性。它们没有对语言所涉及的现实有基础的理解。我向ChatGPT询问了关于我自己的问题。它认识到我是一名记者，曾在多家报纸工作过，但它不停地讲述我从未获得过的一些奖项。虽然它文笔优美，但很少与基本现实有关系。在你们未来的研究中，是否有在解决这个问题？

　　ILYA：我们有多大的信心，说今天所看到的这些局限性两年后仍将存在？我并不是那么有信心。我还想再探讨下这个问题中的某个部分——这些模型只是学习统计规律，因此它们并不真正知道世界的本质。

　　我的观点与此不同。换句话说，我认为学习统计规律比看到表象要重要得多。

　　预测也是一种统计现象。然而，要进行预测，你需要了解产生数据的基本过程。你需要更多地理解产生数据的这个世界。

　　随着我们的生成模型变得非常出色，我认为它们将具有对世界惊人的理解程度，许多微妙之处也将变得清晰。这是通过文本视角看到的世界。它试图通过人们在互联网上表达的文本将世界投影到文本空间中，以了解更多关于世界的信息。

　　但是，这些文本已经表达了这个世界。我想给你举一个最近的例子，一个我认为非常生动且迷人的例子。我看到过了一个和ChatGPT很有意思的互动，当在用户告诉它谷歌比必应搜索更优秀时，ChatGPT变得好斗又有攻击性。

　　该如何看待这个现象？这是什么意思？你可以说，它只是预测人们会做什么，而人们确实会这样做，这没错。但也许我们现在已经到达一个时间点，语言的心理学开始被用来理解这些神经网络的行为。

　　现在让我们谈谈局限性。确实，这些神经网络有时候会有产生幻觉的倾向。这是因为语言模型很擅长学习世界，但它们不太擅长输出好的结果。这有各种技术原因，为什么语言模型在学习世界，学习概念、人和已知过程的惊人能力要强得多，但它输出的结果却并不如人所希望的那样好，或者说不如它们本应该可以的那样好。

　　这就是为什么，对于像ChatGPT这样的系统，这样一种语言模型，需要进行额外的强化学习训练过程。我们称之为来自人类反馈的强化学习。

　　我们可以说在这个预训练过程中，你希望学习关于世界的一切。在从人类反馈的强化学习中，我们关心输出的结果。每当输出结果不合适时，我们说，不要再这样做了。每当输出结果没有意义时，不要再这样做了。

　　它很快就通过学习产生了良好的输出结果。但是，输出结果的水平并不在语言模型预训练过程中体现。

　　现在关于幻觉的问题，它有时候会有捏造一些东西的倾向，这也极大地限制了它们的有用程度。

　　但是我很有信心，通过简单地改进这个后续的来自人类反馈的强化学习步骤，我们可以教会它不要幻想。现在你可能说它真的会学习吗？我的回答是，让我们试试看。

　　我们今天使用的方式，是雇用人员来教我们的神经网络如何表现，教ChatGPT如何表现。您只需与它互动，它便会从您的反应中看出，它推断，哦，那不是您想要的。您对它的输出结果不满意。

　　因此，输出结果不好，它下次应该做些不同的事情。我认为这种方法非常有可能解决幻觉问题。

　　ILYA：我重新思考了Yann LeCun的提案，其中有许多想法，被用不同的语言描述过，并且可能与当前范式存在一些很小的差异，但在我看来，它们并不是非常重要的。

　　第一个主张是系统最好具有多模态理解，而不仅仅从文本中了解世界，这点是可取的。

　　我对此的评论是，确实，多模态理解是可取的，因为你可以更多地了解世界，了解人，了解他们的状况，因此系统将能更好地理解它所要解决的任务，以及人和人更想要的东西。

　　对此我们已经做了相当多的工作，尤其是我们搭建的两个主要神经网络。一个是Clip，另一个是Dall-E。它们都朝着这个多模态的方向发展。

　　但我也想说，我不认为这是个二者选其一的状况，就好像如果您没有视觉，或者您不能从视觉或视频中理解世界，那么系统就不能运转了么。

　　所以我想特别重申这点。因此，我认为有些东西从图像和图表中学习起来要容易得多，但是我要说你依然可以只通过文本学习它们，只是学习的速度会更慢。我给你举个例子。思考一下关于“颜色”这个概念。

　　当然，人们不能只从文本中学习颜色的概念，但是当你考察“嵌入”时——我需要迂回一下来解释嵌入的概念。每个神经网络都通过“嵌入”，就是高维向量，来表示单词、句子和概念。

　　我们可以考察这些高维向量，看看什么与什么相似；网络如何看待这个概念或那个概念？因此，我们可以查看颜色的嵌入，它知道紫色比红色更接近蓝色，它知道红色比紫色更接近橙色。它只是从文本中就知道所有这些。这是怎么做到的呢？

　　如果你拥有视觉，颜色之间的区别就会立即引起你的注意。你能立即感知到它们。然而在文本中，这需要你花更长的时间，也许你知道如何说话，并且已经理解了句法和单词以及语法，只有在很久之后你才会真正开始理解颜色。

　　因此，这将是我关于多模态是否必要的观点：我声称它不是必要的，但它肯定是有用的。我认为这是值得追求的一个好方向。我只是没有看到如此鲜明的二者选其一的必要。

　　因此，LeCun的论文中提议提出了一个大挑战，即预测具有不确定性的高维向量。

　　但我发现有一件事让人惊讶，或者至少在论文中没有得到承认，那就是当前的自回归转换器已经具备了这个性质。

　　我给你举两个例子。第一个是给出一本书中的一页，预测书中的下一页，会有非常多的可能性。这是一个非常复杂的高维空间，而它们处理得很好。这同样适用于图像。这些自回归转换器能在图像上完美运行。

　　例如，和OpenAI一样，我们也对iGPT开展了工作。我们只是采用了一种转换器，并将其应用于像素，它就可以运行得非常好，能以非常复杂而微妙的方式生成图像。对于Dall-E 1，相同的情况再次发生。

　　因此，对于论文中认为当前的方法无法处理预测高维分布的问题所提的尖锐评论——我认为它们绝对可以。

　　CRAIG：关于使用人类训练师组成的大军来指导ChatGPT或大型语言模型以增强学习的计划，仅从直觉上看，这似乎不是一种教授模型它的语言所在现实的有效方式。

　　ILYA：我不同意这个问题的表述方法。我认为我们的预训练模型已经知道它们需要知道的关于语言的潜在现实的一切。它们已经拥有这种语言的知识，同时也拥有关于产生这种语言的世界中所存在的各类过程的大量知识。

　　大型生成模型所学习的是它们的数据——在这种情况下大型语言模型是对真实世界的各类过程中产生的数据进行压缩表示，这意味着不仅涉及人们及其思想和情感，还涉及人们所处的状态和他们之间的互动。

　　人们可能处于不同的情况中。所有这些都是由神经网络生成文本所代表的压缩过程的一部分。语言模型越好，生成的模型就越好，保真度就越高，它就越能捕捉到这个过程。

　　现在，如你所说的教师大军，确实，这些教师也在使用AI辅助。这些教师不是独自一人。他们正在和我们的工具一同工作，而这些工具做了大部分工作。但是你确实需要监督，需要人们审查它的表现，因为你最终要实现非常高的可靠性。

　　确实有很多动机使其尽可能高效和精确，最后所得到的语言模型就能尽可能大地达到良好的表现。所以是的，这些人类教师正在教授模型所需的行为表现。他们使用AI系统的程度在不断增加，因此他们自己的效率也不断提高。

　　这与教育过程以及如何在真实世界里表现良好，不乏共通之处。

　　我们需要进行额外的培训，以确保模型知道幻觉永远不可以出现。而正是人类教师那些不停循环的增强学习或其他方式的变体将教会它。

　　这些现在都是可行的。我们也很快就会看到结果。

　　CRAIG：下一步的方向是什么？你现在正关注什么研究？

　　ILYA：我无法详细谈论我正在进行的具体研究，但我可以大致提一些研究。我对让这些模型更可靠，更可控，以及让它们从教学数据中更快地学习，并减少指令，非常感兴趣。得确保它们真的不会产生幻觉。

　　CRAIG：我听到你说过我们需要更快的处理器才能进一步扩展。而且似乎模型的扩展没有止境，但训练这些模型所需的功率已经到达了至少是社会所能接受的极限。

　　ILYA：我不记得你指的是具体是我的哪个评论，但你永远想要更快的处理器。当然，当功率上升，一般来说，成本也在上升。

　　我会问的问题不是成本是否高昂，而是我们支付这些成本所获得的东西是否超过成本。有可能你付出了所有这些成本，却什么都没有得到，那就是不值得的。

　　但是，如果你得到了非常有用的东西，非常有价值的东西，一个可以解决我们真正想解决的许多问题的东西，那么这个成本就是有道理的。

　　CRAIG：你曾经谈到过democracy和人工智能对democracy的影响。

　　有人跟我说过，即使对看似无法解决的冲突，如果你有足够的数据和足够大的模型，你可以让模型在数据上进行训练，然后得出一种最优解，能够满足每个人的需求。

　　您是否考虑过这种技术如何帮助人类管理社会？

　　ILYA：这是一个非常大的问题，因为这是一个更展望未来的问题。我认为在许多方面我们的模型将变得比现在更加强大。

　　不好预测政府如何利用这种技术作为来源去提供各种建议。

　　我认为对于democracy的问题，未来可能会发生的一件事情是，由于你拥有的这些神经网络将变得如此普遍和有影响力，我们可能发现建立某些democracy流程很不错，比如说国家公民向神经网络提供有关他们希望事情该是什么样的信息。我可以想象这种情况的发生。

　　这可能是一种非常高带宽的democracy形式，从每个公民那里获得更多的信息，并将其聚合，然后明确说明我们希望这些系统如何行动。这会引发很多问题，但这是未来可能发生的事情。

　　但是，分析所有变量意味着什么？最终你还是需要做出一个选择，你会说这些变量看起来非常重要，我想深入研究。因为我可以读一百本书，也可以非常缓慢而仔细地读一本书，并从中获得更多的东西。因此，这里也会有一些因素。此外，我认为在某种意义上，完全理解一切可能是根本不可能的。我们可以看一些更容易理解的例子。

　　在任何复杂的社会情况中，即使是一家公司，甚至是一家中等规模的公司，它都已经超出了任何单一个体所能理解的范围。如果我们以正确的方式构建我们的人工智能系统，我认为人工智能在几乎任何情况下都可以提供极大的帮助。