Chat GPT引发新一轮搜索战争？可能是互联网领域的全面混战｜模型｜谷歌｜数据集

　　文/智物

　　上来就问了Chat GPT这样一个问题：HJT和TOPcon，哪个技术更有前途？他把这两个简称当成是两家德国公司的对比，在稍微介绍两家公司的情况之后，Chat GPT会强调自己只是一个AI模型，不能给出专业的投资参考。

　　这是这个模型被认为最大的进步之一，能够理解自己的局限性，尽量不给出错误的回答，引来不必要的麻烦。这个模型会不厌其烦地在回答的开头，先把自己作为一个计算模型的事实说出来，亮着光标在那里慢慢酝酿真正的答案。

　　当我请求Chat GPT以一位好朋友的名字，写一个古典武侠风格的小说，要求有一个浪漫的结局，男主人公像韦小宝一样，多妻多子。

　　Chat GPT拒绝了。他或者是她，回应说，他不想提到生育问题，不会涉及情色内容。当你跟他聊个股，他也会首先强调，自己只是一个算法模型，提醒你投资风险。

　　近期，OpenAI首席执行官Sam Altman发言时提到，自己曾经错认为，AI更适合那种简单、重复的工作。但是，最近他觉得AI也可以胜任一些创意性的工作。

　　

　　Altman本人也许没有从事过他所设想的让AI去替代的那些工作。延迟至今日，再来谈论这样一个大话题，不想再赘述这个技术可能带来所谓潜力和意义，甚至是风险。《智物》团队看到几个关键点不在Chat GPT本身：

　　——这样的一个技术方向，会重新挑起沉寂20年的搜索战争，让Bing或者OpenAI自己，乃至其他的创业公司挑战谷歌、百度的地位吗？难度在于，谷歌、百度这些让人生厌的老朽，又都是个中高手，都是全球AI技术的领导者，新挑战者应该并无胜算。

　　——沿着Transformer的路径，GPT、BERT、CLIP等新技术，打通了机器视觉和自然语言的藩篱，给中国各个AI独角兽的启发是，AI不能只是靠人脸识别业务吃饭，被地方政府、金融机构短期的商业需求俘获，从目标来说就已经输了。

　　——搜索在其诞生之初就显示了比简单的展示广告精准之处，Chat GPT更像是证明了将过去20年机器视觉的技术路线，应用于自然语言技术的成功，但似乎不是一个好的商业化形态。在耐心看完各路大神对GTP系列几篇论文介绍解读，耐心体验了Chat GPT中英文环境的体验之后。

　　《智物》的浅见，最应该颠覆、已经可以被颠覆的可能不是搜索，而是当前众多人神共愤的鼠标水泥生意，我们在前面很小心地提到过这些生意的内容。

　　过去10年，智能硬件空有一副好皮囊，包括电动汽车、折叠屏手机都是如此。而AI则是站在乌龟背上的兔子，花架子多于硬功夫，除了人脸识别、推荐系统、竞价广告，看不到实际落地。

　　技术演进到Chat GPT，机器视觉和自然语言的技术路径相互打通融合，智能硬件和AI有可能有更好的结合形式吗？灵魂跟上肉体，或者肉体注入灵魂，还是从一开始就搭建一个新时代的机器？

　　大力出奇迹，智能主要还得靠人工

　　可以理解OpenAI在Chat GPT领域的谨慎设置。之前Meta、微软、Google之前人工智能项目，屡屡因为各种社会禁忌，成为各路西方媒体炮轰的焦点，多次导致AI项目改动，甚至是下线。

　　OpenAI团队将无害化处理列在有效之前，自有其苦衷。

　　GPT一词来自于OpenAI这一系列的首篇论文，使用通用预训练模型来提升语言理解能力，General Pre Training——通用预训练，被缩写成GPT。

　　在GPT论文发布的前一年的2017年，谷歌人工智能团队发布了自然语言系列的奠基之作Transfomer。

　　OpenAI利用了Transformer解码器，在没有标注的文本数据上做训练，获得一个预训练模型，然后在子任务上微调做分类器做法，类似于计算机视觉领域的做法。

　　这一思路又启发了谷歌。4个月之后，谷歌的团队发布了BERT，把Transformer的编码器拿过来，收集一个更大的数据集做训练，效果比GTP好很多。

　　可以聊几句，有还需要提升

　　知耻后勇的OpenAI在几个月之后马上发布了GTP-2，在GTP原有的技术路线基础上，用更大的数据集，继续深入挖掘语言模型的潜力。

　　真正让Open AI的工作得到外界认可，是在又过了一年之后推出的GTP-3。2020年6月，Open AI在原有GTP-2的基础上将其数据维度扩大了100倍，效果相当惊艳。

　　大力出奇迹。这是广大AI行业同仁对OpenAI羡慕嫉妒式的定位，也基本如此，Transformer、BERT之流的谷歌派聚焦机器翻译等具体问题入手，一看就是大公司政治的实际路线决策。

　　作为创业公司的OpenAI，目标自创立之初就是强人工智能。一度强调自己不盈利，潜台词是可以不用太在意具体成本，尤其是在拿到微软的战略投资，榜上Azure这棵可以免费的大树之后，当然可以使用更大规模的算力集群去做训练。

　　但是，这一次Chat GPT却一反常态，没有再将此前高达170亿数据参数纬度，再扩大100倍，而是一反常态，为了解决多轮对话的流畅性、有效性，尤其是安全性问题，OpenAI一贯的大力高手，无监督、自监督旗帜，转而寻求标注标注、模型调参。

　　Instruct GPT的概要讲述了他们的工作出发点，模型变大并不会让数据模型更能符合人们的预期需要，大模型也会生成有害、无用、不真实的信息。

　　OpenAI能自己承认这些事情，说明他们找到了解决方案。对此，机器学习大神李沐对Instruct GPT做了极为清晰、深入浅出的介绍。

　　Instruct GPT这个模型当中，OpenAI对收集到的各种问题，经过人工标注写出答案形成了一个数据集，用以对之前的GPT-3做一个训练微调，fine tuning with Human feedback，也就是人工打标签的稍微文雅的另外一个说法。

　　并非仅此而已。在以上基础上，模型输出的每一组回答，用人工进行排序选择优劣，得到另外一个新的数据集。

　　OpenAI诸位强化学习大师的擅长领域到了。在新的数据集的训练之后，Instruct GPT也就顺利诞生，而在此基础上，OpenAI又进一步根据多轮对话的特殊需要，进行了各种human feedback的fine tuning，想来也不过是人工标注、调参的套路。

　　问题是，Instruct GTP以及后面的Chat GTP，这样一套老土的方案，在GTP-3的基础上更进一步，而且数据维度大幅降低从173亿变成了13亿，效果还比GTP-3要好。Chat GPT的诞生之路，一点都不是OpenAI原有的大力出奇迹的既有法则，而是与人工标注数据的结合。

　　搜索战争？网景时刻还是iPhone时刻

　　Chat GPT的这种技术设计，是他们能去掉模型输出答案有害性，避免把自己的老板送上头条的重要原因。也是他不肯替笔者，畅想一篇我的某个朋友为主角的情色小说的原因，这是很大的进步。

　　还有，这也是他能清楚地告诉我菜谱、酒店、景点信息的重要原因，有效性极大提升。

　　李沐讲述了Chat GPT，GPT和BERT相同之处，都是将机器视觉中的深度学习思路引进到了自然语言当中。这可能是未来一段时间内，全球AI发展的通衢大道。

　　不久前，微软公司在一个小型发布会上，宣布将Chat GPT引入到Bing，微软公司的CEO纳德拉，以及其高管纷纷表态，这会是下一代的搜索引擎发展的重要时刻。《华尔街日报》还有其他科技媒体，也纷纷跳出来讨论，这一场新的搜索战争的开端。

　　《经济学人》也认为这会是一个改变谷歌统治了20年，万亿搜索市场的巨大机会。但是，该刊倒是出言谨慎，Chat GPT的商业模式究竟如何还未定。该刊有几个跟《智物》团队一直以来强调的趋势，非常相近的观察。也许，我们次序说反了，是我们和《经济学人》类似。但是，我们很快就会说到具体内容。

　　

　　一向擅长预测的Fortune杂志，将Chat GPT比喻为互联网的网景时刻。老气横秋的春秋笔法，其意图其实是指Chat GPT更像是互联网时代死掉的网景，而不是后来的IE、雅虎之类大获成功的互联网门户模式。

　　中国的一个科技开发者社区媒体第一个将Chat GPT描述为iPhone时刻，也难怪这个媒体的某位知名人士很快宣布，加入了一家中国Open AI为目标的项目。

　　Instruct GPT和Chat GPT本身的数据维度和训练费用应该是大幅降低。但问题是，OpenAI是在GTP-3的模型上开始的工作，其中的成本仍旧不小。斯坦福大学一个关于GTP-3的课程当中，一位名叫克里斯多夫 Potts的教授提到，这个模型预估的费用是5000万美金。

　　Potts教授的结论和预测比多数人都会客观，再过几年，我们将会很困惑，我们的客服代表究竟是人还是机器。许多写作相关的工作，包括学生的论文将会是在AI助手的帮助下完成的，现在已经是了。

　　但是，即使有5000万美金的预算，Potts教授本人也不想再去做一个拷贝的Chat GPT。面对谷歌、微软、百度这样的搜索巨头，再一个改进版的搜索平台，价值究竟有多大？

　　Fortune的分析更有说服力，至少当前的Chat GPT更像是网景而不是iPhone，还不是一个优雅、完善、有效的产品。谷歌此前的聊天系统Lamda也具备了类似的功能，但只是碍于自己搜索老大的身份，而没有上线这个对话系统。但是，当时就有工程师透露，谷歌其实采用了其中类似的模型和算法。在谷歌新闻页面当中，看到了类似对于文本信息的处理能力。

　　从真实的体验效果来看，Chat GPT的加入没有让Bing变成一个更有效的搜索工具，而且从路径来看，以后也很难，只是变的有趣而已，一半滑稽、一半新奇。GTP-3、Instruct GPT所展现的在自然语言方面的能力，与微软Windows PC以及硬件系统之间，缺少化学反应。

　　微软这些传统、老旧，稍显丑陋的机器，不是Chat GPT最好的肉身载体。Bing赢不了谷歌，在OpenAI网页的搜索变现服务商商都是谷歌。

　　此时此刻，或许iPhone、特斯拉会更合适。一个名叫Apple circle的youtube博主，说iPhone 15是the end of Google search，其中提到，谷歌每年上百亿美金的赞助费用，换得iPhone搜索框的独家合作权益。此前，外媒已经详细报道过苹果在搜索方面的投入。

　　苹果最该和广告至上的谷歌开战。Chat GPT这种新型态的出现，会指引到iPhone搜索技术的路径吗？Chat GPT这一类多轮对话系统，所展现出的潜力，以及替代能力，锋头所指似乎不是搜索。而是如今，人神共愤的差旅出行软件，以及送餐、快递服务，还有打车软件的APP形态。

　　问题是，这一类的服务更多出现在中国市场。而有能力做类似创新的公司，又都被这些出行软件、点餐服务公司长期包养。会有中国公司跳出来，挑战这个格局吗？

　　特别声明：以上文章内容仅代表作者本人观点，不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。