ChatGPT之父提新版摩尔定律！宇宙智能数量每18个月翻一番

　　新智元报道

　　编辑：编辑部

　　【新智元导读】一直以来，半导体行业有自己的摩尔定律。今天，ChatGPT之父Sam Altman提出了新版摩尔定律，即宇宙中的智能数量每18个月翻一番。

　　今天，「ChatGPT之父」Sam Altman在社交媒体称，

　　一个全新的摩尔定律可能很快就会出现，即宇宙中的智能数量每18个月翻一番。

　　观点一出，直接炸了一波。

　　就连马库斯坐不住了，向其泼了一盆冷水，直言道，是AI的炒作量每18个月翻一番。

　　那么，对于Altman提到的宇宙中智能数量，我们该用什么指标来衡量这种增长？

　　根据现有的研究可以推测，一种拟合的评估方式如下：

　　- 运算能力

　　- 学术刊物

　　- 专利数量

　　- 数据存储

　　新版摩尔定律，也要背靠算力

　　一直以来，摩尔定律是半导体行业背后奉行的金科玉律：每隔18-24个月，封装在微芯片上的晶体管数量便会增加一倍，芯片的性能也会随之翻一番。

　　而如今，ChatGPT爆火出圈，是继2016年AlphaGo战胜李世石后，人工智能又一重大进步。

　　根据「2022年人工智能现状报告」，机器学习中的计算需求加速增长。根据每个模型的训练计算量翻倍的时间，它确定了机器学习的三个时代。

　　前深度学习时代（2010年前，训练计算量每20个月翻一番），深度学习时代（2010-15年，每6个月翻一番），以及大规模时代（2016年至今，100-1000倍增长，然后每10个月翻一番）。

　　要知道，ChatGPT的诞生，以及人人能够访问ChatGPT背后离不开的是算力。

　　在最新的财报会议上，

　　摩尔定律在其最好的日子里，可以在十年内实现 100 倍的增长。通过提出新处理器、新系统、新互连、新框架和算法，并与数据科学家、AI研究人员合作开发新模型，在整个跨度中，我们已经使大型语言模型的处理速度提高了一百万倍。

　　换句话说，没有英伟达，就没有ChatGPT。据称，这一模型运行在10,000个英伟达GPU上。

　　像GPT-3这样的大型语言模型需要大量计算能力来进行初始训练。

　　即使是用于训练模型的最大GPU的内存容量也有限，而需要多个处理器并行运行。

　　那么，使用ChatGPT进行实时查询，也是需要多个处理器。

　　英伟达和微软研究论文称，有1750亿参数的GPT-3模型在单个V100上估计训练需要288年。即使我们能够在单个GPU中拟合模型，所需的大量计算也会带来不切实际的漫长训练时间。

　　使用并行运行的处理器是加快速度的最常见解决方案，但也有局限性，因为超过一定数量的GPU，每个GPU的批处理量变得太小，进一步增加数量变得不可行，反而增加了成本。

　　这样一来，GPU的处理能力成为先进人工智能模型的前提。

　　位于爱丁堡大学的超级计算中心，英国电子政务委员会(ePCC)主任Mark Parsons教授称，最大极限是使用大约1000个GPU，而解决这一问题最可行的方法是一台专用的人工智能超级计算机。

　　即使GPU可以变得更快，但瓶颈仍然存在，因为GPU和系统之间的互连不够快。

　　随着GPT和其他大模型不断发展，并行训练的一些难点正在得到解决。

　　AI论文发表量倍增

　　另外，全球学术出版物和专利也是衡量宇宙智能数量的标准。

　　2022斯坦福AI指数报告显示，过去十年，全球AI论文发表量实现翻番，从2010年的162444篇增长到334497篇，且逐年递增。

　　具体而言，模式识别和机器学习领域的论文，仅2015年至2021年的6年间，就实现了倍增。

　　其它诸如计算机视觉、数据挖掘和自然语言处理等领域，保持了比较平稳的发展。

　　在专利方面，根据世界知识产权 (WIPO) 报告，2021年共提交了340万件专利申请，是有史以来最高的年度总数。

　　在全球范围内，专利申请从1995年的100万件增加到2010年的200万件，然后是2016年的300万件。

　　2021年，亚太国家占全球专利申请的三分之二以上，其中中国以近160万件专利申请领先。日本的专利申请总量位居第三，超过28.9万件。

　　在亚太地区之外，美国以略高于590,000的记录位居第二。

　　听君一席话，如听一席话

　　IEEE/ACM Fellow，IBM研究院软件工程首席科学家Grady Booch：

　　对于Altman这一句话给大家整的也挺懵圈，智能，到底是什么智能？

　　他说的是 「智能」，并没有把增长限制在人工智能甚至软件上。

　　有网友端上了Intelligence的定义。

　　有网友直接将其称为，Altman's Law。

　　ChatGPT，看科技大佬点评

　　1. Bill Gates

　　人工智能具有改变世界的力量，与个人电脑和互联网同样重要。ChatGPT仍不完美，比如回答数学问题时出现明显错误，不过他目前还是对其在教学、提供医疗建议等方面的应用潜力感到兴奋。

　　2. 谷歌首席执行官Sundar Pichai

　　人工智能是Alphabet正在开发的最深刻的技术。面对ChatGPT崛起，谷歌也正在开发AI驱动的聊天机器人Bard并在二月初向公众演示，计划在未来几周内发布。

　　3. 微软首席执行官Satya Nadella

　　Nadella对人工智能持乐观但谨慎的态度。微软正在大踏步建立AI技术，已经推出了配备对话式聊天机器人的新必应搜索引擎，但对于更加强大的AI，Nadella坚持人类需要有不容置疑的掌控能力。

　　4. Elon Musk

　　马斯克表示人工智能是未来文明的最大风险之一，它承载着巨大的希望，也隐含着巨大的危险，因此即使对于人工智能的监管是必要的，即使这可能一定程度上阻碍其发展。事实上，在与Sam Altman共同创立OpenAI时，他就认为人工智能是人类最大的威胁之一。

　　5. 苹果联合创始人Steve Wozniak

　　Wozniak认为ChatGPT对人类是十分有帮助的，但我们应当警惕它可能因为不了解人性而犯下的严重错误。这类似于人们对自动驾驶的警惕，我们了解人会做什么而清楚其他司机的反应，如果由AI来驾驶我们可能无法感到安心。

　　6. John Carmack

　　随着ChatGPT等AI工具的兴起，人工智能正向着复制人类功能的目标迈进，也许在短短十年内AI就能做到像人类一样思考和行动。

　　7. 互联网之父Vint Cerf

　　Cerf希望投资者在向人工智能倾注金钱时慎重考虑，毕竟技术并不总按人们所希望或者媒体所炒作的道路发展，引发变革的关键还是在于人类本身。

　　参考资料：

　　twitter.com/sama/status/1629880171921563649

　　https://www.businessinsider.com/elon-musk-bill-gates-business-leaders-quotes-on-chatgpt-ai-2023-2#bill-gates-american-business-magnate-and-cofounder-of-microsoft-1

　　https://www.pcgamer.com/nvidia-predicts-ai-models-one-million-times-more-powerful-than-chatgpt-within-10-years/

　　https://techmonitor.ai/technology/ai-and-automation/chatgpt-ai-compute-power

　　https://www.weforum.org/agenda/2022/12/innovation-patent-filings-intellectual-property-ip-applications/