微软为ChatGPT打造专用超算！砸下几亿美元，上万张英伟达A100打造

　　微软砸下大几亿美元，专门为训练 ChatGPT 打造了一台超算——

　　上万张英伟达 A100 芯片打造，甚至专门为此调整了服务器架构，只为给 ChatGPT 和新必应 AI 提供更好的算力。

　　

　　△图源：微软

　　不仅如此，微软还在 Azure 的 60 多个数据中心部署了几十万张 GPU，用于 ChatGPT 的推理。

　　有网友感慨：果然还是得靠钱生钱啊 ~

　　

　　还有网友调侃，微软数据中心服务器终于多了个新用途：

　　虽然不是真的，不过想象微软数据中心的某些服务器用途，可能一半是 Xbox 的 xCloud，另一半是 ChatGPT。

　　

　　微软为什么打造这个超算？

　　事实上，这台超算并非最近才开始打造。

　　据微软表示，他们给 OpenAI 提供这台超算已经有 3 年之久，而 ChatGPT 也正是基于这台超算提供的算力训练的。

　　这是因为，OpenAI 在最初商量与微软合作时，曾经就算力方面的事情进行过协商。

　　OpenAI 认为，如果微软想给自己提供算力，就必须在 Azure 云计算平台上 " 腾出 " 一部分巨大的算力单独给它们使用，且确保它们不与 Azure 提供的其他服务产生冲突。

　　微软答应了这一条件，特意给 OpenAI 提供了一台超算，用于各种大模型训练。

　　

　　△图源：微软

　　当然，微软也不是白白给 OpenAI 提供超算服务的，背后肯定有自己的考量。

　　其一，吸引更多企业来使用 Azure 训练自己的大模型。微软执行副总裁 Scott Guthrie 表示：

　　虽然它是 OpenAI 的定制版，但同样具备某种通用性，任何企业都可以基于这种方式来训练自己的大语言模型。

　　其二，直接在 Azure 中提供 OpenAI 模型服务（Azure OpenAI Service）。

　　此前包括 GPT-3、Codex 和 DALL · E 2 等模型，都已经接入 Azure。

　　至于纳德拉 1 月份立的 " 要把 ChatGPT 加入 Azure 服务 "flag，目前也已经实现。

　　

　　官网还特意给 ChatGPT 相关服务贴了个高亮标签：

　　

　　这波属实是微软用 ChatGPT，再次宣传了一波自己的云服务（手动狗头）。

　　当然，基于英伟达 A100 打造的超算也不是微软 Azure 的最新技术。

　　据微软表示，他们还将基于英伟达 H100 和网络技术，推出 Azure 最新的 AI 虚拟机产品。

　　国内 ChatGPT 云厂商现状？

　　那么，国内云厂商是否会因为 ChatGPT 被带动起来一波？

　　事情并不如想象中简单。

　　目前来看，国内公开表示拥有 1 万张英伟达 A100 的企业只有幻方量化。

　　据幻方官网显示，2022 年 3 月由于需要发展量化金融业务，他们构建了一个名为萤火二号的 AI 集群，拥有一万张英伟达 A100。

　　至于其他企业，据《财经十一人》介绍，国内 GPU 持有量超过 1 万张的企业不超过 5 家，即使规模最大的企业也不超过 5 万枚，而且这里面有不少都是英伟达中低端数据中心芯片。

　　显然，相比微软能给 ChatGPT 投入大量算力、或是像 Facebook 和谷歌一样动辄能采购几千上万张 GPU，算力是国内厂商做 ChatGPT 的另一大难点。

　　在以 ChatGPT 为代表的大模型技术上，软硬件都还有不少难关要攻克。

　　参考链接：

　　[ 1 ] https://twitter.com/satyanadella/status/1615156218838003712

　　[ 2 ] https://azure.microsoft.com/en-us/products/cognitive-services/openai-service#overview

　　[ 3 ] https://www.high-flyer.cn/blog/hfai/

　　[ 4 ] https://new.qq.com/rain/a/20230305A07EU900

　　[ 5 ] https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/

　　[ 6 ] https://www.theverge.com/2023/3/13/23637675/microsoft-chatgpt-bing-millions-dollars-supercomputer-openai