cha

事件:据媒体报道,今日openAI不支持ChatGPT的Plus付费,原因是需求量太大,以至于Ope

  来源:雪球App,作者: 冒烟的计算器,(https://xueqiu.com/9887536257/246603843)

  事件:据媒体报道,今日openAI不支持ChatGPT的Plus付费,原因是需求量太大,以至于OpenAI不得不暂停Plus的销售,且尚未公布何时恢复。

  新AI爆火,流量爆炸后算力稀缺,显然openAI作为2个月前的一家小公司,尚未在大规模运营方面做好充足的算力准备,因此问题的核心是:缺算力到底缺的是什么?大模型爆火缺的是训练算力、chat流量爆棚缺的是推理算力。

  1、从训练侧来看,根据我们从国内某头部互联网大厂云计算相关部门草根调研,大模型训练需经过无监督学习出预训练模型、有监督学习数据集,奖励学习,强化学习暴力计算四个阶段,训练过程一般在1个月左右,超过2个月则不具备工程和商业落地价值。因此需要大规模GPU服务器组网训练。从经验来看,GPT3级别模型需要大约1000张A100级别的训练卡才能确保在一个多月时间完成训练。如果是GPT4J级别多模态训练,则需要在每个模态分别训练收敛,最后在全局收敛,训练成本又在GPT3基础上大幅增长数倍乃至十数倍、数十倍。当前国内大模型训练爆火,相关企业、团队不下10家,垂类模型如同花顺(金融)、云从(多模态)等则更多,因此训练侧需求爆棚,相关GPU、服务器、光模块乃至PCB、serdes、HBM等需求将持续爆棚才能确保不打输当前的军备竞赛。

  2、但就openAI不支持ChatGPT的Plus付费而言,更多的问题出在推理测。与训练侧不同,当模型训练完成、应用场景固定,通过对模型进行裁剪、优化参数网络存储、降低精度降低存储量和计算强度降低对显存、片间带宽和算力的要求,可以降低对单张卡的算力要求。但推理直接服务用户和应用,面对的是上亿(360)、数亿(淘宝)、十亿(微信、tiktok、tw、fb、google)等海量流量的冲击,所需要的算力规模无比巨大,从经验来看远大于推理侧的算力需求。

  因此关注openAI不支持ChatGPT的Plus付费对训练、推理两条线的影响:对训练侧,主要影响在于爆火刺激大模型研发相关方积极投入为未来的AI红利抢占先机;对推理侧,openAI当前用A100支持推理侧直面海量用户的策略遭受巨大挑战,也预示着未来推理侧算力的巨大红利尚待挖掘


您可能还会对下面的文章感兴趣:

登录 注册 退出