浙江大学人工智能研究所所长吴飞：ChatGPT的训练门槛是1万张英伟达V100芯片、约10亿

　　今日(4月8日)，由中国学会主办的“大模型技术高峰论坛”主论坛在杭州萧山启幕。论坛上，CAAI工委会主任、浙江大学研究所所长、求是特聘教授、国家杰青获得者吴飞发表演讲。

　　吴飞教授作了《从ChatGPT到GPT-4的分析与思考》主题报告，他指出，在ChatGPT的技术路线中，数据是燃料、模型是引擎、算力是加速器。

　　具体而言，数据方面，训练中使用了45TB数据、近1万亿个单词(约1351万本牛津词典所包含单词数量)以及数十亿行源代码。模型方面，包含了1750亿参数，将这些参数全部打印在A4纸张上，一张一张叠加后，叠加高度将超过上海中心大厦632米高度。算力方面， ChatGPT的训练门槛是1万张V100芯片、约10亿人民币，模型训练算力开销是每秒运算一千万亿次，需运行3640天(3640 PetaFLOPs per day )。

　　吴飞表示，ChatGPT和GPT-4中以“共生则关联”为核心的概率统计模型，体现了“计算独大、表示丰富和机理式微”的特点，这也反映了计算机所体现的“试错与暴力”优势。吴飞还在报告中分析了GPT所包含1750亿参数的涌现了合成能力，是多者异也的结果。吴飞表示：“我们不仅需要善于制造工具，还要善于去利用ChatGPT这个工具开创更加美好的时代，因为在人和人造物协同共长的时代，人有人的作用。”