ChatGPT标注数据比人类便宜20倍，80%任务上占优势

　　又一 " 人类饭碗 " 被 AI 抢走，还是和训练 AI 息息相关的：

　　数据标注。

　　苏黎世大学研究发现，在 ChatGPT 面前，无论成本还是效率，人类可以说是毫无优势：

　　成本上，ChatGPT 平均每个标注成本低于 0.003 美元，比众包平台便宜 20 倍；

　　效率上，在相关性、立场、主题等任务中，ChatGPT 也是以 4:1 的优势 " 碾压 " 人类。

　　

　　论文发出后，有网友调侃，" 生成训练数据需要人工 " 的说法已经成为过去式了。

　　

　　还有人直呼 " 古籍修复数字化工作是不是有希望提速了 "。

　　

　　还有人看热闹不嫌事大，直接发推称：

　　这是直接端了平台工作者的饭碗。

　　

　　话说回来，ChatGPT 是怎么抢了数据标注工作者的 " 饭碗 " 的？

　　ChatGPT 在 80% 任务上占优势

　　首先得先了解下数据标注工作的具体内容。

　　简单来讲，数据标注就是给社交媒体上的内容数据贴标签，将其以不同主题或者概念进行分类，或是对其立场以及情绪进行判别。

　　这些经过标注的数据就可以用作 NLP 模型的训练集或是评估标准。

　　以往，这类工作都是交由人工处理的，比如说 MTurk 就是专门进行数据标注的一个众包平台。

　　在 MTurk 这类众包平台内部，还会有更加精细的分工，比如说会有经过专业训练的数据标注者以及众包工作者。

　　前者在产出高质量数据上具有优势，但自然成本也更高，而后者虽然更便宜但质量也会随任务难度波动。

　　于是研究团队就开始着手研究大语言模型（LLM）在这方面的潜力，并且对比了没有额外训练（zero-shot）的 ChatGPT（基于 GPT-3.5）和 MTurk 在数据标注上的性能。

　　这项对比基于研究团队此前收集到的 2382 条推文样本。

　　ChatGPT 和 MTurk 分别将推文以 " 相关性、立场、主题、政策、实用性 " 这五种任务进行标注。

　　评估的标准有两条：

　　准确性：ChatGPT 和 MTurk 众包工作者相较于正确标注的百分比；

　　编码者间的一致性信度：用 ChatGPT、MTurk 众包工作者以及专业数据标注者任意二者之间的一致性来计算；

　　结果呢也显而易见，在准确性上，ChatGPT 有五分之四的任务都要优于 MTurk 众包工作者。

　　在一致性信度上，ChatGPT 全部任务都超过了专业数据标注者。

　　

　　成本方面，开头也已经提过，ChatGPT 平均每条比人工便宜 20 倍，何况 AI 还能 24*7 无休。

　　

　　不过对于研究团队得出的这个结论并不是所有网友都买账，有人表示：

　　这五条任务都太单一了，难度也是。仅凭这一点就得出这样的结论可靠性存疑。

　　

　　甚至还有网友嘲讽了起研究样本太少来：

　　（竟然）只用2382 条推文做样本。

　　

　　" 饭碗威胁 " 不止数据标注

　　现在，AI 会不会完全取代某一类工作还不好说，但它会在一定程度上影响人类工作是毋庸置疑的。

　　上周，OpenAI 就发布过一份分析报告，称有 80% 的工作都会在一定程度上受到 ChatGPT 的影响，19% 的岗位会受到 ChatGPT 的严重冲击。

　　并且薪资越高的职业受到的冲击就越大。

　　OpenAI 还进一步列出了会被影响的具体职业，从大到小依次是：

　　翻译从业者、文字创作者（包括诗人、作家等）、公关人员、数学家、税务编制人员、区块链工程师、财务工作者、媒体从业者……

　　

　　△图源：OpenAI

　　除此之外，OpenAI 的 CEO 奥特曼也不止在一个场合下说过 "AI 会取代现有的部分工作 "。

　　前不久，MidjourneyV5 大升级也是让不少人类画师直呼饭碗不保。

　　

　　emmmmmm，你觉得你的饭碗还保得住吗？

　　论文地址：

　　https://arxiv.org/abs/2303.15056

　　参考链接：

　　https://twitter.com/arankomatsuzaki/status/1640521970608402435