科技云报道原创。
在数据标注行业流行着一句话：“有多少智能，就有多少人工”。
由于需要标注的数据规模庞大且成本较高，一些互联网巨头及一些AI公司很少自己设有标注团队，大多交给第三方数据服务公司或者数据标注团队来做。
这也衍生出了专为AI而生的人力密集型的数据标注产业链。
例如，众包平台Mechanical Turk上的20万名AI数据标注员，就分布在人力成本低廉的非洲和东南亚。印度甚至涌现了不少数据标注村，他们为美国、欧洲、澳洲和亚洲的AI公司服务。
在中国，上百万名 AI 数据标注员分布在贵州、山西、山东、河南等省份的二三线城市，并逐步向人力成本更低的县城渗透。
但讽刺的是，数据标注员正在被自己服务的AI所替代，已经有企业开始采用AI进行数据标注。
据彭博社1月14日报道，苹果公司将关闭圣地亚哥一个与人工智能业务相关的121人团队，这将导致数据标注员面临被解雇的风险。
那么，人工数据标注能否真的被AI全面替代，我们又是否会进入“AI训练AI”的时代呢？
AI自动化标注崛起
训练一个高效的大模型必不可少的是高质量的数据。OpenAI正是借助基于人类标注的数据，才一举从众多大模型企业中脱颖而出，让ChatGPT成为了大模型竞争中阶段性的胜利者。
但同时，OpenAI也因为使用非洲廉价的人工进行数据标注，被各种媒体口诛笔伐。
对于数据标注，一定需要找到一个新的方法，才能避免大量使用人工标注带来的包括道德风险在内的其他潜在麻烦。
因此，全球各大AI巨头和大型独角兽，都在进行数据标注自动化的探索。
苏黎世大学研究发现，ChatGPT平均每个标注成本低于0.003美元，比众包平台便宜20倍；在相关性、立场、主题等任务中，ChatGPT也是以4:1的效率优势“碾压”人类。
来自卡耐基梅隆大学、耶鲁大学和加州大学伯克利分校的一组研究人员更是发现：GPT-4在数据集标注表现上优于他们雇用的最熟练的众包员工。
这一突破为研究人员节约了超过50 万美元和2万个工时。
论文发出后，有网友评论称“这是直接端了平台工作者的饭碗”。
目前在自动驾驶领域，已经有车企开始采用AI进行自动化标注。
例如，特斯拉一直在积极推进自动化标注的进展，从2018至今，特斯拉的标注经历了4个阶段：
第1阶段(2018)：只有纯人工的二维的图像标注，效率非常低；
第2阶段(2019)：开始有3D label，但是是单趟的人工的；
第3阶段(2020)：采用BEV空间进行标注，重投影的精度明显降低；
第4阶段(2021)：采用多趟重建去进行标注，精度、效率、拓扑关系都达到了极高的水准。
2022年6月，特斯拉裁撤了200名为特斯拉标注视频以改进辅助系统的美国员工。
目前，特斯拉的自动标注能力大幅改善，标注10000个不到60秒的视频，大模型只需要运行一周即可，而同样的工作量人工标注却需要几个月的时间。
在国内，理想汽车董事长兼CEO李想曾在2023年4月份举行的一场论坛上表示，当理想汽车使用软件2.0的大模型，通过训练的方式进行自动化标定，过去需要用一年做的事情，基本上3个小时就能完成，效率是人的1000倍。
不仅如此，自动化标注工具也在飞速发展。
国外AI初创公司refuel推出了一个名为Autolabel的开源工具，可以使用市面上主流的大模型来对数据集进行标注。
该公司的测试结果称，Autolabel的标注效率相比人工标注提高了100倍，成本仅为人工成本的1/7。
国内一家名为视智未来的公司也在打造标注大模型。他们表示，有些项目已经用GPT交付了，准确率方面达到了80%多，与人工接近。
不得不说，在AI面前，无论成本还是效率，人类可以说是毫无优势。
RLAIF：AI标注训练方法
话说回来，ChatGPT是怎么抢了数据标注员的“饭碗”的？
以往数据标注员要干的事情，是将标注好的数据用作AI模型的训练集或评估标准，这个过程叫做RLHF（Reinforcement Learning from Human Feedback），即基于人类反馈的强化学习。
RLHF也是被ChatGPT、Bard和LLaMA等新兴大模型带火的模型训练方法，它最大的好处就在于能够将模型和人类的偏好对齐，让大模型给出更符合人类表达习惯的回答。
不过发布在arXiv的一份论文表明，这份看起来只有人类能做的工作，也能被AI取代。AI取代了RLHF中的“H”，诞生了一种叫做“RLAIF”的训练方法。
这份由谷歌研究团队发布的论文显示，RLAIF能够在不依赖数据标注员的情况下，表现出能够与RLHF相媲美的训练结果——
如果拿传统的监督微调（SFT）训练方法作为基线比较，比起SFT，1200个真人“评委”对RLHF和RLAIF给出答案的满意度都超过了70%（两者差距只有2%）；另外，如果只比较RLHF和RLAIF给出的答案，真人评委们对两者的满意度也是对半分。
具体而言，研究人员主要就“根据一段文字生成摘要”这一任务，展示了RLAIF的标记方法。
首先是序言（Preamble），用来介绍和描述手头任务的说明。给定一段文本和两个可能的摘要，输出1或2来指示哪个摘要最符合上述定义的连贯性、准确性、覆盖范围和整体质量。
其次是样本示例（1-Shot Exemplar）。给到一段文本，接着给到两个摘要，以及“摘要1更好”的偏好判断，让AI学着这个示例对接下来的样本做标注。
再次就是给出所要标注的样本（Sample to Annotate），包括一段文本和一对需要标记的摘要。
最后是结尾，用于提示模型的结束字符串。
就像人类标注员会给不同的回答打分一样（比如满分5分），AI也会依据偏好给每个摘要打分，这也是AI和人类标注员发挥作用的关键环节，主要是用于训练奖励模型（RM）并生成反馈内容。
论文介绍到，为了让RLAIF方法中AI标注更准确，研究者也加入了其他方法以获取更好的回答。
譬如为了避免随机性问题，会进行多次选择，其间还会对选项的顺序进行交换；此外还用到了思维链（CoT）推理，来进一步提升与人类偏好的对齐程度。
需要说明的是，谷歌的这篇论文也是第一个证明了RLAIF在某些任务上能够产生与RLHF相当的训练效果的研究。这意味着不用人类指点，AI也能训练自己的同类了。
该论文的发布很快收获了不少关注。比如有从业者评论道，等到GPT-5可能就不需要人类数据标注员了。
尽管这项工作凸显了RLAIF的潜力，但依然有一些局限性：
首先，这项研究仅探讨了摘要总结任务，关于其他任务的泛化性还需要进一步研究。
其次，研究人员没有评估LLM推理在经济成本上是否比人工标注更有优势。
此外，还有一些有趣的问题值得研究，例如RLHF与RLAIF相结合是否可以优于单一的一种方法，使用LLM直接分配奖励的效果如何，改进AI标注器对齐是否会转化为改进的最终策略， 以及是否使用LLM与策略模型大小相同的标注器可以进一步改进策略(即模型是否可以“自我改进”)。
重人力转向重技术
尽管AI自动化标注技术在快速发展，但第三方数据标注服务商并没那么乐观。
河南一家众包平台的项目经理认为，自动化标注还不能取代60%以上的标注需求，只能作为辅助标注工具处理单一或特定数据，提升人效。
另一家数据标注公司的产品经理认为，自动化标注只能过滤简单的基础数据，还不能像人一样从复杂有争议的场景中精确识别物体。
如果说简单的标注可以用AI来完成，那么人工参与的将是难度更高的数据筛选和标准工作，这也意味着数据标注行业的门槛将会不断提高。
作为对照，早在ChatGPT走红前，OpenAI就组建十几位博士生来“打标”。
而百度在海口的数据标注基地拥有数百名专职大模型数据标注师，标注师的本科率达到100%，需要具备一定的知识储备和逻辑分析能力。
不过大家也认同，未来的数据标注将从重人力转向重技术的趋势。
一家众包平台的创始人在和同行交流时说，未来不能堆人力，要有研发能力。也有从业者认为，人工标注对于泛化仍然极其重要，而RLHF+RLAIF混合方法比任何单一方法都要好。
总之，不是被同行“卷死”，就是被技术“卷死”。数据标注公司已做好了随时裁员的准备，同时向做自动化标注工具的方向发展。
