战争，就像人类文明永远无法摆脱的阴影。如今，这场一直由人类当主角的血腥游戏，正在被人工智能（AI）所接管。
无论是俄乌冲突，还是以巴以冲突为首的中东地区战乱，AI的影子都依稀可见：它（在人类的监督下）操控着无人机、导弹、枪械、地雷等武器，识别打击目标并发动攻击。
这是我们第一次深刻地体会到AI的两面性，它既能造福人类，也能在瞬息之间夺走人类的生命。很遗憾，我们来不及为逝者哀哭，在军事领域，这种规模的AI应用只是一个开始。
我们即将看到的是，一场AI军备大赛正缓缓拉开大幕，武器将变得越来越智能和自主，人类将慢慢退出它们的决策过程，直到致命自主武器系统（Lethal Autonomous Weapons systems，LAWs）出现并被部署到战场上。
我们并未准备好面对这一切。当有一天AI武器能够自主出击，当无数人的生死仅凭一行代码就能决定，你是否能接受自己的命运被交由冰冷的算法做出判决？
所有人都应该明白，让算法决定一个人的生死是一个糟糕透顶的主意。幸运的是，我们还有时间来阻止这一切变成现实；不幸的是，时间不多了。
远程操作VS自主决策
按照美国国防部的定义，根据人类所发挥作用的不同，武器的自主级别可以分为“人在环中”“人在环上”“人在环外”三种：
人在环中：武器的行动完全由人来决策和控制；
人在环上：武器激活后可以按照指令自主决策和行动，人可以监督并按需随时介入接管决策权和控制权；
人在环外：武器激活后会被指定行动目标，之后完全自主决策和实施行动。
好消息是，就目前已知的情况来看，还没有真正意义上的“（人在环外的）致命自主武器系统”被投入使用。根据联合国的说法，它们是“在没有人类监督的情况下定位、选择和攻击人类目标的武器”。
这里所讨论的不是由人类远程操控的武器，比如大名鼎鼎的美国“捕食者”无人机，或者乌克兰前线士兵自制的投弹无人机，可以在人类的操控下远程投掷手榴弹。
随着人们对这些武器的认知逐渐加深，加上电子干扰技术的进步，它们的打击效果将变得越来越弱。因此，一些国家和企业将目光投向了无人机等自主武器的研发。
美国国防部高级研究计划局（DARPA）曾经公布过两项计划，透露了其自主武器系统的计划用途：快速轻量级自主（FLA）和干扰环境中的协同操作（CODE）。前者将对微型旋翼机进行编程，使其能够在无人辅助的情况下在城市地区和建筑物内高速飞行。后者的目标是开发自主飞行器小组，在敌方信号干扰导致无法与人类指挥官通信的情况下，执行打击任务的所有步骤——发现、确定、跟踪、瞄准、交战、评估。
其他国家也有相关的武器研发。自2017年以来，土耳其一家名为STM的公司一直在销售Kargu无人机，该无人机只有餐盘大小，可携带1公斤炸药。根据该公司2019年的网站描述，该无人机能够“自主且精确”地打击车辆和人员，“在图像上选择目标”并“跟踪移动目标”。
以色列的Harpy无人机可以在一个地区上空飞行数小时，寻找与视觉或雷达信号相匹配的目标，然后用爆炸物摧毁它们。美国海军和国防部高级研究计划局也研发了“海上猎手”号无人驾驶军舰，可以从事反潜跟踪等任务。
放眼全球，实验性的潜艇、坦克和舰船也已经制造出来，全都可以利用AI进行自动驾驶和射击。根据目前披露的信息，这些武器既可以远程操控，也可以在激活后自主执行任务。很难分辨人类究竟在多大程度上介入了其决策过程。
AI申请出战
某种自主武器至少已经存在了几十年，包括热寻导弹，甚至可追溯到美国内战时的压力触发地雷（如果将自主性的定义放宽）。然而现在，AI算法的开发和使用正在扩展它们的能力。
事实上，AI在战争中的应用远比我们想象中简单得多。
加州大学伯克利分校的计算机科学家、反对AI武器的著名活动家斯图尔特·拉塞尔（Stuart Russell）表示，“系统找到人类并杀死他们的技术能力比开发自动驾驶汽车要容易得多。这是一个研究生项目。”
现有的AI和机器人技术完全可以提供合适的物理平台、感知、电机控制、导航、地图、战术决策和长期规划。武器制造商要做的就是将它们按需结合起来。例如，使用DeepMind的DQN算法学习人类的战术策略，再加上已有的自动驾驶技术，一套自主武器系统完全可以完成城市搜索和摧毁任务。
我们很难知道AI武器在战场上的表现如何，很大程度上是因为军方不轻易发布此类数据。
2023年，英国战略司令部副司令汤姆·科平格·赛姆斯（Tom Copinger-Symes）在英国议会调查中，曾被直接问及AI武器系统，他表示不方便透露太多信息，只是说英国军方正在开展基准研究，以比较自主武器系统与非自主系统。
尽管现实世界的战场数据很少，但研究人员指出，AI具有卓越的处理和决策能力，理论上可以提供巨大优势。例如，在快速图像识别领域，近十年来算法的表现一直优于人类。这为它精准识别图像中的打击目标做好了铺垫。
早在2020 年，AI模型就在一系列模拟空战中击败了经验丰富的F-16战斗机飞行员，这主要归功于其“咄咄逼人的精确操纵，人类飞行员无法匹敌”。要知道，AI可以在极短时间内，围绕如何执行特定动作、与对手的飞行距离和攻击角度做出非常复杂的决定。
今年4月，美国军方宣布完成了一次开创性试验，让一架AI控制的F-16战机与人类驾驶的战机完成了真实的空中格斗。AI操控的飞机实现了进攻和防御演练，距离人类驾驶的战机最近只有610多米。
这标志着美国军方在AI控制飞机自主作战领域的一次突破。如果这项技术未来在战场上出现，空战的瞬息万变难以远程操控，因此它必然属于致命自主武器的范畴。
理论上，AI还可以用于战争的其他方面，包括制定潜在打击目标清单。此前有媒体报道称，以色列使用AI创建了一个包含数万名可疑武装分子姓名的数据库。但以军方予以否认。
管控AI武器，做起来难
AI的强大让人们不得不思考如何更好地管控它的使用，无论是从实际应用层面，还是从道德层面。
人类控制和规范武器使用的努力可以追溯到数百年前。例如，遵守纪律的中世纪骑士同意不用长矛瞄准对方的马。1675年，法国和神圣罗马帝国同意禁止使用毒弹。
如今，国际上对武器的主要限制是通过《联合国特定常规武器公约》（CCW），该公约于1983年签署，用于禁止致盲激光武器等。
研究人员多年来一直致力于控制致命自主武器系统带来的新威胁。联合国秘书长安东尼奥·古特雷斯去年7月表示，他希望在2026年之前禁止在无人监督的情况下使用武器。
2023年12月，联合国通过了一项关键决议，将AI武器的问题纳入了2024年9月联合国大会议程中。
专家表示，此举为各国对AI武器采取行动提供了首个现实途径。但这说起来容易，做起来难。
一些人认为，AI辅助武器可能比人类制导武器更准确，有可能减少所谓的附带损害（Collateral damage），例如平民伤亡和住宅区破坏，以及士兵死亡和致残的数量，同时帮助弱小的国家和群体保护自己。
但这种想法的漏洞在于敌对国家也会拥有此类武器，而且军事实力更强的国家很可能拥有更强大的自主武器，它们只会造成更大的伤害，而非更少。
至于依靠自主武器来减少附带损害，这要建立在两个前提的基础上，而这两个前提很难实现。
一是，AI不会犯错，或者说AI比人类犯错概率更低。但现在没人能打包票说AI就不会犯下跟人类一样的错误，比如将平民识别成打击目标。
二是，自主武器的使用场景与人类控制的武器（例如步枪、坦克和“捕食者”无人机）基本相同。这也未必站得住脚，因为一旦新武器出现，作战方法和打击目标也会随之变化，其使用场景难以预测，也无法控制。
因此，大多数AI专家认为，在自主武器的道路上猛踩油门可能会犯下灾难性错误。让AI自主选择打击目标并做出决策，许多人对该行为背后的道德问题深感担忧。
2007年，英国军方曾被迫匆忙重新设计了用于阿富汗的自主硫磺导弹，因为担心它可能会将一辆载着儿童的巴士误认为是一卡车叛乱分子。
这是因为虽然AI擅长识别图像，但它并不是万无一失的。我们都听说过图像识别的荒谬错误，比如把猫和狗搞混，但在战争中，把儿童和恐怖分子搞混就会导致灾难性的后果。
此外，AI系统可能会被黑客攻击，做出违背指令的行动，或者出现误判等意外事件，导致冲突升级或降低战争门槛。
研究人员和军方普遍提出的一项原则是，自主武器必须考虑 “人在环”。但人应该或必须在哪里以及如何介入仍有争议：人是否应当在授权打击之前目视验证目标？是否必须能够在战场条件发生变化（例如平民进入战区）时取消打击？
同时，AI自主武器也让问责机制变得复杂而混乱。一旦出现问题，承担责任的显然不是武器本身，那是授权打击的人？还是武器制造商？抑或是AI系统的开发者？
鉴于AI自主武器的复杂性和破坏力，许多人（很可能是地球上的绝大多数人）认为最好的解决方案就是禁止致命的自主武器。但所有这些问题都要在国际层面（联合国）认可、讨论、争吵、谈判和妥协。如此有争议的话题和庞大的工作量，决定了我们还要花上数年的时间才能迈出实质性的第一步。
但民间组织可以现在行动，AI和机器人领域的专业协会应制定并执行禁止致命自主武器工作的行为准则。在这方面有很多先例，例如美国化学会制定了严格的化学武器政策，美国物理学会要求美国批准《全面禁止核试验条约》，反对对无核国家使用核武器，以促进和平与安全。
总而言之，AI驱动的自主武器注定会出现，无论致命与否，它都将重塑未来战争的形态。
人类不应让这项“利器”失控，必须正视它带来的风险和挑战，抓紧一切时间和机会，确保我们能够及时地控制住它的发展。只有如此，它才不会从“终结者”变为“人类终结者”。
参考资料：
[1] https://www.nature.com/articles/d41586-024-01029-0
[2] https://www.nature.com/articles/d41586-023-00511-5
[3] https://www.nature.com/articles/521415a
[4] https://san.com/cc/experts-warn-world-is-running-out-of-time-to-regulate-ai-in-warfare/
本文来自微信公众号：返朴 （ID：fanpu2019），作者：Ren，本文受科普中国·星空计划项目扶持，出品：中国科协科普部，监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司