去年，乌克兰无人机公司萨克尔(Saker)声称，它已经部署了一种完全自主的武器Saker Scout，这种武器使用人工智能来自行决定在战场上杀死谁。萨克尔的管理者宣称，这架无人机进行了小规模的自主攻击。尽管这一点尚未得到独立证实，但制造这种武器所需的技术肯定是存在的。这是技术上的一小步，但却是道德、法律和伦理上的重要一步——人类生产出了能够自行搜索和选择目标的全自动武器。

　　萨克尔无人机的部署表明，监管自主武器的窗口正在迅速关闭。十年来，各国一直在讨论如何处理自主武器，但一直未能就限制武器危害的法规达成一致。然而，这样的国际协议迫切需要达成。不受约束地发展自主武器可能导致战争扩大到人类无法控制的范围，对战斗人员和平民的保护都将减少。即使全面禁止是不现实的，政府也可以采用许多实用的法规来减轻自主武器最严重的危险。如果不加以限制，人类就有可能走向危险的、由机器驱动的战争。

2024年2月，乌克兰士兵扎在波罗热遥控无人机

　　机器驱动战争的新时代要来了

　　自20世纪80年代以来，军队在有限的防御条件下使用了部分自主武器。今天，至少有30个国家在运行具有自主模式的防空和导弹防御系统，或地面车辆的反火箭保护系统。一旦启动，这些防御系统可以自动感知来袭的火箭、火炮、迫击炮、导弹或飞机，并进行拦截。但人类会监督它们的运行，并在出现问题时进行干预。

　　军方在采用商业领域开发的人工智能技术方面进展缓慢，部分原因是采购流程繁琐。乌克兰战争加速了双方的创新，尤其是在小型无人机等商业技术方面。莫斯科和基辅都广泛使用无人机进行侦察和攻击地面部队。这些无人机的部署反过来又导致了新的对抗手段的发展，包括电子战系统，可以干扰无人机的通信链路或精确定位地面操作员的位置，然后对其进行攻击。这种对操作员的关注在战略上是合理的：大多数无人机都是远程驾驶的，这使得人类操作员成为必不可少的——也是一个关键的目标。如果没有人工操作，遥控无人机将变得毫无用处。这就是自主无人机如此有价值的原因：它们不依赖于脆弱的通信链路。为了对抗它们，必须找到并摧毁无人机本身。

　　自主武器的具体形式将取决于冲突的需要。在乌克兰，莫斯科和基辅使用小型无人机瞄准人员和攻击车辆。更大型的、中等高度的无人机被用来深入敌后，瞄准雷达和设施。乌克兰甚至使用无人驾驶船攻击俄罗斯黑海舰队。所有这些无人机目前都是远程控制的，可以升级为自动驾驶，在通信链路受阻的情况下继续运行。

　　其他冲突可能导致不同类型自主武器的发展。包括中国、法国、印度、俄罗斯、英国和美国在内的几个国家目前都在研究隐形作战无人机。未来的战争可能会看到这些无人机自动瞄准防空系统或移动导弹发射器。地面机器人已经落后于空中和海上的同类工具，但未来的战争可能会看到自动武器部署在机器人或固定的炮位上。这些变化可能不会就此停止。成群的无人机可以自主协调它们的行为，以超出人类能力的速度对战场上的变化做出反应。机器速度的自主反应可以推动更快的行动节奏，加快战斗的步伐。反过来，这可能会造成更大的压力，将人类排除在决策周期之外。这种向机器驱动战争新时代转变的后果将是深远的。

　　自主武器的危险

　　包括加州大学教授斯图尔特·罗素(Stuart Russell)和图灵奖得主扬·勒昆(Yann LeCun)在内的顶尖人工智能科学家，都对自主武器的危险发出了警告。一个由250多个非政府组织组成的联盟，包括国际特赦组织、人权观察组织和诺贝尔妇女倡议组织，组成了“阻止机器人杀手运动”，呼吁预先制定一项的具有法律约束力的条约来禁止自动武器。这些警告和运动的动机是担心自主武器可能会增加战争中的平民伤亡。尽管自动武器可以通过精确瞄准战斗人员来减少平民伤亡，但在一个不关心平民伤亡或想要惩罚平民的国家手中，它们可能会被用来实施毁灭性的暴行。大规模自主武器可以一次瞄准并杀死数千人，相比之下，今天的智能炸弹就显得相形见绌了。

　　最极端的风险之一来自将人工智能和自主性整合到核武器中。2022年，美国宣布，在使用核武器的决定中，它将始终保留一个“人”。英国在2022年采取了类似的政策。然而俄罗斯和中国却没有。人类对核武器的控制似乎是达成国际协议的一个简单起点，但莫斯科已表现出一种令人不安的态度，即将危险的自动化整合到其核操作中。这并不是什么新鲜事：冷战结束后，苏联官员解释说，苏联建造了一个名为“周边”的半自动报复性核打击系统。一旦启动，它将使用一系列自动传感器来探测对苏联领土的核攻击。如果探测到核攻击，而该国领导人没有回应——可能是因为他们已经在袭击中丧生——系统会自动将核发射权移交给一名在安全掩体中相对较低级别的官员。俄罗斯官员在2018年表示，该系统仍在运行，甚至已经升级。最近，莫斯科开始研发一种配备核武器的自主水下无人潜航器。在海上或空中携带核武器的无人机可以被派去巡逻，冒着发生事故或失去对核武器控制的风险。

　　广泛部署的自主武器与军事人工智能的其他方面相结合，可能会导致机器驱动战争的新时代。军事人工智能应用可以加速信息处理和决策。随着各国采用人工智能和自动化来减少发现、识别和打击敌方目标的时间，决策周期将缩短。理论上，这可以让人类有更多的时间做出深思熟虑的决定。在实践中，竞争对手将被迫做出同样的回应，利用自动化来加快自己的应对速度，以跟上竞争对手的步伐。其结果将是自动化程度提高、人为控制减少的恶性循环。

　　这场竞争的最终状态很可能是一场以机器速度进行且超出人类控制的战争。在金融领域，算法在高频交易中的广泛应用，导致股票以超人的速度自动交易。中国人民解放军陆军指挥学院的军事学者陈航辉(Chen Hanghui )提出了一个战场上的“转折点”假设，在这个转折点上，机器驱动的战争的速度同样会超过人类决策的速度。这个临界点将迫使人类在战术决策和作战层面的战争战略上把控制权交给机器。机器不仅可以选择单个目标，还可以计划和执行整个战役。人类将沦落为开启机器和旁观者的角色，几乎没有能力控制甚至结束战争。

　　去年，乌克兰无人机公司萨克尔(Saker)声称，它已经部署了一种完全自主的武器Saker Scout，这种武器使用人工智能来自行决定在战场上杀死谁。萨克尔的管理者宣称，这架无人机进行了小规模的自主攻击。尽管这一点尚未得到独立证实，但制造这种武器所需的技术肯定是存在的。这是技术上的一小步，但却是道德、法律和伦理上的重要一步——人类生产出了能够自行搜索和选择目标的全自动武器。

　　萨克尔无人机的部署表明，监管自主武器的窗口正在迅速关闭。十年来，各国一直在讨论如何处理自主武器，但一直未能就限制武器危害的法规达成一致。然而，这样的国际协议迫切需要达成。不受约束地发展自主武器可能导致战争扩大到人类无法控制的范围，对战斗人员和平民的保护都将减少。即使全面禁止是不现实的，政府也可以采用许多实用的法规来减轻自主武器最严重的危险。如果不加以限制，人类就有可能走向危险的、由机器驱动的战争。

2024年2月，乌克兰士兵扎在波罗热遥控无人机

　　机器驱动战争的新时代要来了

　　自20世纪80年代以来，军队在有限的防御条件下使用了部分自主武器。今天，至少有30个国家在运行具有自主模式的防空和导弹防御系统，或地面车辆的反火箭保护系统。一旦启动，这些防御系统可以自动感知来袭的火箭、火炮、迫击炮、导弹或飞机，并进行拦截。但人类会监督它们的运行，并在出现问题时进行干预。

　　军方在采用商业领域开发的人工智能技术方面进展缓慢，部分原因是采购流程繁琐。乌克兰战争加速了双方的创新，尤其是在小型无人机等商业技术方面。莫斯科和基辅都广泛使用无人机进行侦察和攻击地面部队。这些无人机的部署反过来又导致了新的对抗手段的发展，包括电子战系统，可以干扰无人机的通信链路或精确定位地面操作员的位置，然后对其进行攻击。这种对操作员的关注在战略上是合理的：大多数无人机都是远程驾驶的，这使得人类操作员成为必不可少的——也是一个关键的目标。如果没有人工操作，遥控无人机将变得毫无用处。这就是自主无人机如此有价值的原因：它们不依赖于脆弱的通信链路。为了对抗它们，必须找到并摧毁无人机本身。

　　自主武器的具体形式将取决于冲突的需要。在乌克兰，莫斯科和基辅使用小型无人机瞄准人员和攻击车辆。更大型的、中等高度的无人机被用来深入敌后，瞄准雷达和设施。乌克兰甚至使用无人驾驶船攻击俄罗斯黑海舰队。所有这些无人机目前都是远程控制的，可以升级为自动驾驶，在通信链路受阻的情况下继续运行。

　　其他冲突可能导致不同类型自主武器的发展。包括中国、法国、印度、俄罗斯、英国和美国在内的几个国家目前都在研究隐形作战无人机。未来的战争可能会看到这些无人机自动瞄准防空系统或移动导弹发射器。地面机器人已经落后于空中和海上的同类工具，但未来的战争可能会看到自动武器部署在机器人或固定的炮位上。这些变化可能不会就此停止。成群的无人机可以自主协调它们的行为，以超出人类能力的速度对战场上的变化做出反应。机器速度的自主反应可以推动更快的行动节奏，加快战斗的步伐。反过来，这可能会造成更大的压力，将人类排除在决策周期之外。这种向机器驱动战争新时代转变的后果将是深远的。

　　自主武器的危险

　　包括加州大学教授斯图尔特·罗素(Stuart Russell)和图灵奖得主扬·勒昆(Yann LeCun)在内的顶尖人工智能科学家，都对自主武器的危险发出了警告。一个由250多个非政府组织组成的联盟，包括国际特赦组织、人权观察组织和诺贝尔妇女倡议组织，组成了“阻止机器人杀手运动”，呼吁预先制定一项的具有法律约束力的条约来禁止自动武器。这些警告和运动的动机是担心自主武器可能会增加战争中的平民伤亡。尽管自动武器可以通过精确瞄准战斗人员来减少平民伤亡，但在一个不关心平民伤亡或想要惩罚平民的国家手中，它们可能会被用来实施毁灭性的暴行。大规模自主武器可以一次瞄准并杀死数千人，相比之下，今天的智能炸弹就显得相形见绌了。

　　最极端的风险之一来自将人工智能和自主性整合到核武器中。2022年，美国宣布，在使用核武器的决定中，它将始终保留一个“人”。英国在2022年采取了类似的政策。然而俄罗斯和中国却没有。人类对核武器的控制似乎是达成国际协议的一个简单起点，但莫斯科已表现出一种令人不安的态度，即将危险的自动化整合到其核操作中。这并不是什么新鲜事：冷战结束后，苏联官员解释说，苏联建造了一个名为“周边”的半自动报复性核打击系统。一旦启动，它将使用一系列自动传感器来探测对苏联领土的核攻击。如果探测到核攻击，而该国领导人没有回应——可能是因为他们已经在袭击中丧生——系统会自动将核发射权移交给一名在安全掩体中相对较低级别的官员。俄罗斯官员在2018年表示，该系统仍在运行，甚至已经升级。最近，莫斯科开始研发一种配备核武器的自主水下无人潜航器。在海上或空中携带核武器的无人机可以被派去巡逻，冒着发生事故或失去对核武器控制的风险。

　　广泛部署的自主武器与军事人工智能的其他方面相结合，可能会导致机器驱动战争的新时代。军事人工智能应用可以加速信息处理和决策。随着各国采用人工智能和自动化来减少发现、识别和打击敌方目标的时间，决策周期将缩短。理论上，这可以让人类有更多的时间做出深思熟虑的决定。在实践中，竞争对手将被迫做出同样的回应，利用自动化来加快自己的应对速度，以跟上竞争对手的步伐。其结果将是自动化程度提高、人为控制减少的恶性循环。

　　这场竞争的最终状态很可能是一场以机器速度进行且超出人类控制的战争。在金融领域，算法在高频交易中的广泛应用，导致股票以超人的速度自动交易。中国人民解放军陆军指挥学院的军事学者陈航辉(Chen Hanghui )提出了一个战场上的“转折点”假设，在这个转折点上，机器驱动的战争的速度同样会超过人类决策的速度。这个临界点将迫使人类在战术决策和作战层面的战争战略上把控制权交给机器。机器不仅可以选择单个目标，还可以计划和执行整个战役。人类将沦落为开启机器和旁观者的角色，几乎没有能力控制甚至结束战争。

　　亟待建立的共识

　　如果精心制定并成功实施国际法规，可能有助于减轻自主武器的一些最严重危害。大约30个国家和一个人道主义组织联盟呼吁预先制定一项具有法律约束力的条约，在自主武器部署之前禁止它们。各国政府在禁止化学和生物武器、集束弹药以及利用环境作为武器方面取得了相对成功。但事实证明，在监管自主武器方面取得类似进展具有挑战性。尤其是全面禁止是不太可能的。由于自主武器尚未完全开发出来，其潜在危害和军事价值都不得而知。因此，由于对未来潜在危害的说法不确定，各国政府不愿意放弃一种具有潜在价值的武器。

　　许多论坛都在讨论如何监管自主武器。在国际层面上，自2014年以来，各国政府一直在联合国特定《常规武器公约》中讨论自主武器。《常规武器公约》是一个国际论坛，旨在规范被认为对战斗人员或平民造成过度伤害的武器，如地雷和致盲激光。它包括126个国家，达成协议需要所有参与国政府的支持，这是功能失调的原因。尤其是俄罗斯和美国，坚决反对签署一项禁止自主武器的条约，认为现有的战争法规则足以应对任何潜在的危害。莫斯科和华盛顿的反对是致命的，因为如果不包括世界主要军事大国，禁止自主武器就没有意义。由于认识到这方面缺乏进展，2023年，禁令的支持者将这一问题提交给了不需要达成共识的联合国大会。联合国大会第一委员会(First Committee of General Assembly)于2023年11月投票决定，责成联合国秘书长准备一份关于自主武器的报告。倡导禁止的人士希望，这份报告将是授权谈判一项条约的第一步。

　　与此同时，美国提出了一种完全禁止的替代方案，并于2023年底带领40多个国家签署了一份政治宣言，强调有必要负责任地使用军事人工智能。截至2024年2月，已有50多个政府加入了。尽管该宣言没有禁止自主武器，但它确实提供了使用这些武器的一般指导方针，例如确保进行充分的测试以减少事故风险。尽管宣言支持一些有价值的原则，但对最危险的自主武器形式缺乏有意义的限制，比如杀伤人员的自主武器和核行动中的自主。

　　五项减少威胁的措施

　　各国可以采取五项补充措施来减少自主武器的威胁，而不是这些停滞不前的方法。首先，各国政府可以采用一项广泛的原则，在致命决策中确立最低限度人的参与。这一原则可以通过《常规武器公约》或联合国大会作为一项具有法律约束力的规则获得通过，也可以成为一项具有政治约束力的宣言。这一原则应要求人类决策者拥有关于预定目标、武器、环境和攻击背景的具体和充分的信息，以确定攻击是否合法，然后才能授权。各国还可以同意，为了使人类有实质性的控制，任何自主武器的使用都必须在地理、时间和攻击目标上受到限制。尽管这样的原则不会禁止所有的自主武器——事实上，遵守这些规则将使它们的使用合法化——它将为各国如何使用自主武器提供护栏，并确保人类参与授权攻击的最关键决策。

　　其次，各国可以禁止以人类为目标的自主武器。在一个许多战斗人员不穿制服的世界里，即使是人类也常常难以准确区分平民和士兵。机器要判断一个拿着步枪的人是战士还是保护自己土地的农民要困难得多。机器也不太可能准确可靠地识别出一名士兵是真的试图投降，还是只是假装投降。因此，杀伤人员的自主武器比那些只针对车辆或设备的武器构成更大的风险，这些武器可能造成的伤害远远超过其军事价值。各国可以在它们广泛使用之前选择禁止它们。

　　第三，各国可以颁布测试军用人工智能和自主系统的最佳做法，以避免发生事故。2023年美国主导的政治宣言的一个关键目标是通过改进测试来确保军事人工智能系统的安全。华盛顿应该更进一步，与其他国家分享测试人工智能系统的最佳实践，以提高其安全性。这可以通过类似于美国分享其进行合法武器审查过程的信息，而不公布具体审查的内容的方式进行。

　　第四，美国应该与英国合作，说服其他核大国达成一项协议，确保对核武器实行严格的人类控制。伦敦是这项努力的合适合作伙伴，因为它的政策是保持人类对其核武库的控制。确保其他核大国发表类似的单方面声明，或者在理想情况下，达成一项多边协议，将是确保人类控制最危险武器的重要一步。联合国安理会五个常任理事国之间的协议将是一个强有力的声明。美国也应该在新的美中双边人工智能谈判中就此问题向中国提出。

　　最后，各国可以为自主无人机制定统一的“交通规则”，以降低事故风险。随着各国在空中和海上部署越来越多的无人机，随着这些无人机变得越来越自主，事故或误判引发国际事件的可能性越来越大。例如，2019年，伊朗防空系统在霍尔木兹海峡上空击落了一架美国“全球鹰”无人机。2023年3月，一架俄罗斯战斗机在黑海干扰了一架美国MQ-9死神无人机，导致无人机坠毁。因为这些无人机是远程控制的，所以由人类来决定如何应对。但未来的空中和海上无人机可能是自主的。这意味着，如果发生类似的情况，无人机将自动采取程序设定的行动。如果它被设定了还击的程序，它就会还击，这可能会使一场国际事件升级，而无需人的决定。各国政府必须确保任何自主行为都符合人类的意图。1972年《美苏海上事件协议》有助于减少冷战期间美苏海军之间意外事件的数量。类似的自主事故协议将帮助各国应对在有争议地区部署的自主系统的风险，避免意外和不必要的事件。

　　这些应对自主武器风险的举措可以通过不同的渠道和不同的时间表一起或单独实施。《常规武器公约》、联合国大会、美国主导的政治宣言倡议、安理会、美中双边对话以及其他多边论坛都是应该考虑的全球合作空间。华盛顿与北京的合作将尤为重要。作为世界领先的军事、经济和技术超级大国，美国和中国之间的协议将是管理自主武器风险艰难而关键的一步。

　　务必重视

　　自主武器即将到来。试图完全禁止它们，尽管是出于好意，但可能是徒劳的。它们的军事价值实在太大了。然而，各国可以选择如何使用自主武器。如果没有有效的限制，自主武器将减少人类对战争的控制，对平民和战斗人员构成更大的危险，并破坏国际稳定。必须紧急采取步骤，避免这些武器最严重的风险。要实现这一点，就需要超越目前在禁止所有自主武器和完全不限制之间简单化和误导性的选择。

　　自主武器是对人类应对武器化人工智能能力的早期考验，更危险的人工智能形式即将到来。尖端的人工智能系统已经证明有能力帮助开发网络武器和生化武器。迫切需要全球合作来管理其改进，限制其扩散，并防范其潜在用途。就自主武器达成国际协议，对于防范其危害，并为未来更重要的人工智能风险管控的合作奠定基础至关重要。

　　作者简介：保罗·沙雷(PaulSharre)是新美国安全中心执行副总裁兼研究主任，著有《四个战场：人工智能时代的权力》一书。本文由“钝角网”译自《外交事务》网站。