“人工智能武器化”（Weaponization of Artificial Intelligence）不是广义上的“AI竞争”。广义的AI竞争，既是军事武器装备竞争，也是产业上的竞争。产业上的竞争会“反哺”到“人工智能武器化”——这就是“军事工业综合体”。广义的AI竞争包括军事技术、电商平台、社交平台、搜索平台、智能硬件平台、机器视觉、智能语音、自动驾驶平台、芯片研发制造平台等综合竞争。而“人工智能武器化”主要关注的是对武器的AI改造和威力升级。

比如，以色列与哈马斯冲突中以色列的“铁穹”系统（利用AI和传感器技术实现威胁识别和导弹拦截）就是目前最出名的“AI武器”。用于社交媒体上的战争谣言机器人，也属于“AI武器”。“铁穹”系统属于“枪杆子”，谣言机器人属于“笔杆子”。两个“杆子”都是战争武器。谣言机器人虽然属于“信息战武器”，但其“武器”级别可能与黑客网络攻击相似。是否可以直接产生致命的效果？是否直接能煽动群众暴力、制造社会动荡？目前并不确定，所以它是“非致命性武器”，因此，它往往被单独讨论。

“人工智能武器化”的发展，主要有以下形态：AI所驱动的无人机战斗集群；以AI整合各种信息的自动防御系统（例如“铁穹”系统）；以无人驾驶技术驱动的后勤补给运输系统；以AI驱动的无人舰艇；以AI优化的军事信息决策辅助系统；以AI识别异常模式加强网络安全的网络防御系统……尤其值得注意的是，人工智能“赋能”了传统武器之后，很多传统武器就“演变”为致命性自动武器（Lethal Autonomous Weapon）。

致命性自动武器，在人工智能“赋能”之前，就是“地雷”。现在的地雷其实也可以用人工智能来控制，变成一种移动地雷。再比如“机枪”这一传统的武器，韩国三星集团下属的国防子公司三星Techwin生产的三星SGR-A1，就是人工智能哨兵枪，沿着朝韩边境三八线已经大量部署；以色列在加沙边境也部署了人工智能哨兵枪技术系统（Roah-Yora）：是由勃朗宁机关枪、摄像机、远程光电传感器、地面传感器、高空无人机以及雷达等构成。一旦敌人靠近，“授权杀人”程序将在2分钟内启动，一旦获批，立即精准射击。

引发最大争议的，是所谓“战斗机器人”。战斗机器人并不仅仅是一个人形机器人，它目前主要的形态是“攻击性无人机”和无人驾驶舰艇。著名人工智能教授Stuart Russell制作了一部纪录片《Slaughterbots》，描述了战斗机器人杀戮的可怖情景：成群低成本微型无人机，在人工智能的驱动下，利用人脸识别，来暗杀政治对手。这个过程没有任何怜悯，充满着效率至上。

无论超级大国还是新兴的军事强国，都暗自鼓励“战斗机器人”技术的发展。在2019年3月29日，联合国专门讨论了关于致命性自动武器的议题，大多数政府都同意通过相关的禁止法律，但美国、英国、澳大利亚和以色列等少数国家，反对这项提议。

美国认为，“致命性自动武器”可以保护平民，对付恐怖分子。它认为，人们之所以反对是因为有无辜的平民“在场”，导致攻击会殃及池鱼。如果在公海或者深海这些普通平民罕至的地方，就不存在战斗人员和平民都“在场”的环境，使用“致命性自动武器”就毫无道德压力。也就是说，它为“致命性自动武器”在海权上新扩张提供了直接暗示，尤其是结合美国一直强调“返回亚太”“亚太再平衡”的战略，应对东方大国崛起，以立体化的海空军事力量，以捍卫“航道自由”的名义，与其盟友一起建构海上防线，控制关键海域和通道，维持其全球霸权。

与塔尔·米姆兰对话

《北大金融评论》：您如何看待人工智能和武器——例如致命性自主武器 (LAW)——结合后造成的恐怖情形？ 这些武器在激活后无须进一步人工干预，就能选择和攻击目标。我们已经在俄罗斯—乌克兰冲突中见过这样的武器，它们以无人机、无人坦克、无人驾驶船舶的形式存在。令人担忧的是，针对这些人工智能武器没有全球监管标准，尤其是世界人工智能主要强国之间没有对话机制。作为一位反对人工智能军备竞赛的知名专家，您觉得应如何缓解当前的情况？

塔尔·米姆兰：新技术极大地影响了军事行动的实施方式。自主武器系统、网络空间军事化都取得了长足的进步。人工智能在军事应用方面也取得了重大突破，就像你说的致命性自主武器领域。

近年来，这一趋势似乎愈演愈烈，例如俄乌冲突中使用的人工智能武器。人工智能武器涵盖多个领域：攻击目标选择、情报分析、主动预测、警报威胁、简化指挥等。例如，以色列国防军部署的“Fire Factory”系统，它是人工智能驱动的系统，在识别潜在空中攻击目标（军事目标）方面发挥关键作用，并与其他工具（如Gospel系统）一起协作，从而改进以色列的情报系统，以及更精准识别关键军事目标。

在缓解措施方面，核心方法是围绕决策过程中人类的参与度。我认为，考虑将人工智能用于进攻和防御时，必须确保在每次人工智能武器操作中，人的存在是“全程性”的，而且是不可分割的——人类始终控制决策过程。

原因有三。第一，人类参与可以提高决策的精确性和质量，这是防止或减少错误的重要保障。第二，将人类纳入决策过程可以增强决策的合法性，提高公众的信任程度。第三，当人工智能武器系统做出违反国际法的错误决定后，系统中存在人类因素，是未来问责的关键所在。

不过，使用人工智能武器时，人类监督还不足以完全化解风险。人工智能系统主要问题之一是，系统解释决策过程的能力具有“内在的挑战性”。这种现象通常被称为“黑匣子”效应。（注释：人类很难清晰理解决策的全过程逻辑，其原因在于，人工智能系统的神经网络，内部运行逻辑比较复杂，没办法简单地跟踪它们是如何后步步推导出结论的。系统会连续运行数十亿次计算，对人脑来说无法跟进。）它排除了任何监督或辩解的可能。此外，虽然人工智能允许军事系统快速处理大量数据、分析复杂场景，并几乎即时执行，但这种加速决策能力也引发了伦理和操作方面的担忧：它需要在自动决策和人类监督之间保持微妙的平衡，确保在战争中做出符合责任和合乎道德的决策。

技术和操作之外，我认为其他的挑战更为艰巨，尤其是让人类世界在理想和价值观方面变得更加分裂，难以推动国际社会对人工智能武器化的共识。美国和俄罗斯等国无法就敌对网络行动采取措施达成共识，那么他们如何愿意采取实际的措施呢？现在，在人工智能的监管方面，我们有中国的国家驱动模式、欧洲的权利驱动模式和美国的市场驱动模式，我们还需要一段时间来观察这三种模式中哪一种有更大的影响力，并真正影响我们的发展方向。

我认为，所有国家都需要根据1977年日内瓦公约第一附加议定书 (API) 第 36 条的要求——各国需要采取评估新技术在研究、开发、获取或采用新武器合法性的措施，来做出一些重要的行动。换句话说，各国有义务采取评估措施，对人工智能的武器以及战争手段与方法进行合法性审查。

当然，并非所有国家都是API成员，但我认为，他们也应当遵守第36条，以保护生命权的方式，采取预防性评估，对新武器进行合法性审查（美国就是这样一个突出的例子）。如果新技术对平民的影响是不明确的，那么进行适当的法律审查自然是应当的。人工智能毫无疑问是属于这种情况。

《北大金融评论》：随着大量人工智能武器进入战场，其伦理后果是，减少了对士兵进行大规模军事训练的需要，降低了人类军事人员直接面临的风险。例如，失去一架由人工智能控制的飞机并不意味着会失去人类飞行员的生命，这使得战争朝着强国对弱国进行“电子游戏式”打击的方向发展。那么，这会影响国际战争规则吗？

塔尔·米姆兰：毫无疑问，在战场上展示人工智能优势在军事威慑方面具有巨大作用。显然，利用人工智能提升现有军事能力也是非常具有优势的。道德和法律在这个趋势中扮演什么角色？特别是，目前是否存在法律限制将这些新工具引入实践并实际使用？此外，各国应该如何看待将人工智能部署到战争中呢？

近年来，我们看到越来越多的国家以单方面方式在GGE（注释：GGE是政府专家组“Group of Governmental Experts”的缩写，是由各国政府任命的专家组成的小组,这些小组定期就信息安全和其他与国际法相关的问题进行讨论）或开放式工作组论坛上，阐明了关于国际法如何适用于网络空间的法律立场。但分歧根深蒂固，它源于各国不同的视角和价值观。以色列就认为自己是技术生产和监管的领导者，对现状感到满意。像伊朗这样的国家则寻求在包容性和平等性方面重新分配“数字蛋糕”，伊朗认为西方对互联网具有强大的技术垄断能力。这种分歧也体现在具体的法律问题上，例如“网络空间不干涉原则”或“网络武装攻击”等术语在不同场景需要进行不同的阐释。

如果这种观念上的差距正在缩小，那么国际性的监管制度应该是约束性的还是软性的？但我认为，制度的导向必须是明确的。与欧盟关于两用技术的观点一致，应该以人权视角为导向，而不是以安全视角或经济视角为导向。

另一个问题是非国家行动者的作用。我认为，非国家行动者——例如各国间的国际组织和私营市场主体，必须参与规范的制定。国际组织应该成为技术合作、技术协商和技术援助的平台，而私营市场主体应该提供实际的应用情况，从他们的角度告知其面临的挑战。在当今，如果不考虑这些市场主体（技术公司），就无法监管。乌克兰战争突显了私营部门如何成为中心，例如在社交网络监管方面（注释：俄乌冲突战争，X/twitter是网络舆论战的核心，大量谣言机器人在上面制造假消息，并且马斯克的星链公司帮助乌克兰人进行网络通信）。然而，我们应避免过度私有化，以及权力与责任的分离。

上述所有因素将如何改变国际法？（不过，鉴于在如此两极分化的现实中推动新规则的难度，我怀疑近期内会发生变化——除非发生戏剧性事件，例如由人工智能引发灾难。）

首先，我们需要考虑是否应该完全禁止启用人工智能用于军事的能力。这个门槛相当高，只有少数武器被完全禁止——最著名的是生物武器、化学武器和核武器，这些武器被禁止是因为它们的影响太严重，残酷，非人道，重要的是，它们无法区分作战人员和平民。虽然人工智能武器确实无法区分（作战人员和平民），但它们的影响——与被禁止的武器相较而言不严重。

其次，在设计方面也可以采取一些措施。可以采取一些机制，如“隐私设计”的概念。另一个重要机制是日内瓦公约第一附加议定书（API）第36条规定的机制。在这方面，还有一个非常合理的选择，即贸易限制（注释：即各国控制人工智能武器产品和技术的流通）。我觉得也存在一些其他的问题。首先是监管机构的公正性，国家有时是客户，有时是监管者。其次，瓦森纳协定不是一项有约束力的条约，它允许充分考虑各自的国内利益[注释：瓦森纳协定（Wassenaar Arrangement）是一项有关常规武器和两用物品与技术出口控制的多边出口管制制度。它不是一个法律条约，它不要求签署国在国内法律上实施其管控规定]。再次，在限制人工智能武器方面,定义和范围的确定是一个问题。定义太广泛会不必要地限制私营市场；而定义太窄无法充分规制。国际法追求与实际情况的接近，这可以从“从行为中产生法律”这一原则看出。但是，在人工智能快速发展的背景下，接近技术发展的现实并根据行为制定法律，将面临特别大的挑战。

我们不一定需要制定新的规范来限制军事化人工智能。相反，我们可以关注和利用现有的相关国际法规范，比如国际人权法、国际人道主义法、国际刑法，以及国际法的基本原则如主权原则和不干涉原则。这些现有法律规范是充足的，但是在管辖权和执行机制上有限。因此，我们需要在人工智能武器的不同阶段，即计划、设计、部署和事后审查阶段，采取各种手段与现有规范相结合。各国国内法制和国际法体系也应该加强协调和互补，共同应对军事化人工智能带来的风险。