直击达沃斯｜AI武器技术已成熟，但控制机制遥遥无期

（原标题）【直击达沃斯】AI武器技术已经成熟，但控制机制却遥遥无期

韩国科技学院副教授Shim：作为航空技术专家，我现在的工作就是用AI有效甄别民用飞行器并闪躲。但在军用当中，只需要一个小小的改变就可以甄别飞行器，并且直接撞上去。差别就在几行代码之间。机器真的不在乎这几行代码是拯救人的生命，还是夺走人的生命。

论坛现场。来源：直播截屏

在9月18日下午的天津夏季达沃斯论坛上，有一场关于AI军用技术的小型论坛，由《Politico》杂志的资深科技记者斯科拉（Nancy Scola）主持。

嘉宾韩国科技学院（KAIST）航空工程系的Shim Hyun-Chul副教授从业内人士的角度对目前AI的发展现状进行了解读。期间，他对今年3月全球50多名人工智能与机器人科学家公开联合抵制KAIST的“误会”进行了解释，称AI技术的普遍应用本身就会带来危险，军用技术已经成熟，科学家不应该负责。

另一名嘉宾，曾在五角大楼和白宫任职的​Kori Schake则对AI武器控制持消极态度。她认为没有任何可行方案可以对AI武器进行有效限制，除非完全不使用AI技术。

第三名嘉宾，联名签字抵制KAIST的加州大学伯克利分校资深计算机科学教授拉塞尔（Stuart Russell）意外缺席。拉塞尔可谓现代AI技术先驱之一，他和另一名计算机科学家诺维格（Peter Norvig）合著的《人工智能：一种现代的方法》在116个国家的1300大学中被当做教材。早在2015年1月，拉塞尔就和霍金、马斯克以及150多名计算机科学家一起发表了一封名为《稳健有益的人工智能研究重点》（Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter）的公开信，呼吁人类关注自主武器及超人类智能等议题。以下为论坛实录精华。​​

主持人：国际上对军民两用科技，如激光或者计算机硬件的限制由来已久。现在我们遇到了新的AI科技。它极其灵活，升级速度快，还非常便宜。这将对管理军民两用科技的销售和贸易带来什么改变？

Shim：AI风险已经变成了一个日常词汇，AI的力量实在是惊人。到目前为止只有人类可以做出复杂的决定，但是我们试图用AI技术让机器替代我们做一些决策。事实上我们已经在每天使用AI技术了，例如智能手机的面部识别同样可以用于军事领域。

去年拉塞尔教授发布了一个引起很大争议的视频，就是一个无人机可以甄别你的面部。我们自己就有这样的技术，只不过是甄别障碍物。你给AI输入不同的数据就可以训练他们针对不同的目标。所以视频里的技术是非常可能的。现在很难停下来了，尤其现在技术变得越来越便宜。

拉塞尔教授视频中展示迷你杀人机器人

售价100美元的无人机已经有面部识别功能了。这些技术已经进入应用领域，并且很难再控制。所以今天的讨论非常有必要。

主持人：所以您说我们在手机上使用的面部识别（解锁）技术是可以被用于军事行动中来识别敌军的？（对。）那现在民用技术直接应用到实战有什么技术上的限制么？还是说真的绑个智能手机就可以了？

Shim： 我听说在中国人们已经使用面部识别来进行信用卡支付。我查了一下数据，iPhone的错误率大概是百万分之一。这种准确率真的太惊人了，所以在技术上是非常可能的。在联合国我们也有相似的讨论，关键词就是有效的人类控制。

但是对机器来说，他们真的不在乎这项技术是用来刷信用卡还是用来发射导弹。事实上作为航空技术专家，我现在的工作就是用AI有效甄别民用飞行器并闪躲。但在军用当中，只需要一个小小的改变就可以甄别飞行器，并且直接撞上去。差别就在几行代码之间。机器真的不在乎这几行代码是拯救人的生命，还是夺走人的生命。

主持人：Kori，作为前美国高级别政府官员之一，当你听见iPhone 技术可能在军事领域的使用时你感到害怕么？

主持人斯科拉

Kori：我觉得我们倾向于对未来可能带来的危险着迷，但忽视了这项技术已经带来的一些好处。例如在我的家乡加利福尼亚，当山火肆虐的时候，无人机可以帮助消防员确认如何分配资源。所以我们很关注杀人机器，但是我们没有想到AI技术也可以减少友军误伤。

另一方面从政府的角度来说，船早已离港了（意指为时已晚）。不可能找到有效的方法来禁止或限制这种技术。如果你看看全球武器控制的范围，核武器问题是目前国际社会做的最好的方面之一。因为核武器需要大量资源，大型设备，并且自1945年开始核技术就没有再发展了。生化武器的控制就比核武器要难得很多。因为大量的生化武器的升级换代来自于实验室。这方面的知识储备不断更新。再转向信息技术，相对来说成本更小，技术无处不在（人人都有手机）。唯一有效控制风险的方法就是程序开发者的专业和道德标准。

前五角大楼和白宫官员Kori Schake

主持人：目前国际社会控制常规武器的条约之一是1990年代签署的《瓦森纳协定》，但是那个时候我们还没有智能手机。您觉得《瓦森纳协定》需要更新么？还是说反正也不可能找到有效的管理机制，所以干脆放弃吧。

Kori：我当然觉得还是应该尝试的。我现在所在的国际政策研究中心（ISS）有一个项目就是在AI武器占领主要地位之前找到有效的武器控制协定。但是个人来说，我很消极。因为知识无处不在，硬件无处不在，门槛很低。同时这项技术的可能性实在是太大了。对生物武器和AI武器进行限制和控制反对最强烈的不是别人，正是科学家们本身。因为同样技术的积极面实在是无穷无尽，所以我本身非常怀疑能有有效的治理机制。

主持人：Shim教授，最近谷歌员工对国防部的（Maven）项目表达了不满，他们不想用AI技术来分析无人机收集的画面，进而使用到军事打击中。您觉得这是一个好结果还是阻碍技术进步？

Shim：我觉得是个很好的结果。这些工程师用他们的道德和良心抵抗了国防部的项目。要对老板的命令说不是非常不容易的。对于我个人来说，我在无人机领域已经干了27年，那时候没有现在的诸多负面问题，很多问题是在2013年以后才产生的。我认为无人机变得流行的时候也是问题产生的时候。如果对无人机没有充分的了解并且没有道德底线就使用的话，那（绑个炸弹或者生化武器什么的）真的很麻烦。AI也是同样的，它本来是一项门槛很高，很昂贵的技术。现在我儿子才7年级，课后作业已经在做算法了，这就是很大的一个问题。

KAIST副教授Shim

主持人：Shim教授您能给我们介绍一下量子计算机的基本情况么？

量子计算机在军事上主要是用于加密的。因为量子的特性是一旦你开始测量，它就开始变化了，所以在加密和解密方面有着巨大的军事应用潜力。

主持人：如果将来美国总统想将量子计算机卖给中国，有什么理由应该反对么？

Kori：我觉得没有什么理由反对。第一，在过去军事投入领先于科技创新，但是现在私有领域占据了主导地位。政府已经很难跟上行业创新的速度了，甚至连要限制什么都不是很清楚。第二，任何政策都有后果的不确定性。例如1950年美国准许苏联购买滚珠，这一政策极大增强了苏联导弹的精准度，当时没有人能预测到。所以在生物科学和IT这种变化极快的行业里很难预测政策的后果。

Shim: 目前美国在AI加密领域确实领先。远程作战需要有一个非常安全的控制频道。假设你有一支AI军队，例如无人战舰，无人战机，无人装甲车，必须要保证远程操控的安全性。量子加密在这方面就是非常好的一个手段，很难破解。事实上我认为中国在这方面的应用已经处于领先地位。美国在目前可能会对中国进行阻挠，但中国早晚会跟上的。

主持人：所以贸易保护主义是不是只是（关键）技术出口限制的替代词语罢了？

Koris：是的，没错。

主持人：很遗憾伯克利的计算机教授拉塞尔不在现场。他会有很多不同的意见。

加州大学伯克利分校计算机科学教授拉塞尔

Shim：我在伯克利的时候曾向拉塞尔老师学习。他是一个很勇敢的人，他非常担心AI武器扩散。

8月份的联合国会议有三种声音。第一种声音是：让我们完全放弃AI技术。另一种极端的声音是：让我们用有效的手段充分发展AI技术。中间派的声音是：让我们非常小心地发展AI技术。但是不论怎样，这三种声音都认为需要有效的人类控制。大家都认为不应该让AI单独完成杀人的决定。但是我的问题是，在战场上士兵没办法做决定啊。所以我们还是面临两难境地。统计学上AI确实能比人类更好地辨别图像。

观众里的计算机科学教授发言：

很感激你们的发言，但是不得不说我不太同意你们的观点。监管不单单是限制，尤其在AI领域。不是说我们限制程序员写什么算法，重要的是我们需要用监管使个人和企业对他们的算法负责。现在有一些烟幕弹把AI比作一个机器，没有办法让机器负法律责任或者进监狱。但其实我们不接受这种观点，是人在负责。事实上AI可以增加责任机制，这是今天讨论缺失的一条非常重要的线索。我们需要建立标准，证明你可以在法律的意义上尽职尽责。很多人说我真的不懂深度学习，怎么让他们负责。但是我们也不知道会计脑子里神经元的工作机制，我们只是规范他们，让他们对自己的行为负责。所以不能再将AI当做一个神话。我们可以通过记录找到他们使用的数据库，找到他们的算法，确认整个操作遵守安全标准和规范。（来源：界面新闻 刘芳）

财经大事 滚动播报 热点直击

深度│政策│独家│数据│钢市│楼市│基建│机械│汽车│造船│家电│电力│煤炭│国际│外汇│图片