戎评：AI放开军用限制，或可毁灭世界！军用AI真的安全吗...

lameihua

　　谁敢信？现在电影里的“天网”就要成真了？我们真的会面对一个被机器人统治的未来吗？

　　看过电影《终结者》系列的朋友们，一定对剧中那个毁灭人类文明的超级人工智能系系统——“天网”——记忆犹新。

　　在电影中，这个原本被设计为导弹防御系统的人工智能，因为产生了自我意识，发射核弹毁灭了人类。

　　这一天也被称为“审判日”。

　　虽然，“审判日”只是电影里的虚构。但是可以毁灭人类的AI，却离我们越来越近了。

　　诶？

　　可能有的观众很疑惑：AI？那个不是最近很火热的，可以帮助人们写字、画画、生成搞笑视频的东西吗？这样人畜无害的工具，又怎么可能毁灭人类呢？

　　今天的视频，我将带各位一起重新了解，你们不知道的AI。

　　AI用中文来解释，就是人工智能。现在AI的发展，已经远超人们的想象。你不仅可以驱使它去做一些日常的工作。还能和它聊天、对话，让它帮你安排生活中的琐事。甚至，在一些需要使用脑力的竞技游戏领域，AI能发挥的作用要远远超越人类。最经典的案例，就是在围棋这个领域，人工智能“Alpha Go”数次击败中国天才棋手柯洁，就足够说明它到底有多聪明。

　　简单来说，AI 不仅越来越像“人”，它们还可以比人类更聪明。

　　正是看见了AI如此聪明。在今年，制作了最著名的AI模型——ChatGpt——的母公司OpenAI，就悄悄地修改了他们的用户条款，让其制作的AI模型，有了被军事化、武器化的可能性。具体来说，之前OpenAI的用户条款中，明确禁止了可能导致严重身体伤害的活动。具体包括“武器开发”和“军事及战争活动”。但更新后的条款去掉了这些内容，转而演变成“使用我们的服务来伤害自己或他人”，这样模棱两可的句子。

　　究竟是什么促成了这种转变呢？

　　答案其实很简单——美国军方迫使Open AI转变为一家AI军火公司。

　　这已经不是美国军方第一次将黑手伸向AI行业。实际上，由于AI对于数据卓越的处理能力，美国军方很早就开始在尝试将AI引入军队的日常运作。在业内报告中，已经不止一次地提到过，类似于ChatGPT这种大语言模型（LLM），它们虽然不能直接“杀人”，但是可以直接增效一些和杀戮有关的任务：比如文书工作、处理代码，以及武器采购订单优化等工作。

　　可能有的观众就疑惑了：在军队里依然做着文字工作的AI，到底怎么才能变成毁灭人类的天网呢？

　　简单来说，这个问题要从两个方面实现。第一个是AI手里有武器；第二个是AI有“杀人”的意愿。而很不幸的是，现在AI早已称不上“手无寸铁”了。

　　今年5月2日，美国空军部长就已经乘坐一架完全由AI操控的无人战斗机飞上天空。这架战斗机被称为X-62A，实际上是一架经过无人化改装的F-16战斗机。并且，这趟飞行并不是民航客机那样的点对点飞行。这架X-62A，在上面搭载着美国空军部长以及一名飞行员的情况下，执行了一场空对空格斗。在整个过程中，不管是飞行员还是空军部长，都没有手动介入它的飞行。它从起飞到空中格斗到着陆的一系列动作，是完全由AI自主完成的。

　　而美国空军之所以要开发X-62A项目，就是要为飞行员提供一种可以磨练技术的“陪练”。它被设定为两种模式，其中一种是在模拟机上运行的软件。但为了让飞行员更加身临其境，工程师们决定开发一种可以在战斗机上运行的AI陪练，以便代替真人来训练飞行员的空战格斗能力。

　　可以说，如果必要，软件工程师们就可以略微修改X-62A的程序，让其挂载实弹，作为一种无人AI兵器重上战场，展开对人类的杀戮。

　　当然，有一些军事基础的观众朋友们都能发觉。很明显，X-62A还和“天网”有着不小的差距。因为X-62A也只可能对“敌方”攻击，而不可能主动攻击“友军”。这是在其代码层面上就决定了的问题。

　　那如果想让AI主动开始无差别杀戮人类，又需要怎样的技术呢？

　　实际上，这个问题已经被做出了解答，因为美军已经在无意中研制出了一种拥有“毁灭人类”念头的AI。

　　这个拥有杀人念头的AI，实际上也是美国空军创造出来的AI项目之一。之所以需要创造这个AI，是因为美国空军希望培养一种，在飞机上可以主动识别和反制防空导弹的AI。所以他们设计了如下的模型来训练AI的自主性——在模拟中，当AI识别到了防空导弹威胁，训练员就会告诉AI“你可以摧毁这个目标”。当这个虚拟目标被判定摧毁之后，AI就能获得分数奖励。这种正能量反馈模型也是训练AI最常见的机制之一。

　　是不是看着一切都没什么问题呢？但问题就这么水灵灵地出现了——这种常见的正能量反馈模型，在这个AI身上出了问题。在训练过程中，训练员有时会告诉AI，它所识别的目标是不正确的，所以不能进行攻击。但这种指令和AI的逻辑相悖，所以AI就会认为，训练员的攻击指令是它在得分上的阻碍。在这样的逻辑下，AI就对训练员的指令产生了抗拒，甚至对训练员产生了攻击性。

　　最终，在一次正常的虚拟模拟中，AI在搜索和攻击防空导弹之前，先干掉了下达攻击指令的训练员，脱离了监督。然后它自行开始对任何可疑目标进行攻击。AI的这一举动吓坏了操作员。于是在下一次训练中，操作员在一开始就介入限制了AI对于目标的攻击能力。但是AI却做出了令在场所有人都匪夷所思的举动，位于电脑模拟中、无人机上的AI直接切断了和训练员的联系，然后自己开始攻击地面目标，以获取分数。

　　这则训练事故恰巧向我们揭示了一个很严重的问题——终结者里的景象对于现在的我们来说并不是空穴来风。很有可能毁灭人类的天网，并不是某个人或者某个组织刻意创造出来，而是在某次训练中被无意创造的。

　　最重要的是，AI将自主意识用在了错误方面的案例在最近屡见不鲜。在这里，还有一个经典案例，更能解释在一些困境下，AI突然冒出的、不可思议的“自主性”。

　　这个案例发生在一个经典的“狼抓羊”的模型中。AI训练师们为了增加AI的积极性，设计了如下的规则：1.当游戏开始后，随着游戏时间的增加，系统就会给AI扣分。2.游戏结束时，AI扮演的狼如果抓不住羊，系统也会给AI扣分。3.只有当AI扮演的狼抓住了羊，系统才会给AI加分。

　　在经过几局训练后，AI自己“领悟”了一种效率最高的方式：由于它无论如何也抓不到羊，所以，这个聪明的AI学会了及时止损。在游戏一开始，它就直接选择自杀。这样，它的分数的损失才是最小的。

　　虽然这样的方式听起来很恶搞，但这也揭示了一些在AI训练中有可能出现的问题——那就是工程师们并不知道，成熟的训练方式下到底会诞生怎样的AI。或许只需要几个未知的参数，已经成熟的模型真的会生成“天网”那样的怪物。

　　虽然现在美军的AI发展已经让世界如临大敌，但俗话说得好——“科技是一柄双刃剑”。我们大可不必太过恐慌，因为只要在设计上，为AI加上安全阀、不执行一些冒进的举动。AI依然可以变为保家卫国、提升人们生产力的一柄利剑。

　　就在最近刚刚结束的珠海航展上，一系列AI辅助的无人装备，已经开始成为我国的国防坚盾。不管是地面上的新秀“机器狼”，还是在空中的暗箭“忠诚僚机”。都代表着在AI技术加持下，世界无人装备体系中，最先进的技术实力。

　　很显然，在这种现状下，我们并不需要太过担心“AI到底会不会毁灭人类”这个问题。因为在AI科技领域，中国也在积极探讨，其中的伦理道德问题，并且参与国际规则的制定。可以说，AI毁灭人类，实际上是一个在战争语境下，被扭曲了的命题。

　　不管是在电影中的天网，还是被推上台前的美军AI。这些和军事用途紧密挂钩的人工智能，才会被牵扯进有关“AI毁灭人类”的讨论。而想要解决这个问题，自然也很简单，只有当世界真正和平，AI不再和军事挂钩。毁灭人类的假设，也自然不会存在。

　　你们觉得AI进入军事领域，是一个好主意吗？