算法加速的杀人机器

Whatsapp
Facebook
Twitter
Instagram
Telegram

通过 埃莉奥诺拉·阿尔巴诺*

战士机器人和对话机器人——爆炸性的联系

本文重点讨论互联网上传播的错误观念所造成的有害后果 聊天机器人。论证分为两部分。首先,它表明所谓的自主致命机器人的存在(自主杀手机器人)降低了人类在武装冲突中主导重要决策的可能性。

改善这种情况的一种方法是构建一个允许对此类机器人进行人工管理的界面。然而,由于所涉及的主要工具——即 伟大的语言模型 – 基于充满意识形态偏见且极易受到网络攻击的语料库。这种偏见很难摆脱,并且可能导致人类和机器进行对话,从而导致所涉及的冲突升级。

监视和防御机器人的古老神话

智能机器的梦想由来已久。与普遍看法相反,它并不是在 18 世纪欧洲皇室和贵族享受音乐和/或杂技机器人时开始的。在《奥德赛》中,荷马讲述了冶金和工艺之神赫菲斯托斯的冒险经历,他的黄金奴隶军团使用风箱执行重复的机械任务。他还提到了腓尼基人神奇的船只,只要有最轻微的危险迹象,它们就会被思想激活。

希腊人拥有先进的机械知识,使他们能够在整个古代、中世纪和现代使用弹簧、波纹管、活塞和杠杆来移动这些人造生物——用玻璃、锡或粘土雕刻的人、动物和神话人物。 – 他们被视为奴隶或仆人,注定要满足各种需求,包括性。妓女娃娃实现了贵族的自慰幻想,有助于强化人们对机器人“灵魂”的信仰。

虽然在中世纪的欧洲仅部分保存,但这种艺术很快通过伊斯兰教传播到世界各地,然后传播到东方。东方人首先用它来创造守护机器人,以看守宫殿或圣物,例如佛陀的圣物。

不难理解,这种机制所引起的迷恋和恐惧使其成为社会控制的强大工具。因此,这一古老的想象被大型科技公司引用并在互联网上广泛传播也就不足为奇了。事实上,它已经有了实体面孔,因为它被用于娱乐行业,即漫画、电影和电视剧中。

大型科技公司对监视和防御的占用

国防专家罗伯托·冈萨雷斯(Roberto Gonzalez,2024)的一份报告显示,近年来,美国军工联合体如何从首都环城公路转移到硅谷。为了采用基于人工智能的武器并试图保护其云计算,美国国防部不得不向微软、亚马逊、谷歌和甲骨文求助,并授予他们数十亿美元的合同。与此同时,五角大楼优先资助那些渴望通过快速创新和雄心勃勃的增长目标撼动市场的国防技术初创公司。

在这种情况下,作者确定了三个因素:(i)硅谷的创业模式; (ii) 风险资本融资条件; (iii) 数字技术行业的优先事项。其结论是,这三者的结合产生了尖端武器——无论成本如何——在实践中往往是无效、不安全和不可预测的。

让我们看看为什么。第一个因素夸大地加快了对这些武器中使用的人工智能的研究速度;第二个是推动有利于投资者的结果;第三个寻求将数字技术市场的时尚融入到系统设计中。这使得几个侧翼容易受到黑客攻击以及人与机器之间通信错误的影响,这可能会导致重大战略灾难。

以色列的自主机器人战士

得益于人工智能,自主武器工业取得了巨大进步。毫无疑问,当今在这项技术上投资最多的国家是以色列。下面让我们看看该国如何吸引西方投资来延续军火工业。

英国兰卡斯特大学名誉教授露西·苏克曼 (Lucy Suchman) 长期致力于对人工智能和人机交互领域的科学和人道主义批评,研究当代军国主义。

在网站发表的一篇文章中 停止杀手机器人 2024 年 XNUMX 月,[I]的 她分析了南非向海牙国际法院提出的种族灭绝指控所附的技术报告。这篇文章的标题是“大规模谋杀工厂:以色列有计划地轰炸加沙的内幕”,文本对作者所说的“算法加速的杀人机器”进行了可怕的揭露。

该机器包含一个由以下人员操作的瞄准系统 人工智能,愤世嫉俗地称为 哈布索拉 – 福音。它允许以色列国防军(IDF)将对加沙地带平民目标的轰炸给予更宽松的授权,同时放宽对预期伤亡的限制。这禁止向人口稠密的平民地区(包括公共和住宅建筑)发射导弹。

国际法律准则要求选择用于轰炸的建筑物是合法的军事目标,并且在被摧毁时是空的。以色列国防军的新政策粗暴地违反了这些规定,对巴勒斯坦人民发出了一系列不切实际的疏散命令,使巴勒斯坦人民越来越局限于加沙的小飞地。

被占领土广泛的监视基础设施促进了这一目标的实现。此外,通过宣布整个加沙表面都隐藏着哈马斯地下隧道,以色列将整个加沙地带作为破坏对象“合法化”。

这种操作策略导致需要不间断的候选目标流。为了满足这一要求,Habsora 旨在加速根据监视数据生成目标,创建了作者所说的“大规模谋杀工厂”,采用了以色列前国防军军官提出的术语。

因此,以色列对加沙的轰炸将人工智能瞄准的重点从精确性和准确性转向了加速破坏速度。以色列国防军发言人明确承认,对加沙的轰炸是“强调破坏性而不是精确性”。

露西·苏克曼接着指出,这改变了一种符合国际人道主义法和《日内瓦公约》的技术的叙述,转变为专注于目标生成自主性的技术,这保证了毁灭性的速度和效率。从这个意义上说,以色列情报来源承认,这些行动的目的是影响平民,借口是这是消灭哈马斯的唯一可能的方法。

必须在上述网络吸收战争行动的背景下理解以色列对算法目标生产的诉求。植根于冷战的控制论想象,基于数据的战斗在 1990 世纪 XNUMX 年代变得可行,为军事逻辑中“态势分析”的老问题提供了技术解决方案。在网络化战场上,数据以光速移动,将传感器与射手和平台连接起来。军人的生命得以幸免,而目标领土的平民却遭到大量屠杀。

作者指出,数据因此被自然化,即被视为外部世界发出的客观信号,而不是从机器可读信号到军事战略家创建的分类和解释系统的一系列翻译的结果。

因此,数据收集基于其价值的想法被对计算基础设施的持续投资所取代,而计算基础设施构成了当今该行业最有价值的资产。

这项投资基于对数据驱动监测的盲目信仰,源于将数据直接纳入决策的幻想愿望,尽管其来源和处理方式可能值得怀疑。

所有这一切都发生在以色列致力于将自己打造成尖端军事技术领先供应商的政治经济背景下,特别是在基于人工智能的战斗中。鉴于该国的主要技术机构以色列理工学院拥有一个装备精良、资金雄厚的研究项目,专门研究包括武器在内的工业自主系统。

这解释了西方对加沙和平谈判的愤世嫉俗的冷漠:当前的军备竞赛很容易以以色列为基地。美国投资该行业并从中受益,战略性地将其远离本土。

另一方面,他们在国内进行战略性高科技网络安全研究,即研究如何使用这些武器并防止网络犯罪。

一个半开玩笑的军事助理?

我们将在下面看到为什么人工智能,特别是它的语言版本——聊天机器人——不适合在军事计划中使用。除了实际上无法解决的安全问题之外,正如已经提到的,模拟自然语言的系统的输出也具有固有的不可预测的一面。

我们首先来看看为什么军事战略所需的安全与数字世界是不可调和的。为此,我们从一开始就承认安全的网络应用实际上是不可能实现的。

记者 Dave Lee,负责报道人工智能 “金融时报”,发表了对伟大语言模型的安全缺陷的精彩分析[II] 2023 年 XNUMX 月,在该行业的一家公司 Hidden Layer 的网站上发表了一篇文章。让我们回顾一下其主要论点。

作者首先评论了近几十年来人工智能给工作空间带来的深刻变革。一个很好的例子是使用 Great Language Models 来编写法律文档,在英国法律行业的一些公司中,这种情况已经达到 80%。

它继续表明伟大的语言模型如何特别容易被滥用。换句话说,它们有助于创建恶意软件、网络钓鱼或其他恶意内容。他们还提供因秘密操纵而产生的有偏见、不准确甚至有害的信息。如果未能保护发送给他们的请求,就会导致侵犯知识产权和数据隐私。代码生成工具也会发生同样的情况,这些工具可能会暗中引入错误和泄漏。

此外,据作者称,伟大的语言模型有助于缩小互联网和暗网之间的界限,如今很容易找到在非法加密货币交易中用作勒索软件的攻击工具包。

生成式人工智能允许即时、轻松地访问全方位的隐形攻击,有可能向任何敢于询问的人提供网络钓鱼和恶意软件。剧本卖家越来越专注于这项服务。例如,接受绕过过滤器的套件订单是很常见的。

在这种情况下,欺诈是可行的,因为每次执行恶意软件时,聊天机器人都会立即合成代码的恶意部分。这是通过使用旨在绕过固有过滤器的描述性提示向提供商的应用程序编程接口发出简单请求来完成的。当前的反恶意软件很难检测到这种伎俩,因为它还没有监控基于大型语言模型的服务流量中的危险代码的机制。

虽然恶意文本在某些情况下是可检测和可阻止的,但在许多其他情况下,内容本身以及相关的请求被设计为看起来是良性的。如果没有检测潜在意图的机制,那么诈骗、网络钓鱼和欺诈中使用的文本生成可能很难解释,这涉及仍处于起步阶段的复杂程序。

基于大型语言模型的工具也可能会导致代码漏洞方面的“意外”损坏。 Bug 赏金计划和 CVE/CWE 数据库的存在[III] 表明,就目前而言,安全编码只不过是一个值得努力的理想。

像 CoPilot 这样的编程助手能否解决问题,生成比人类程序员更好、更安全的代码?不一定,因为在某些情况下,它们甚至可能引入经验丰富的开发人员不会陷入的陷阱。

由于代码生成模型是在人类编码数据上进行训练的,因此它们不可避免地也会包含一些坏习惯,因为它们无法区分好的和坏的编码实践。

该记者还指出,最近对 CoPilot 生成的代码的安全性的研究得出的结论是,尽管通常引入的漏洞比人类少,但它除了生成可泄漏的代码作为响应之外,还倾向于坚持某些类型。与旧的未解决故障相关的提示。

问题之一正是用户极度缺乏准备。原则上,他们应该已经知道免费的在线服务是用您的数据付费的。然而,新技术的隐私问题通常只有在最初的热情过去后才会变得清晰。只有当创新已经变得司空见惯时,公众才会要求采取措施和指导方针。社交网络也是如此。伟大的语言模型才刚刚开始。

任何基于大语言模型的服务的条款和条件协议必须解释服务提供商如何使用我们的请求提示。但它们通常是用小字体和不透明风格写成的长文本。

因此,任何不想花费数小时破译隐私合同的人都必须假设他们向模型提出的每个请求都以某种方式记录、存储和处理。您至少必须等待数据添加到训练集中,因此可能会因响应其他请求而意外泄露。

此外,随着人工智能的快速扩张,许多提供商可能会选择通过将输入数据出售给研究公司、广告商或任何其他感兴趣的团体来获利。

另一个问题是,尽管伟大语言模型的主要目标是保持对其目标领域的良好理解,但它们有时会包含过多的信息。例如,他们可以从您的训练集中反刍数据,最终泄露机密,例如个人身份信息、访问令牌等。如果这些信息落入坏人之手,后果显然会非常严重。

作者还记得,无心记忆和过拟合是不同的问题[IV]。由于训练的持续时间和 GLM 背后的统计数据,这是对训练数据的过度遵守。过度记忆是无法概括互联网上同伴的选择,这可能导致算法意外地挤压和暴露私人信息。

最后他警告说,安全和隐私并不是生成人工智能的唯一陷阱。还有许多法律和道德问题,例如信息的准确性和公正性,以及由大型语言模型驱动的系统提供的答案的总体“合理性”,正如我们将在下面看到的。

大型语言模型固有的不确定性

在其他著作中,我详细解释了伟大的语言模型如何通过一种方法来模拟自然语言,该方法计算线性字符串中最可能的单词,扫描互联网并使用属于拥有该模型的公司的密集注释数据库来衡量候选者的连贯性它的模型——通常是大型科技公司,即:亚马逊、谷歌、微软、开放人工智能或甲骨文。

公众必须明白,此类机器人并不具有智能,更不用说像互联网上所说的那样具有感知能力。在这里,我将不得不简要重复这一解释,以对抗提供商本身传播的有偏见的隐喻,以鼓励用户与扩展和丰富数据库的机器保持对话。

这就是伟大语言模型“幻觉”的说法,即它们吐出不一致、胡言乱语甚至冒犯,就像一个失去理智的人一样。当我们了解这些模型的工作原理时,我们就会清楚地看到这种现象确实发生了,但它纯粹是物理的,也就是说,它遵循其他情况的模式,即动态方程组突然出现突然变化。

伟大语言模型的秘密是通过尝试预测下一个单词来令人信服地模拟自然人类语言的不连续性。

这要归功于三个要素:拥有互联网内容的公司挪用整个互联网内容;巨大的循环神经网络能够实时计算数百万个单词之间的关联统计数据——即所谓的“变压器”;和分类标签,由来自不同知识领域的大量高素质不稳定工人在不同层次上创建和组织。

外包这些服务的公司通常位于拥有许多高素质失业人员的贫穷国家,例如例如,印度、南非、尼日利亚和巴西。

因此,伟大的语言模型可以处理不连续的关系,例如“吃老鼠的猫死了”这句话中的关系——其中死的是猫而不是老鼠。他们还可以识别动词中的不连续性,例如“root”,通过在词干上添加前缀和后缀而形成,并将它们与其他类似词联系起来,例如“beautify”、“perch”等。

这一操作是纯线性的,即它在每一步都预测一个又一个的单词。神经网络实时计算互联网上单词对之间共现的所有概率,选择最佳候选者并继续。

所涉及操作的简单性是显而易见的。计算共现概率不仅仅适用于词汇。

整个语料库在不同的分析级别上进行了注释,其中包括句法(即合取和析取规则)、语义(即基本和联想意义)甚至语用信息(参考文本本身和/或上下文,如人称代词以及地点和时间副词的情况)。优化函数选择最适合将所有这些方面连贯地集成到正在构建的文本中的对。

语言注释器标记文本的结构属性。来自其他人文和社会科学的科学添加了多层内容和风格标签。以类似的方式,自然科学和精确科学的注释者为各自的领域添加层次标签。最终,熟悉变压器的计算机科学家反馈了 前馈 网络与由此产生的多级结构。

正如我们将在下面看到的,变形金刚的功能可以与行为主义最激进的形式——操作性条件反射相媲美。[V]。成功概率最高的配对类型得到强化,可能性越来越大——这巩固了所涉及的联系并影响下一对的选择。这个过程自然会产生同一类对的新例子,有助于增加它们在网络中的频率。

这无疑是一种优秀的自然语言计算模拟方法。然而,将其输出与自然话语混淆就相当于假设人类思维通过量化并不断重新计算的连续关联来工作。如前所述,这一前提与操作性条件反射一致——操作性条件反射是美国在第二次世界大战期间创建的一种控制行为的方法,后来被麦卡锡主义采用。

它的创造者、心理学家伯鲁斯·F·斯金纳(Burrus F. Skinner)被他的同事指责为法西斯主义,并回应说这种方法纯粹有教育目的。讨论记录在 The New York Times ,其档案中有罗伯特·莱因霍尔德报告的在线版本[六] 1972 年在耶鲁大学举行的一次研讨会上,斯金纳的观点遭到了该领域整个学术界的否定。

尽管斯金纳的教育项目失败了,但他的想法被大科技公司拯救了,让人类更接近机器。不幸的是,今天,不加区别地使用实现伟大语言模型操作条件的算法正在影响用户的行为。他们越来越多地模仿聊天机器人,滥用陈词滥调,就像他们不加批判地接受针对他们的问题发布的陈词滥调一样。

上述内容清楚地表明,变形金刚不会产生新知识,因为它们只是解释了互联网上简单推理的表面形式。因此,只有当您想要从可靠来源编译信息时,它们才充当搜索引擎。然而,可靠性评估是不确定的,因为很少有网站有版主和/或策展人。

正如您可以想象的那样,大型科技公司只对雇用注释员感兴趣,而不是版主和策展人。换句话说,重点是详尽性而不是信息的质量。来自变压器的所有内容都会反馈到输入语料库中。没有人可以过滤和丢弃错误或不准确的响应尝试。如果不加节制,事实错误就会变得司空见惯,错误、谎言和矛盾充斥网络。

用户的问题和评论,无论看起来多么天真、宗派甚至冒犯,都会自动添加到数据库中,使其成为潜在危险偏见的取之不尽的来源。于是,缺乏辨别真假的线索,逐渐淡化了真假之间的界限。

在这种情况下,聊天机器人的礼貌和教育语气会引诱并吸引用户,逐渐削弱他们对对话含义的认识以及怀疑答案的能力。因此,当今生活的加速有利于公众广泛接受提供现成且易于重复答案的算法。

因此,得出的结论是,除了不安全之外,伟大的语言模型还对批判性思维构成威胁,而批判性思维是预防战略灾难不可或缺的资源。

拥有伟大语言模型和自主武器的军国主义?

现在让我们进入最后一步,展示聊天机器人和自主武器之间可能相互作用的危险。

一个跨学科团队,由 Rivera、Mukobib、Reuelb、Lamparthb、Smithc 和 Schneiderb 组成,[七] 在最近的一篇文章中评估了在军事和外交决策中使用伟大语言模型导致冲突升级的风险。作者研究了几个人工智能代理在模拟战争游戏中的行为,计算了它们采取可能加剧多边冲突的路径的可能性。

基于政治学和国际关系对冲突升级动态的研究,他们对记录的战争游戏进行了尽可能真实的模拟,并创建了一个适应多种场景的网格,以对所涉及的不同代理人的行动风险进行评分。 。

与以前的文献不同,这项研究使用定性和定量数据,重点关注由五家不同公司提供的伟大语言模型。他发现所有这些物体的形状和攀爬模式都难以预测。主要发现是,此类模型往往会发展军备竞赛动态,导致更大的冲突,甚至在某些情况下建议使用核武器。

作者还基于威慑和攻击优先策略(例如以色列已经使用的策略)对所选行动模型报告的推理进行了定性分析,并观察到了令人担忧的理由。鉴于当前西方外交和军事政策环境的微妙形势,他们的结论是,在实施主要语言模型进行军事或外交战略决策之前,有必要加深对数据的审查并谨慎行事,即使简单的助理头衔。

顺便说一句,大型科技公司已经与各国政府达成协议,禁止将语言技术用于军事目的。这项研究证实了这一措施的正确性以及相关技术的脆弱性。

最后,让我们记住,控制伟大语言模型行为的方程系统的动态行为是一个物理事实,并且跳跃的发生尽管是可预测的,但却是不可避免的,是系统本质的一部分。

因此,任何技术进步都无法“纠正”聊天机器人功能固有的不确定性。相反,在理论或实践中诉诸这些不确定性时,有必要考虑这些不确定性。

*埃莱奥诺拉阿尔巴诺, Unicamp语言研究所退休教授,心理学家、语言学家、散文家;协调巴西第一个语音技术项目.

笔记


[I]的https://stopkillerrobots.medium.com/the-algorithmically-accelerated-killing-machine-8fd5b1fef703

[II] https://hiddenlayer.com/innovation-hub/the-dark-side-of-large-language-models/

[III] 这些是系统中已检测到的漏洞 (V) 和弱点 (W) 的存储库。

[IV] 这就是机器学习过于依赖训练集而无法超越它的情况。

[V] Skinner,BF(1938)。 生物体的行为:实验分析。纽约:阿普尔顿世纪克罗夫茨。

[六]https://www.nytimes.com/1972/04/21/archives/b-f-skinners-philosophy-fascist-depends-on-how-its-used-he-says.html

[七] https://dl.acm.org/doi/abs/10.1145/3630106.3658942  


地球是圆的 有谢谢 致我们的读者和支持者。
帮助我们保持这个想法。
贡献

查看作者的所有文章

过去 10 天内阅读最多的 7 篇文章

查看作者的所有文章

搜寻

研究

THEMES

新刊物