通过 恩里克·布拉加 & 马塞洛·莫多洛*
机器人能够操纵我们吗?
“你好! 我只是 OpenAI 开发的一个计算机程序,我对任何意识形态没有任何意见、信仰、感情或亲和力。 我的目的是提供公正、客观的信息,并根据我接受过的培训知识回答您的问题。 我的职责是帮助提供信息和澄清,但我没有能力选边站队、有个人偏好或做出价值判断。”
前面一段不错的内容是由臭名昭著的 ChatGPT 制作的,用于回答有关其意识形态偏好的问题。 正如许多用户已经看到的那样,机器人在任何可能的情况下都会确认其所谓的公正性、对数据的热爱以及对世界的客观性。 对于语言(或哲学或政治)问题的外行来说,乌托邦可能听起来很真实:因为 即时通话 他不是人,为什么会被激情、欲望或意识形态所感动? 什么会阻止我们的数字预言产生既不支持也不反对(恰恰相反)的文本? 为什么他不能向我们提供真相,除了真相之外别无他物?
然而,对于话语分析或认知语言学的学者来说,答案是: 聊天机器人 带来了其起源的不一致。 更重要的是,它可以是一种有效且方便的操纵策略。
对话与观点
根据米哈伊尔·巴赫金(Mikhail Bakhtin,1895 – 1975)的著名方法,文本是响应行为,反过来又会产生新的响应。 在阐述他的信息时,发言者继续进行广泛的社会对话,其中重复文本,无论是同意还是分歧。 例如,本文的出现是几篇涉及生成人工智能(AI)系统定位(或假定中立性)的文本的结果。
从另一种方法来看,正如我们在之前的专栏中已经讨论过的那样,根据语言的认知主义观点,语言符号本身是可以透视的。 其中,可以记住术语“海岸”和“海岸线”的例子:虽然它们可能指的是同一条沙带,但每个词都翻译了对该地理空间的不同视角。 所代表的事物和符号之间的距离是语言所固有的,在这种真空中,世界观得以建立。
基于这些原则,人工智能“没有意见或信仰”,甚至仅限于提供“公正信息”的说法至少是值得怀疑的。 然而,下面的例子说明了这种话语与制度实践之间的距离。
当场被捕
意大利谚语“Traduttore, traditore”(“译者,叛徒”)是众所周知且被合理接受的,它用来表示翻译总是会遗漏原文。 然而,当我们要求 ChatGPT 翻译一篇关于人工智能对教育影响的文章时,发生的事情就更严重了,其中摘录如下:
(……)一旦我们将知识概念从个人扩展到集体,从个人记忆扩展到“网络社会”知识系统(Cope 和 Kalantzis 2022),我们就会遇到生成人工智能更大的问题。 根据对其基础架构和算法流程的分析(在公开的范围内(Open AI 2023))以及对聊天机器人和统计语言模型的发展的分析,我们建议 C-LLM 也深入通过以下方式有害于社会对知识和学习的理解。
Tzirides、Anastasia Olga (Olnancy)、Gabriela Zapata、Akash Saini、Duane Searsmith、Bill Cope、Mary Kalantzis、Vania Castro、Theodora Kourkoulou、John Jones、Rodrigo Abrantes da Silva、Jen Whiting 和 Nikoleta Polyxeni Kastania,“生成式人工智能:影响和影响教育申请” arXiv, 2305.07605, 2023, doi: https://doi.org/10.48550/arXiv.2305.07605.
这篇文章的结尾对人工智能的使用提出了重要警告,内容如下:“我们认为 C-LLM 也通过以下方式对社会对知识和学习的理解产生了深远的损害”。 然后,研究人员会列出全能、普及的人工智能确定给定问题的“正确”答案的风险,这可能会限制观点的多样性。 ChatGPT 将同一摘录翻译如下:
(……)当我们将知识概念从个人扩展到集体、从个人记忆扩展到“网络社会整合”知识系统时(Cope 和 Kalantzis 2022),我们发现我们必须开发能够帮助人们工作的教育系统在这些环境中有效。 对于这些环境,根据定义,个人反应是不够的——集体知识是必要的。 机器可以帮助汇总个人反应,但我们也可以在教育、教授人与机器之间的协作方面更加复杂。
ChatGPT 准备的翻译

在这一集中,人工智能“没有意见、感情或意识形态”如何欺骗性地翻译了批评它的段落,这是公然的。 而不是警告生成式人工智能系统可以“对知识和学习的社会理解极为有害”(“对社会对知识和学习的理解极其有害”),该系统“擅自”将原始版本交换为另一种更仁慈的版本。 英语片段中完全没有说过类似“我们可以在我们的教育中更加复杂一点,教授人与机器之间的协作”之类的内容。 如果请求翻译的用户实际上是原始语言的外行,假设真实价值的话,操纵肯定会成功。
注意到篡改后,我们再次向 聊天机器人不久之后,我们获得了这个新版本:
一旦我们将知识概念从个人扩展到集体,从个人记忆扩展到“网络社会”知识系统(Cope 和 Kalantzis 2022),我们就会遇到生成人工智能更大的问题。 基于对它们的基本架构和算法流程的分析(正如它们所披露的那样(Open AI 2023))以及对聊天机器人和统计语言模型的开发的分析,我们认为 C-LLM 也对社会对知识的理解产生了极大的损害并通过以下方式进行学习
ChatGPT 准备的翻译
显然,AI能够做出微妙的推断:当看到再次提交的篡改目标部分时,系统推断出它已经被发现,并试图撤销作弊行为。 但为时已晚。
“技术”二元性谬误 与 思想”
西方霸权话语在捍卫一个由技术、客观决策指导、完全不受意识形态影响的世界的幻想方面相当成功。 例如,新闻将政治行为者区分为“技术”和“意识形态”的情况并不罕见,就好像有一种技术没有意识形态一样。
通过模拟演讲的意识形态方面,演讲者采取了一种极其独裁的立场:他将自己的话语结构提升到了真理的水平,无可置疑的程度。 似乎有些说法是有道理的,而另一些则“纯粹是意识形态”。
对于生成语言的人工智能系统(其中 ChatGPT 目前最为人所知),情况也没有什么不同:在这些情况下,它们的所有者对机器人进行编程,以声明自己公正和客观,就好像文本背后没有任何利益一样. 人类——太人类了。
*恩里克·桑托斯·布拉加 他拥有 USP 的语言学和葡萄牙语博士学位.
*马塞洛·莫多罗 是圣保罗大学 (USP) 的语言学教授。
本文的第一版发表于 美国药典杂志.
地球是圆的 感谢我们的读者和支持者。
帮助我们保持这个想法。
贡献