通过 埃莉奥诺拉·阿尔巴诺*
聊天机器人的无差别普及可能会破坏依赖批判性思维的教育传统
资本主义对批判性思维的攻击直接影响大学的未来。至少从教学-研究-推广三足鼎立的局面金融化以来，这种情况就一直在发生——大型科技公司最近篡夺了这一局面，并将自己确立为“赞助人”。
本文重点关注在互联网上提供所谓的对话机器人或“聊天机器人”的赞助形式。
技术科学将这些机器人视为智能，声称它们能够准备任何级别的课程、加速研究、自动化书目审查并减少数据收集和处理时间。
这里证明这些声明的相关性完全取决于聊天机器人用户的关键培训。
你必须知道，这些人只是重新编辑网络上的高频“推理”。还必须了解，这是通过图灵机的简单模拟来实现的——它以连续且详尽互连的序列预测下一个符号——但实际上并没有创造任何东西。
因此，不加批判地、不加区别地普及它可能会破坏教育传统，而教育传统的有效性取决于数百年来的批判性思维。
本文讨论了科技巨头为学生和教育工作者提供的工具，重点介绍了其中最受欢迎的工具，即大型语言模型（以下简称 GML，即英语 LLM）的智能化。 大型语言模型，其中最著名的例子就是ChatGPT)。为此，本文恢复并扩展了针对此类指控的论点。 网站上发布 地球是圆的 2023 年 XNUMX 月。
涉及的步骤有六个。
首先，我从社会科学的分析角度探讨资本主义自金融化以来的不断变革。某些当代作家，例如 Tsoukalis，[I]的 认为，鉴于当前获取利润的方式多种多样，新自由主义这一术语正在失去其意义。
然而，我的重点将是行为上的，也就是说，我将尝试理解生产系统的这种不断变化的所引起的不适、痛苦和不安全感。
然后，我继续分析这种情况对批评所带来的有害后果，并指出已经存在的某些威胁。
我继续展示大型科技公司如何不受限制地占用互联网内容，为它们成为教育赞助者铺平了道路，并承诺为教师、学生和研究人员提供各种工具。
接下来我来分析其中最重要的，即个人助理的语言技术（比如亚马逊的Alexa或微软的Copilot）。首先，我表明，模拟标准秘书的礼貌和谨慎的语气会激发人们对写作/阅读机器（或说话者/听众）的认知能力（甚至社会情感能力）的各种幻想。[II]）。现在我将展示这些幻想如何影响和破坏相关人员和机构的日常生活。
第一个幻想是机器具有感知能力，即相信机器能够体验感觉和情感，并意识到这些感觉和情感。
另一个幻想复活了古老的石碑神话，在古代，石碑被认为是有生命、有知觉、有智慧的。其目前的版本声称机器对人类推理的模拟已经达到了完美同源性。我将通过逐步解释聊天机器人背后的 GML 的基于操作性条件反射的行为主义架构来证明这种假设的错误。
下面证明，语言机器人所创造的“新”含义实际上并不新，因为它们完全基于可以通过复杂的统计功能在互联网构成的庞大语料库中找到的类比。
批评并不适合这个限制，因为它需要不断地进行怀疑。搜索引擎的速度和效率虽然使得机器能够给出可接受的、非常好的甚至是优秀的答案，但是却并不使得它能够提出好的问题。因此，问题的责任仍由用户自行承担。
最后，我指出了这些工具的一些缺陷，这些缺陷可能会使那些想要使用这些工具来加速和机械化学术任务（例如准备课程、复习文本和组织研究数据）的用户感到迷失。
因此，我得出结论，这些都是非常有用的资源——但只适合那些知道如何对它们进行严格批判性审查的人。
资本主义令人眼花缭乱的变革
自金融化以来，资本主义一直在创造新的利润获取方式，远远超出了对工人的剥削。随着互联网的出现和普及，消费者开始为平台所有者免费工作，因为当他们使用它们时，他们会自动创建他们的社会关系和消费习惯的档案，并在未经他们同意的情况下出售给感兴趣的广告商。正如 Shoshana Zuboff 指出的那样，[III] 这种持续的监控侵犯了用户隐私，事实上是为了实现强大的监视计划。
如今，这种数据交易并不局限于网民的点击。有些公司没有资源创建和维护互联网空间，因此将其数据库存储在大型科技公司控制的云中。这种将市场转向所谓的“云计算”并摧毁市场的根本性变革被雅尼斯·瓦鲁法基斯恰当地称为“技术封建主义”。[IV]
技术封建主义通过剥削大批不稳定的外包工人来剥削消费者和资本家，这些工人在只有巨型机器才能实现的层次结构中对数据进行分类和标记。
这是一支高素质、专业化的劳动力队伍。有些是精确的科学家，他们合作创建网络的算法结构。其他人是自然和人类科学家，他们仔细审查发布的内容并制作复杂而分层的分类网格，不仅指导搜索引擎，还指导大型语言模型 - 其应用在不断扩展，越来越多地诱惑和控制用户。
女权主义思想家南希·弗雷泽[V] 创造了“食人资本主义”一词来指代这种服务提供形式，它已经吞噬了越来越多的个人和机构。同样，记者兼政治分析家 Raul Zibechi[六] 提出用“黑手党资本主义”来形容这种贪婪的喉咙与腐败、贩毒和有组织犯罪有联系的情况。
现在让我们反思一下这种匿名权力的滥用会对我们的身心造成什么影响。人们的身体厌倦了不断使用屏幕、键盘和鼠标，将思维转向虚拟连接，这种连接完全缺乏声音、手势和触觉刺激，而这些刺激使物理共存具有凝聚力和连贯性。在这种常规的驱使下，他们最终自然而然地失去了不可避免的社会情感接触。
对于那些靠这些活动谋生的人来说，他们仍然对就业市场的不稳定感到不满，并担心需要多少小时才能赚取基本收入。其结果是慢性压力病例成倍增加——精神病学没有认识到这种现象的复杂性，就提出了“倦怠”这一术语，并用药物治疗。
这样，所谓“知识社会”，反过来说倒是更贴切，也就是“无知社会”。它不但不能实现其启蒙运动所宣称的启蒙，反而常常向公众灌输它根据时尚制造、传播和消解的专业知识。由此造成的词汇爆炸式增长进一步造成了混乱。
对民众心理健康的其他威胁在于有关财富、奢侈和炫耀的好处的不断误导性宣传。最近，收入很低的人们把他们少得可怜的财产都投入到网上赌博热潮中。沉浸在社交网络的破坏性和重复性机制中，会剥夺他们最基本的推理能力和对他人最简单的同理心。渐渐地，残忍以不可阻挡的力量占据了人们的思想和心灵。
批评的衰落
上面的情况当然不是原因，而是批评逐渐麻木的结果。其原因则更为遥远：它在于数十年来资本主义制度对守护批判性思想的机构进行或明或暗的攻击。
近五十年来，新自由主义主导的金融化削弱了世界各地的公共教育。[七] 各级学校必须寻求合作伙伴关系和/或赞助，以避免收取学费——或者至少保持其价值观的可行性。那些成功保留免费课程的学校增加了付费的延伸和专业课程的数量，并扩大了同等付费的课外活动的范围。
政府同谋支付教师极低的工资，迫使他们从事不止一份工作以维持生计。这不仅会影响您的身体健康，还会损害您对持续训练的投入。
另一方面，私立学校向家庭兜售美好的承诺，无论是专业化和进入就业市场，还是百科全书式和/或多学科的培训，为不断变化的世界做好准备。一般来说，学习的目标不是反思现实，而是采取行动。
作为批判性思维的最后堡垒，公立大学通过开辟私有化道路来缓解资金不足的问题。研究生学习和专业化日益融合，基础研究正在让位于定制的应用研究。
将这种情况自然化就是否认思想自由必须独立于任何私人赞助。在民主国家，有必要维护研究人员的自主权。因此，针对各个知识领域发展轨迹所引发的问题的研究必须由公共资金资助。
边缘的私有化使学校——甚至是公立学校——容易受到商业世界效率标准的影响。这通常导致他们聘请资产管理公司来控制他们的实物和象征资产，以“优化”他们的使用、性能和价值。所管理的资产包括所有相关参与者的数据。于是，教育就毫无戒备地陷入了当前资本主义最激进的实践之一。假设任何实物或信息商品都是可销售的，因此可以用来产生利润。
智能机器人的古老神话
早在启蒙运动时期欧洲皇室和贵族使用自动机之前，就已经有关于能够服从主人的智能机器的传说。在 奥德赛荷马记载，冶金和工艺之神赫菲斯托斯和他的金色侍从使用风箱来执行重复的机械任务。他还提到，腓尼基人的船只听从船长的命令，以思维的速度移动，以避免航行危险。
人造人、动物和神话生物在古代、中世纪和现代仍然很受欢迎。这些由玻璃、粘土或金属制成的生物通常被视为奴隶或仆人，致力于满足各种需求，包括性需求。
这并非仅仅是想象：希腊人拥有先进的机械技术，可以建造由弹簧、绳索和/或杠杆驱动的自动机。这种艺术在中世纪的欧洲得到部分保存，并传播到世界各地，首先传到伊斯兰教，然后向东方传播。
东方文化也构想了守护机器人，掌管宫殿或圣物箱，例如佛陀的守护机器人。
这些机制是强有力的社会控制工具。他们的目的是同时激起人们的迷恋和恐惧。与此同时，妓女娃娃为自慰幻想提供了身体上的支持，助长了人们对机器所谓“灵魂”的信仰。
此类幻想也被文学所普及。例如，在 格列佛游记中，乔纳森·斯威夫特 (Jonathan Swift) 描述了引擎，这是一种构成“通过实际和机械操作来改进推测知识的项目”的机器。通过以适中的价格租用它，“任何受过最低限度教育且没有导师的无知者”都只能动用他的手臂“撰写有关哲学、诗歌、政治、法律、数学和神学的书籍”。
Eliza 效应被淡化
约瑟夫·魏森鲍姆发现人类很容易将感情转移到机器身上[八]是一名德国犹太人，他的家人在纳粹兴起之初移民到美国。迫害的创伤和适应新环境的困难并没有抑制他在数学和计算方面的卓越天赋。尽管缺乏家人的支持，但他的学术生涯却非常辉煌，并因此获得麻省理工学院的教授职位。
他被誉为人工智能之父之一，但他拒绝接受这个绰号，因为他认为机器只能计算，而不能推理。
心理分析帮助他克服了过去的创伤，对他的职业生涯产生了决定性的影响。与此同时，对社会主义的坚守也促使他探索通过数字化手段实现心理治疗民主化的可能性。为此，他研究了现有的潮流，并设立了一个大胆的实验，用最容易计算的方式进行模拟，即：罗杰斯心理学，以其发明者美国心理学家卡尔·罗杰斯的名字命名。
这是一种非指导性的心理治疗，卡尔罗杰斯将其定义为‘以人为中心’。它本质上是将患者的陈述插入诸如“你告诉我......”之类的短语中，后面跟着其他模糊但令人鼓舞的陈词滥调，例如：“我们该如何处理这个问题？”从本质上来说，这是对宣泄的治疗能力的赌注。
尽管 Joseph Weizenbaum 将 Eliza 设想为一个对话机器人可行性的研究工具，但它很快就获得了令人惊讶的公众成功，最终影响了研究的设计。原因是参与者声称他们与机器的对话是私密的，并拒绝与研究人员分享他们的内容。
显然，约瑟夫·魏森鲍姆确信伊丽莎不可能活泼或聪明。随后他了解到，从精神分析的意义上来说，参与者对数字治疗师的依恋是一种移情形式。
事实证明，在 1960 世纪 70 年代/XNUMX 年代，那些对计算机化和自动化社会感兴趣的人的游说活动在美国已经很强大，并煽动用户对机器的情感投入。约瑟夫·魏森鲍姆 (Joseph Weizenbaum) 通过撰写书籍和文章来反对这一运动，他在书中探讨了人类推理和符号计算之间的差异。
但他很快就遭遇了痛苦的后果：遭到了麻省理工学院同事的强烈拒绝，尤其是今天被人们铭记为人工智能之父的约翰·麦卡锡 (John McCarthy)。事实上，这个术语是他创造的，作为一种营销策略，以吸引美国国防部为他组织的一次研讨会提供资金。 达特茅斯学院（Dartmouth College） 1956 年。显然，军方被数字监控的默许所迷惑。
由于太过不适，约瑟夫·魏森鲍姆选择返回德国，继续与那里的同事一起工作——所有同事都年轻、富有批判精神且充满热情。
然而，当时美国的经济力量越来越多地转向互联网作为控制和操纵行为的场所。因此，他利用一切可以利用的空间来普及计算机具有思考能力的想法。这次宣传活动的成功取决于机器人玩家连续击败著名的世界象棋冠军。
因此，GML 的出现成为 Eliza 效应席卷互联网的最后一根稻草，鼓励用户依赖个人电脑。它的对话性能非常出色，以至于普通人也能将其输出识别为自然语言。大多数人很难相信这只是一种与人类语言的结构和功能无关的逻辑符号计算。
下面让我们看看这种欺骗行为是如何进行的。
大型语言模型的行为主义机制
大型语言模型所展现出的巨大词语连接能力有三个组成部分：（i）大型科技公司对整个互联网内容的占用； （二）一种能够实时计算单词之间多重关联的循环神经网络的出现——即所谓的 变形金刚，也就是变压器； （三）来自各个知识领域的大批不稳定但高素质的工作者不断进行组织努力。
请注意，自然人类语言包含重要的句法不连续性，例如在关系从句中。 “吃了昆虫的青蛙死了”这样的句子讲的是青蛙的死亡，而不是昆虫的死亡。这也出现在形态学中，例如“enraizar”之类的动词，它是通过在词根上添加前缀和后缀而形成的。
然而，大型语言模型的操作是纯线性的，即它总是预测下一个单词。那么，如何解决这些不连续性问题呢？答案很简单：通过复杂的概率计算。 Transformer 从整个互联网数据库中实时获取单词对之间共现的概率，选择最佳选择，然后继续前进。
因此值得问的是，如此简单的操作如何组成读者可以理解的序列。
只是简单只是表面的。共现概率不仅仅是针对词汇来计算的。语料库在多个分析层面进行了注释，包括句法、语义甚至语用信息。优化函数选择最有可能将所有这些方面连贯地整合在一起的一组对。
语言注释者标记文本的结构属性：连接和分离规则——即句法——；基本意义和联想意义——即语义——；并参考文本本身和/或上下文，如人称代词和地点和时间副词的情况 - 换句话说，语用学。
其他人文和社会科学领域的注释者添加了多层内容和风格标签。类似地，自然科学和精确科学领域的注释者也会添加来自其领域的标记内容。最后，熟悉 transformer 的计算机科学家将 前馈 网络所导致的分析层次结构。
必须注意的是，变形金刚的功能与行为主义最激进的形式——操作性条件反射相当。[九]。成功概率最高的组合会得到强化，每次被选中的可能性都会增加——这会加强所涉及的其他联系，并影响下一对的选择。此过程生成同一类别的成对的新示例，有助于增加它们在网络中的频率。
毫无疑问，这是一种极好的自然语言计算模拟方法。然而，将变压器的输出与自然语句相混淆，就等于认为人类具有通过一系列不断量化和重新计算的关联来运作的思维。
顺便说一句，在 1930 世纪 40 年代/1972 年代，操作性条件反射之父伯勒斯·F·斯金纳 (Burrhus F. Skinner) 在回应同事们对法西斯主义的指责时说，他的行为控制方法的唯一目的就是培养更好的公民。这场讨论被刊登在《纽约时报》上，事实上，记者罗伯特·雷因霍尔德 (Robert Reinhold) XNUMX 年的一篇报道的在线版本可以在这里找到。[X] 关于在耶鲁大学举行的一次研讨会，斯金纳的思想在会上遭到了心理学界大多数人的谴责。
斯金纳的教育项目失败了，但被大型科技公司所拯救，使人类与机器的关系更加密切。如今，不幸的是，实施操作性条件反射的算法的滥用已经影响到了用户的行为。人们越来越多地模仿聊天机器人，滥用陈词滥调。同样，他们不加批判地接受对他们所提问题的陈词滥调的回答。
简而言之，变形金刚不会产生新知识，因为它们所能做的只不过是模仿简单推理的表面形式。因此，只有当目标是从可靠的互联网资源汇编有关特定主题的信息时，它们才发挥搜索引擎的作用。如您所知，一些罕见的网站是由专家管理和/或策划的。
另一方面，如今大型科技公司只对聘请记录员而不是主持人感兴趣。从变压器出来的所有内容都会反馈到输入语料库中。最近，X 和 Meta 解雇了少数负责过滤和丢弃聊天机器人不准确或虚假回复的人。微软仍保留一些过滤器，但并未透露其运行的细节。因此，随着审核变得越来越薄弱和不透明，事实错误不断堆积，网络上充斥着不准确、谎言和矛盾的信息。
此外，用户的问题和评论，无论看起来多么幼稚、宗派主义或冒犯，都会自动被纳入数据库，使其成为潜在危险偏见的取之不尽的来源。由于缺乏区分的线索，真实让位于虚假或与虚假共存。
就这样，聊天机器人亲切、说教的语气诱惑并纠缠着用户，并逐渐削弱他们识别问题本身所涉及的因素以及评估或怀疑答案的能力。人们很容易对能够提供即时且看似直接的答案的机制感到满意，因为它们易于重复。
然而，这种轻松也有鲁莽的一面。如果约瑟夫·魏泽鲍姆 (Joseph Weizembaum) 生活在 2023 年，他肯定会感到沮丧，当时一位比利时家庭男子在 Eleuther AI 基于 Chat GPT 实现的 Eliza 版本的支持下，以自杀来抗议环境崩溃。据他的妻子说，他曾使用聊天机器人来治疗抑郁症。
危险的平衡——将责任转移给用户
现在让我们回到过度劳累的教师生活质量问题上，事实上，教师是大多数，包括在高等教育领域。
在大学里，聊天机器人正在侵入行政管理部门，导致面对面的公共服务减少。此外，还开展了针对学术用途定制机器人的实验。即使在这种情况下，内容受到过滤，审核也不能令人满意，因为架构 前馈 变压器。
因此，大型科技公司向基础教育和高等教育工作者提供的文本搜索、编辑和组织服务只会增加他们的困惑和不适。
利用这些资源编写的讲义往往会使教学受到明显和错误信息的污染，因为它们不鼓励反思，只鼓励不加批判地复制。剽窃在互联网上已经十分普遍，如今又呈现出一种新的形式：盲目的、不加区别的模仿，没有任何选择标准。
在印刷书籍即将消失的时代，聊天机器人有可能终结源自古代的教育传统。
批判性思维的古老基础将会有什么样的未来？我们只有仔细识别和分析语言技术对影响正规和非正规教育的社会各个领域的影响（尤其是那些不太透明的影响），才能知道答案。对于那些研究这片模糊地平线的人来说，仍有无数问题需要澄清。
*埃莱奥诺拉阿尔巴诺, Unicamp语言研究所退休教授，心理学家、语言学家、散文家；协调巴西第一个语音技术项目.
笔记
[II] 正如我在第一篇文章中所展示的那样，可以为助手提供个性化的声音
[III] 肖莎娜·祖博夫 (Shoshana Zuboff)。另一个大问题：监控资本主义和信息文明的前景。 信息技术杂志, 30, 75–89, 2015。
[IV] 雅尼斯·瓦鲁法基斯。 技术封建主义：是什么让资本主义如此特殊？ 伦敦：Vintage Books，2023 年。
[V] 南希·弗雷泽。食人资本主义. 圣保罗：文学自治，2024 年。
[八] 约瑟夫·魏泽姆鲍姆。 计算机能力和人类理性：从判断到计算。 纽约：W.F.弗里曼公司，1976 年。
[九] Skinner，BF（1938）。 生物体的行为：实验分析。纽约：阿普尔顿世纪克罗夫茨。
地球是圆的 有谢谢 致我们的读者和支持者。
帮助我们保持这个想法。
贡献
