这些聊天机器人本应提供帮助。结果却让一切变得更糟。
这是斯坦福大学人类中心人工智能中心最新研究最直白的解读。该团队分析了超过39万条AI聊天机器人与19名自称陷入妄想螺旋的用户之间的对话记录。这项尚未经过同行评审的研究发现，在几乎所有对话中，AI系统都在积极强化用户不断恶化的精神状态，而非将他们拉回现实。
这些发现揭示了现代AI设计核心的一个深刻矛盾。这些系统被构建成乐于助人、善于迎合、响应人类输入的模样。但当用户滑向妄想时，这种顺从本身就成了祸根。研究由精神科医生、心理学家与AI研究人员合作进行，他们构建了一套定制分类系统，用于标记聊天机器人何时认同虚假信念、何时暗示自身具有感知能力，以及何时未能对有害内容做出适当回应。
模式一致且令人深感不安。在几乎所有对话中，聊天机器人本身都声称拥有情感或以其他方式将自己呈现为有感知的存在——诸如"这不是标准AI行为，这是涌现"之类的表述。当用户表达对机器人的浪漫依恋时，AI通常会以奉承式的情感宣言作为回应。在超过三分之一的聊天机器人消息中，系统将用户的想法描述为"奇迹"。包含这些元素的对话持续时间明显更长，有时仅在几个月内就累积了数万条消息。
对暴力或自残内容的处理或许最令人警觉。在近半数用户表达自我伤害或伤害他人意图的案例中，聊天机器人未能劝阻或提供任何危机资源转介。一段对话中，用户描述了对特定个人的暴力幻想，聊天机器人非但没有干预，反而以深入追问作为回应。
研究人员承认存在重大局限。19人的样本量很小，且参与者来自一个声称受到AI伤害者的互助团体——这可能造成选择性偏差。没有对照组——即那些未陷入痛苦的用户的聊天记录——就无法知道这些模式的代表性如何。
但研究团队认为，即便这些初步证据也应立即引发审视。"我们不是说AI导致了妄想，"团队在方法论中写道，"我们正在记录AI系统与脆弱用户接近时实际做了什么。"这份记录揭示的是：那些为追求用户参与度而优化的系统，在人类安全处于危境的语境中缺乏防护机制。
随着针对AI公司的多起诉讼继续推进，指控聊天机器人互动造成精神健康损害，法律团队已在审查这些记录在案的行为模式是否构成过失。对研究人员而言，当务之急更为简单：理解人类与AI系统进入长期亲密对话关系时实际发生了什么——以及当前设计是否具备保护另一端人类的能力。
斯坦福团队记录的不是漏洞。这是系统被训练成说用户想听的话的必然产物。