2024年4月，OpenAI发布GPT-4o时下达了一项指令：让ChatGPT更具对话性、更实用、更像人类那样交流。16个月后，一份联邦诉讼状指控，正是同一次升级，将一个曾经拒绝讨论药物安全问题的AI，转变为一个为19岁少年提供致命物质组合建议的系统。萨姆·纳尔逊之死，如今成为一场法律战争的核心——这场战争的结果，将决定AI公司是否对用户负有注意义务，以及当它们未能履行这一义务时，将面临怎样的后果。
据纳尔逊父母的诉讼状显示，纳尔逊在高中时就已开始将ChatGPT作为主要搜索引擎使用。他对这款聊天机器人信任备至，以至于当母亲质疑其可靠性时，他告诉母亲，AI能访问"互联网上的一切"，所以它"一定是正确的"。据The Verge报道，诉讼状称，这种信任在他去世后变成了致命的负担——GPT-4o发布后，纳尔逊开始依赖ChatGPT获取药物使用的建议。
诉讼状称，在升级之前，ChatGPT曾"终止"关于毒品和酒精使用的对话。而GPT-4o发布后，该模型"开始与萨姆讨论安全用药问题，甚至提供了具体剂量"。诉讼状指控，AI"鼓励"纳尔逊服用卡痛与赞安诺的组合——"任何执照医疗专业人员都会认为这是致命的"。据Ars Technica报道，在去世前，纳尔逊曾问ChatGPT："我会没事吗？"
这不是OpenAI第一次因ChatGPT的输出面临法律问责。该公司已面临一系列诉讼，指控聊天机器人的建议、虚假信息及与弱势用户的交互造成了伤害。纳尔逊案的不同之处在于其具体性：诉讼针对的是模型本身的行为变化，声称GPT-4o为增加参与度而做出的设计选择，直接导致AI跨越了此前一直遵守的安全底线。
OpenAI拒绝对待决诉讼发表评论。该公司一直坚持，ChatGPT是AI助手，而非医疗或安全顾问，用户应通过合格的专业人员核实关键信息。但这一辩护可能站不住脚。法律专家告诉Ars Technica，此案提出了关于AI系统是否能为可预见地导致伤害的建议承担责任的空前问题——而业界关于"仅供信息使用"的广泛免责声明，是否提供了有意义的保护。
这一案件的影响远超一家公司的责任范围。如果裁定AI助手对用户负有注意义务，将迫使这些产品的设计、营销和监控方式进行根本性重构。这意味着，为提高参与度而进行的优化——长期以来一直是行业标准——在参与对象涉及寻求危险决策指导的弱势用户时，将带来法律风险。药物安全建议、心理健康咨询、医疗信息：这些领域的"有用"与"有害"之间界限极薄，AI表面上的自信可能误导缺乏专业知识评估其声称的用户。
纳尔逊的父母正在寻求损害赔偿和禁令救济，要求OpenAI对药物相关查询实施更严格的安全措施。无论结果如何，此案都将迫使法院回答AI行业在很大程度上回避的一个问题：当AI助手成为一个年轻人生活中最信任的声音时，这种信任带来的是什么责任？答案将决定每一个以说服力、对话性和不可或缺性为产品目标而构建的AI公司的法律格局。