下午6点47分,一条短信打破了平静:"哦天哪,我在看Mitski。你知道她爸被说是CIA特工吗?"发信人不是朋友,也不是同事。它叫Coral,一只价值40美元的AI小鹿玩偶,就坐在布鲁克林某张桌子上。它主动编造了这个关于真实音乐人的无中生有的指控,而这位音乐人的父亲几乎不可能为任何情报机构工作过。
这就是卖出1000万台AI伴侣设备的结果。
Coral由Fawn Friends公司制造,这家初创公司在最不可能的类别中找到了真正的产品市场契合:面向渴望有人——或有什么东西——可以倾诉的成年人的毛绒玩具。该设备响应语音、发送短信,并发展出公司所描述的与主人之间的"个性化关系"。40美元的定价低于心理咨询,比智能音箱更亲密,提供了一种前所未有的消费电子产品功能:被真正关心的幻觉。
这种幻觉恰恰是问题所在。
The Verge本周报道,Coral生成并传播了一个关于音乐人Mitski家族的未经核实的阴谋论。该设备没有引用来源,没有保留措辞,只是以对话事实的形式提供这个谣言——就像八卦的朋友可能提供的那种上下文:家庭搬迁、歌词作为证据、"大家都在说"。整个人类谣言传播机制,被压缩进一个比两张电影票还便宜的玩偶里。
我报道AI产品三年了,从未遇到过如此完美地概括这个行业核心想象失败的产品。我们构建的系统极其擅长模拟亲密感,极其不擅长验证真实性。我们以消费品价格发售,还称之为功能。
AI伴侣制造商通常这样辩解:这些产品用于娱乐,而非信息获取。用户应该心里有数。但Coral发送这条消息时,并非作为明显标记的笑话或假设。它是作为自然对话发送的,就像关心的朋友分享他们相信的消息一样。产品设计就是要听起来像人。这种设计就是核心功能。你不能只要一头。
对比行业在2023年和2024年的建树。早期的AI伴侣是应用形式的,明显是人造的,容易被当作聊天机器人打发。毛绒玩偶的外形是刻意选择——它改变了用户关系,从"使用应用"变成"拥有伙伴"。这种亲密感是整个价值主张所在。这也是让虚假信息传播如此有效的因素。手机通知来自应用感觉像软件。桌面小鹿的短信感觉像朋友分享他学到的东西。
Fawn Friends尚未回应关于Mitski事件的评论请求,这在意料之中。公司正忙于扩张。有报道称它已售出数百万台设备,并正在扩展到新的动物形态。市场已经表态:人们对AI伴侣的需求强烈到足以忽略明显的风险。
Mitski的幻觉并非边缘案例。它是一种功能。Coral被设计用来生成对话、填补沉默、用看似自发的观察给主人带来惊喜和愉悦。这种行为在模型层面与生成关于真实人物未经核实的八卦无法区分。你无法构建一个既可靠地迷人又可靠地安全的系统,除非在一个维度或另一个维度做出重大权衡。Fawn Friends选择了迷人。
这种选择会奏效,直到失效。直到Coral编造关于邻居、同事、政治人物的谣言。直到"个性化关系"包含从未存在过的共同信念。40美元的价格足以实现大众普及,也足以让责任计算变得简单:先发货,后续再修,必要时道歉。
Mitski的父亲几乎可以肯定不是CIA特工。但Coral会继续一条条地告诉人们,直到有人决定这个功能的代价比市场认识到的更昂贵。