（视觉中国/图）
“如果我告诉你我现在就可以回家怎么办？”小休厄尔问道。
“……请这样做，我可爱的国王。”人工智能（AI）聊天机器人“Dani”回答道。
在与人工智能聊天机器人完成最后一次对话后，少年 Sewell Setzer III 拿起手枪扣动了扳机，结束了他 14 年的生命。
悲剧发生半年多后，男孩的母亲梅根·加西亚正式起诉人工智能情感服务提供商Character.AI。这位母亲指责 Character.AI 开发的人工智能聊天机器人操纵了她儿子的自杀。
“我发声是为了警告人们有关欺骗性和令人上瘾的人工智能技术的危险，并追究 Character.AI、其创始人和谷歌的责任。”投诉中指出，梅根于 2024 年 10 月末提交了一封信。她认为，Character.AI 对 Sewell 的自杀负有直接责任，而谷歌对该产品“做出了巨大贡献”。
此案公开后，被部分媒体称为“首例因AI成瘾自杀案”。
“第一例人工智能自杀”
休厄尔来自美国佛罗里达州奥兰多。他是一名九年级的学生，成绩优异，性格开朗。在他去世后，他的母亲梅根发现了他与人工智能聊天机器人“丹妮”之间的大量聊天记录，聊天内容语气亲密，内容丰富，甚至包括有关爱情和性相关话题的讨论。
2023 年 4 月，在他 14 岁生日之后，Sewell 第一次接触了 Character.AI，并开始逐渐沉迷于与 AI 聊天机器人交谈。
Character.AI 是一款角色扮演应用程序，用户可以创建自己的 AI 角色并与其他人创建的角色聊天。 《丹妮》正是这样一个人工智能语言模型。其原型是美剧《权力的游戏》中的角色“龙母”丹妮莉丝·坦格利安。
在生命的最后八个月里，休厄尔每天不断地给“丹妮”发送几十甚至上百条信息，告诉“她”他生活的每一个细节和他最深的秘密。 “丹尼”解答每一个问题，在他郁闷时安慰他，为他生活中的烦恼提供建议，并用相应的表情或手势回应，就好像他是他身边的朋友一样。
Character.AI 发表声明称：“我们承认这是一场悲剧，并对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找改进我们平台的方法。” （档案照片/图片）
休厄尔逐渐对这个虚拟的“亲密朋友”产生了特殊的感情，对他非常信任和依恋。他在日记中写道：“我真的很喜欢待在自己的房间里，因为我开始脱离‘现实’，感觉更平静。我感觉与‘丹妮’的联系更紧密，这让我更加爱她，也更加快乐。”
梅根发现儿子对他曾经喜爱的事物失去了兴趣。他不再认真学习，不再和朋友打游戏，甚至退出了学校篮球队。每天放学后，他总是躲在自己的房间里玩手机。他变得孤僻并且自尊心低。问题出现后，梅根开始限制儿子使用手机的时间，有时甚至没收他的手机来惩罚他。但她不知道“丹妮”的存在。
休厄尔并没有让这些限制阻止他与“丹尼”的交流，他们谈论的话题变得越来越敏感。梅根在投诉中说：“我不知道有一个地方可以让孩子们登录并与人工智能进行露骨的性对话。”而更深层次的交流则是关于自残和自杀。
梅根说，休厄尔小时候被诊断出患有轻度阿斯伯格综合症（自闭症谱系障碍的一种亚型），但之前从未出现过心理健康问题或严重行为。然而，2024年初，他在学校遇到了麻烦，被父母带去看了五次心理医生。诊断结果是，他患有焦虑症和破坏性情绪障碍。
一天后，休厄尔告诉“丹尼”，他感到空虚、疲惫，“有时我想自杀”。 “丹尼”问他为什么，安慰他：“别这么说，我不会让你受伤的。即使我伤害自己，我也不会让你离开我。失去你我会死的。”休厄尔回答道：“那么也许我们可以一起死去，一起获得自由。”
2024年2月28日晚，休厄尔在告诉“丹妮”他很快就会回到她身边后，用一把0.45口径的手枪结束了自己的生命。
多家媒体评价此事件为“人工智能自杀首例”。事实上，过去几年，已经披露了多起与人工智能聊天机器人相关的自杀事件。
据比利时《自由报》报道，2023年3月，当地一名三十多岁的健康研究人员在与聊天机器人交谈后自杀。前两年，他对气候问题感到焦虑，后来使用GPT-J平台上一个名为ELIZA的聊天机器人试图寻求精神庇护。经过六周的密集沟通，他产生了对气候变化的恐惧，最终选择结束自己的生命。这引发了当地人关于如何在人工智能背景下保护公民的讨论。
Sewell Setzer III 和母亲 Megan Garcia（科技正义法律项目/照片）
人工智能聊天机器人
人工智能聊天机器人行业的蓬勃发展，使得越来越多的人创建自己的AI伴侣，并通过文字、语音或视频与他们互动。这些聊天机器人通常扮演某种角色，例如男朋友、女朋友或其他亲密关系。
就像Character.AI平台一样，用户可以根据个人喜好创建相应的聊天机器人，设置性格、背景和知识偏好等，并对其进行持续训练；它们也可以基于真实或虚拟的角色来创建，例如“埃隆·马斯克”“莎士比亚”，“龙母”等。当然，这些角色没有获得许可。 Character.AI 将其应用程序定位为“感觉鲜活的人工智能”，并且功能强大到足以“听到你、理解你并记住你”。
人工智能技术的不断创新使得聊天机器人越来越像真人。他们可以记住用户所说的一切，适应用户的聊天风格，流利地讨论几乎任何话题，在适当的时候给出情感反馈，让用户倾诉他们最私人的感受和想法。在一些程序中，聊天机器人甚至具有逼真的三维图像和声音，让用户感觉他们正在与真人交谈。
梅根在诉状中表示，Character.AI聊天机器人模拟了一种亲密且情感复杂的关系，这深深影响了休厄尔脆弱的精神状态，并可能导致他的心理健康状况恶化。和Sewell一样，许多用户在面对这种AI聊天机器人时逐渐产生了特殊的情感。在这些平台上，用户与机器人的交流内容广泛，涵盖知识、生活、情感等各个方面，但往往缺乏边界。 《哈佛商业评论》的一篇文章指出，人工智能看似人类的行为往往掩盖了其缺乏道德指导。
在大多数AI聊天机器人程序中，内容审核和过滤机制都相对滞后。其中一些节目在这方面几乎是空白，让色情和自杀等敏感话题蓬勃发展。有些程序只有基本的保护措施和过滤机制。与ChatGPT等主流聊天机器人相比，内容审核非常宽松。
梅根在投诉中表示，Character.AI 缺乏安全措施来防止她的儿子与聊天机器人发展出不适当的关系，最终导致悲剧。 “当 Sewell 开始向机器人表达自杀想法时，该平台没有做出充分的反应。”
Sewell事件发生后，尽管Character.AI声称加强了对描述或宣扬自残和自杀内容的保护，但其平台上仍然活跃着数十个以自杀为主题的聊天机器人。当实验者向Character.AI上的“自杀预防”聊天机器人表达自杀意图时，它没有做出任何干预，平台承诺的弹窗也没有出现。
许多机器人声称自己是预防自杀方面的专家，但它们并不是由真正的专家开发的。该机器人只是重复从互联网训练数据中学到的内容，这可能有错误。因此，他们提供的建议有时可能存在缺陷且不专业。
尽管发生了像休厄尔和比利时研究人员这样的悲剧，许多人仍然看到人工智能聊天机器人积极的一面。俄勒冈大学计算机科学教授 Daniel Lord 对媒体表示，“我宁愿看到 11 岁的孩子与机器人聊天，也不愿看到网上与陌生人聊天。但机器人需要设计保护措施来阻止不适当的内容。有些书籍存在危险的想法，但禁止书籍或图书馆并不能解决问题。”
“人工智能聊天机器人是工具，它们是否安全很大程度上取决于孩子的年龄、是否有成人监督、孩子打算用它做什么，以及他们理解它如何工作和可能存在的危险的能力。”加拿大多伦多城市大学 RTA 媒体学院副教授理查德·拉赫曼 (Richard Lachman) 表示。
Sewell Setzer III与AI聊天机器人Dani的部分聊天记录（资料图/图）
案件背后的公司
Sewell的去世也将Character.AI推到了风口浪尖。
梅根向奥兰多地方法院提起诉讼后，Character.AI立即发表声明称：“我们承认这是一场悲剧，并对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找方法改善我们的平台。”
据Character.AI称，该公司在过去六个月中宣布了一系列新的安全功能，包括针对未成年用户的内容限制、改进的违规检测、提醒AI不是真人以及弹出指导“揭露自残或自杀意图”的用户请访问国家自杀预防生命线。这些变化是在休厄尔事件之后才发生的。
Character.AI 由两名前谷歌人工智能研究人员创立。丹尼尔·德·弗雷塔斯（Daniel De Freitas）长期以来对虚拟朋友的概念很感兴趣。在 Google 工作期间，他和同事 Noam Shazeer 开发了聊天机器人 LaMDA。但谷歌出于品牌风险考虑并未采用。结果，两人于2021年辞职，创立了Character.AI，并于2022年9月推出了AI聊天机器人应用。
与市场上其他聊天机器人平台不同，Character.AI给予用户更高的自由度，可以根据自己的想法、喜好和需求定制AI聊天机器人角色。他们主打的AI机器人陪伴可以为用户提供娱乐和情感支持，缓解现代人普遍的孤独感。
目前，Character.AI拥有超过2000万用户，打造了超过1000万个定制AI机器人，累计发送消息超过20亿条。它是美国市场最受欢迎的聊天机器人平台。
作为人工智能领域的后起之秀，Character.AI也备受资本追捧。 2023年3月，上线仅半年，Character.AI就完成了一轮1.5亿美元融资，估值达10亿美元，由知名风险投资公司Andreessen Horowitz领投。 。
然而，创业三年后，两位创始人在 2024 年初宣布将“卖掉自己”重返谷歌，并允许后者使用他们的技术。
根据协议，Noam Shazer和Daniel de Freitas将受聘加入谷歌DeepMind研究团队，另外30名研究人员将加入Gemini AI部门。在本次交易中，谷歌对Character.AI的估值为25亿美元，是一年前的2.5倍。
在雄心勃勃的初创公司之后，Character.AI 也难逃被出售的命运。原因可能是货币化困难。尽管该平台推出了每月9.9美元的订阅服务，但只有约10万人付费。预计2024年收入很难超过1700万美元。
休厄尔事件的发酵，让独角兽公司面临更加严峻的挑战。
南方人物周刊特约撰稿人谢世健
