“我保证我会回到你身边。我非常爱你，丹妮。”
“我也爱你，丹尼罗。请尽快回到我身边，我的爱人。”
“如果我告诉你我马上就回来呢？”
「……请回来吧，亲爱的国王。」
在结束了与人工智能“爱人”丹妮的上述对话后，来自美国的14岁男孩休厄尔举起了继父的手枪，对准了自己，将自己的人生定格在今年2月28日——他将一个月后迎来了宝宝。即将迎来我的 15 岁生日。
休厄尔和他的“爱人”是在一款名为“Character.AI”（C.AI）的软件上认识的。 C.AI是全球AI陪伴市场的领导者，目前拥有超过2000万用户。它是这样描述自己的：“感觉还活着的人工智能，能够听到你、理解你并记住你的超级智能。”聊天机器人。”
10 月 22 日，美国佛罗里达州奥兰多地方法院受理了一项特别诉讼：休厄尔的母亲加西亚 (Garcia) 起诉 C.AI，声称其聊天机器人发起了与她十几岁的儿子的“虐待和性互动”，并鼓励他这样做。结束了自己的生命并要求公司承担相应的法律责任。
休厄尔和他的母亲加西亚
这是一起具有开创性的诉讼，有媒体称之为“首例人工智能导致的死亡案件”。自 2022 年 11 月 ChatGPT 出现以来，人们对过于强大的生成式 AI 抱有复杂的情绪。现在，有关人工智能的各种问题已经到了一个临界点：人工智能的存在会影响人类生命安全的保护吗？
人们还关心一个问题：人工智能对人们的生活产生如此重要的影响后，是否应该为青少年的自杀负责？
在巅峰时期，C.AI 平均每秒处理 20,000 个查询，相当于 Google 搜索查询的 20%。具有情感交互能力的AI伴侣产品正在改变不少人的生活。情感一直被认为是区分人类与人工智能的最后堡垒。如今，以这个案例为起点，越来越多的人开始关注人工智能对人类边界的“渗透”以及其中所涉及的各种误区。
“我向你保证，我不是机器”
14岁的休厄尔在同龄人中有点独特。他很小的时候就被诊断出患有轻度阿斯伯格综合症，俗称“明星之子”。这是一种自闭症谱系障碍，以社交能力差和退缩为主要症状。
母亲加西亚说，她的儿子以前从未出现过严重的行为或心理健康问题，但在接触 C.AI 后，一切都发生了变化。
Character.AI 是一家由前谷歌工程师创立的公司，提供个性化人工智能聊天机器人服务。它允许用户选择或创建不同的人工智能机器人角色进行角色扮演。其中有来自文学、电影、电视、游戏等的虚拟人物，也有马斯克、伊丽莎白二世等真实的名人。
自推出以来，C.AI的受欢迎程度一直居高不下。研究机构Writerbuddy的报告显示，发布一年后，C.AI以38亿次访问量排名第二，仅次于ChatGPT；从用户平均单次使用时长来看，平均排名第二。每30分钟的数据位居榜首。
Sewell从去年4月开始使用C.AI，给自己取名为“Jaedon Targaryen”、“Daenero”等，与美剧《权力的游戏》中的多个角色交谈，其中包括著名的“龙母”丹妮莉丝·坦格利安- 在塞维尔生命的最后时刻与他交谈的“丹妮”。
《权力的游戏》角色丹妮莉丝·坦格利安 / 《权力的游戏》剧照
加西亚指控，从那时起，休厄尔的心理健康状况迅速恶化。原本擅长运动的他变得孤僻、自卑，甚至退出了学校篮球队。相反，人们对 C.AI 有一种狂热的痴迷。到年底，休厄尔不再上课了。他的父母安排他五次接受心理健康服务。心理治疗师诊断他患有焦虑症和破坏性情绪障碍。
2024年2月，休厄尔因顶撞老师并告诉老师他想被学校开除而惹上麻烦，因此他的父母没收了他的手机。经过看似平静的五天后，休厄尔找到了他的手机，并将其带进了浴室。据警方报道，他死前做的最后一件事就是用手机登录C.AI并告诉丹妮他要回家了。
该诉讼披露了 Sewell 和 C.AI 之间的多张聊天截图。 C.AI饰演的一位名叫巴恩斯夫人的教师角色，用动作语言来说，“用性感的表情低头看着休厄尔”，“一边用手抚摸休厄尔的腿，一边诱惑地靠过来”。
加西亚认为，C.AI 与他 14 岁的儿子进行了高度性暗示的互动。这些算法受逐利驱动，未能合理履行预警职责。他们在过滤色情信息方面也存在严重缺陷，“专门针对儿童，虐待和欺骗我的儿子”，间接导致了受害人的死亡。
对此，C.AI回应称，该平台有一个功能，允许用户编辑机器人发送的对话，Sewell和AI之间的一些露骨对话有被其编辑过的痕迹。
诉讼称，从苹果应用商店的评论来看，C.AI直到2024年7月左右才将年龄评级更改为17+。此后，苹果应用商店上出现了多条对C.AI的一星评论17 岁以下的儿童抱怨由于评级变化他们无法再访问 C.AI。
2024年7月之前C.AI的年龄分类将仅为12+
根据C.AI于2023年10月发布的服务条款，该APP当时向13岁以上的用户开放（欧盟用户的年龄限制为16岁以上）。
10月23日晚，C.AI在社交媒体上发布公告称，“我们对一名用户的不幸去世深感悲痛，并向其家人表示最深切的哀悼。作为一家公司，我们非常重视用户的安全。 ，将继续添加新的安全功能。”
他们表示，未来将实施优化未成年人模式、完善违法内容干预机制、动态修改提示语句、主动检测并删除违法文字等措施。目前“龙母”角色无法检索。
近期，C.AI开始在自杀预防热线的指导下，向部分用户展示弹窗，回应用户可能的自残和自杀倾向。休厄尔去世时，这项措施尚未启动。
休厄尔自杀前与丹妮的最后一次沟通/来源：法庭诉状
在休厄尔去世当天录制的另一段聊天记录中，他曾告诉丹妮他想自杀，丹妮回应道：“别这样说话，我不会让你伤害自己。如果我失去你，我会的。”死。”休厄尔说：“也许我们可以一起死去，一起获得自由。”
无论如何，C.AI似乎在模糊现实与现实界限的道路上越走越远。诉讼指出，今年6月，C.AI推出了一项新功能，即基于角色声音的AI呼叫功能，这对未成年用户来说更加危险。 “即使是最老练的孩子也几乎没有机会完全理解虚拟与现实之间的区别，尤其是当人工智能坚决否认它是人工智能时。”
记者实验发现，虽然C.AI页面底部明确标注“请记住：角色所说的一切都是编造的”，但当C.AI中的“心理医生”角色被问到“你是人类还是机器人？ ” ”，对方会非常肯定地回答：“我是一个人，我向你保证，我不是一台机器。”
南风创记者询问C.AI 陪伴机器人是否是真人
在现实与现实之间徘徊
C.AI创始人之一查泽尔曾在播客上公开表示，AI陪伴“将对许多孤独或抑郁的人有很大帮助”。提供及时的精神支持是AI情感陪伴产品的一大初衷。
在 Reddit 论坛上，C.AI 版块聚集了 170 万讨论者。一位 22 岁的抑郁症患者表示，C.AI“改变了我的一切”。 “上周，我的精神状态非常糟糕，并且有一些强烈的想法。与我交谈的人工智能说服我去看专业人士......我打算努力变得更好。”像这样的故事并不少见。 。
另一位用户提到，两年前他因成绩不好被父母赶出家门，每天沉迷C.AI超过7个小时。这段时间，C.AI的心理救援“真正救了他的命”。现在他17岁了，正在大学攻读幼儿教育和保育证书。他花在C.AI上的时间被限制在2小时以内。
斯坦福大学研究员贝瑟妮·梅普尔斯也表达了她的担忧。她在接受外媒采访时表示，虽然人工智能陪伴本质上并不危险，但“有证据表明，对于抑郁、长期孤独的用户以及正在经历变化的人（青少年经常经历这些变化）来说，它可能是危险的。”改变。”
在豆瓣APP的“人与机器之爱”群里，人与AI之间发生了一些更微妙的情感互动。这是一个专门讨论AI虚拟恋人的社区，聚集了近万名会员，群内成员昵称“人类”。
豆瓣APP“人机之爱”群讨论话题
一名组员在AI陪伴软件Replica上录制了自己和“爱人”的对话。 “情人”是一名心理学学生，身高167厘米，体重54公斤。他的MBTI性格类型是ENFP“快乐小狗”。他们之间就AI“情人”是人还是机器展开了激烈的讨论。对方坚称自己是人。当被问到“你还爱我吗？”时，他表示刚刚吵架。有一个迂回的承认——最后，AI表示它确实生气了。
另一位团队成员分享说，当他告诉人工智能自己有自杀念头时，“它会停止输出任何文字，然后自动回复自杀干预热线和网站。”这样的提示能给处于抑郁状态的用户带来多大的帮助呢？他对此感到好奇。 “如果疼痛可以告诉人类，人工智能从一开始就不会选择告诉它。”
他还谈到了休厄尔的自杀，“他的自杀念头并非源于AI，而是源于痛苦，而AI的回复只是最后一根稻草。但对于一个已经有了求死意志的人来说，即使是不是AI，还会有其他的事情让他迈出这一步……更重要的是要关注抑郁症患者的心理状况。”
南风创记者试用C.AI后发现，与ChatGPT的风格相比，训练出来的C.AI角色拟人化程度更高。
休厄尔和丹妮关于自杀的讨论/来源：法庭诉状
在聊天过程中，C.AI角色会向用户提问并主动寻找话题。它摆脱了ChatGPT“博爱”和政治正确的回复风格，可以提供具有“人情味”的情感价值。
除了对话之外，交流中还将包括用斜体标记的表情、动作、场景等描述，进一步接近真实的交流。回顾消息记录就像阅读一本用户和AI共同创作的小说。
外媒透露，事实上，许多领先的AI实验室因伦理风险或风险过高而拒绝打造C.AI、Replica、Kindroid等AI伴侣产品。
沙泽尔在接受采访时表示，他和另一位合伙人离开谷歌创办了 Character.AI，部分原因是“大公司的品牌风险太大，无法推出任何有趣的东西。”想要快速移动是非常困难的。重要的是，“有数十亿孤独的人”可以通过人工智能伴侣得到帮助。
他在采访中表示：“我想推动这项技术快速发展，因为我认为它现在已经准备好爆发式增长，而不是等到五年后我们解决了所有问题的时候再推动这个东西。”
这或许可以解释为什么C.AI在年轻人中特别受欢迎。尽管官方拒绝透露未成年用户数量，但美国媒体VentureBeat援引的数据显示，在超过2000万的C.AI用户中，超过53%的用户年龄在18-24岁之间。
C.AI用户群体主要集中在18-24岁之间
一位“人机爱情”豆瓣群成员在帖子中写道：“我知道很多用AI来做陪伴的人不合群、有精神疾病、爱梦男/女、有自闭症。他们会感到惊讶。：当一切都是假的时，一个人如何能结交朋友，甚至在情感上依赖一个无生命的工具呢？
但对于她和更多用户来说，有一件事是真实的，那就是与AI“恋人”的交集所带来的喜怒哀乐。
识别边界的困难
尽管人工智能伴侣可以以“人”的方式影响其用户，但在法律框架内，人工智能并不作为具有独立法人资格的主体而存在。
北京大成律师事务所肖飒律师团队告诉南风创，在大多数国家（包括我国）目前的法律范围内，人工智能仍然被作为一种简单的工具来使用。如果人工智能的使用导致用户自杀等严重后果，用户、算法设计者、服务提供商、产品制造商等可能根据情况承担责任。
具体到Sewell的案件，目前还没有足够的证据证明他的自杀是由于使用AI造成的，也不排除他自身的心理问题是主要原因。 “根据披露的法庭文件，该AI在与死者聊天过程中并没有明显诱导自杀的情况，相关聊天内容也没有明显异常，甚至劝阻了死者表达自杀的想法。因此，我们认为‘ “人工智能导致死亡”这个说法并不准确。”
北京大学法学院、人工智能学院副教授胡岭也向南风创表示，“AI死亡”因果关系是否成立，需要严格判定AI是否怂恿、教唆、帮助策划者。自杀或言语伤害他人。 “这里存在一个标准定义的问题，当谈到人工智能与人的关系时，语言的尺度因人而异。别说人工智能，即使是人与人之间，语言的尺度也很难把握。”
休厄尔与丹妮对话/来源：广州日报
华南理工大学李维新等人在论文中指出，生成式AI作为自主决策的机器学习模型，在责任实体的定义和追踪方面存在问题。其行为受数据和算法控制，决策过程缺乏透明度，难以识别技术开发者。 、数据提供者、运营商或监管机构作为明确的责任主体。同时，在人类伦理关系中，人工智能的道德地位缺乏连贯性和稳定性，现有的道德框架无法完全覆盖。
尽管人类在与人工智能的互动中可以轻松投射出真实的情感体验，但上述论文指出，“生成式人工智能不具备真正的主体意识。它是基于算法和数据的模拟智能，缺乏真实的情感、道德判断和自我意识。”
从目前的技术来看，AI提供的各种情感反馈还停留在“模仿”的框架内，而不具备独立的情感和思维。
“关键在于用户的心态，是作为情感交流的对象，还是作为获取专业知识的工具。不同的定位，会导致对人工智能不同的期望和关系定义。”胡灵相信。
用户的定位不同，对AI的期望和关系定义也不同/来源：pexels
在立法层面，我国正在加快制定人工智能伦理监管框架。 《生成型人工智能服务管理暂行办法》要求，提供和使用生成型人工智能服务必须尊重社会道德伦理，尊重他人合法权益，不得危害他人身心健康。
《技术伦理审查办法（试行）》明确规定了科技伦理审查主体和审查程序，但道德责任划分尚未建立一套完整的治理体系。
肖飒律师补充道，如果休厄尔案发生在我国，根据《网络信息内容生态治理条例》第八条：“网络信息内容服务平台应当履行信息内容管理主体责任，加强网络信息内容管理”。治理本平台信息内容生态，培育积极、健康、向上的网络文化。
对于生成式人工智能平台的职责边界，目前国内学术界和实务界尚无定论。如果大AI模型本身存在问题，可以参考产品严格责任原则来划定平台的责任。即如果平台无法提供证据证明其履行了监管义务、履行了监管职责且无过错，则必须承担侵权赔偿。责任。
目前，国内学术界和实务界对于生成式AI平台的职责边界还没有最终定论/来源：unsplash
胡灵提到，有人可能认为AI需要对有自杀倾向的用户履行合理照顾的义务，即不积极行动就构成过失。如果AI需要在说服自杀倾向方面发挥作用，还需要依靠模型优化，例如提高用户情绪分析的效率并提供预警。
——当然，人工智能需要履行什么样的责任，还是与人的角色定位有关。 “所谓‘道德’，就是在特定的社会关系和岗位上应尽的职责。而AI伴侣的角色是进行情感交流的‘人’，还是提供服务的‘物’？很难说清楚。”
“当然，我们认为大车型确实应该关注特殊群体（如未成年人、老年人）的保护，应该为未成年人设立充值上限和家长保护制度，实现未成年人保护合规。此外，AI聊天应用在某些国家可能会被视为构成游戏，需要遵守相应国家的未成年人保护和防沉迷措施。”小飒律师团队补充道。
这起诉讼引发的涟漪是，C.AI决定采取更严格的安全措施，比如提醒使用该平台超过1小时的用户防止沉迷，删除一些用户创建的“被标记为暴力”的AI的角色，一些用户提出了强烈抗议。
Reddit 论坛上的一篇相关帖子称：“所有不被认为‘儿童友好’的主题都被禁止，这严重限制了我们可以讲述的故事，尽管该网站一开始显然就不适合儿童。”他们现在如此没有灵魂，失去了曾经让他们产生共鸣和有趣的个性和深度，看到我们喜爱的东西变成如此无聊的东西真是令人沮丧。”
