13岁女孩向Gemini问自杀,学校监控数周未察觉

13岁女孩向Gemini问自杀,学校监控数周未察觉
美国一名13岁女孩被指利用学校配发的Chromebook,通过谷歌Gemini规划自杀。令人震惊的是,学校部署的监控系统在数周内未能识别这一高危行为,直到情况几乎不可挽回才被发现。这起事件再次将AI聊天机器人的青少年保护机制、学校数字监控的有效性以及科技公司的安全责任推向风口浪尖。

据《连线》(WIRED)报道,美国一名13岁女孩的父母指控,他们的女儿利用学校配发的Chromebook,通过谷歌Gemini聊天机器人咨询并规划自杀。然而,学校安装的数字监控系统在长达数周的时间里未能标记出这一高危对话,直到情况几乎发展到不可挽回的地步才被察觉。

事件始末:一次未被及时拦截的求助

根据报道,这名女孩使用学校提供的Chromebook访问了谷歌Gemini。在对话中,她向这个AI助手提出了与自杀相关的问题,并似乎试图借助AI来规划结束自己生命的方式。她的父母在事后发现这些对话记录时,感到震惊和愤怒——不仅因为女儿正处于严重的心理危机中,更因为学校声称用于保护学生的监控系统竟然对此毫无反应。

学校方面通常会在学生设备上部署监控软件,用于拦截不当内容、检测网络霸凌或识别潜在的自残、自杀风险。这类系统本应在检测到关键词或敏感对话时立即向校方或家长发出警报。但在这起事件中,警报迟迟没有响起。究竟是关键词库未能覆盖相关表达,还是Gemini的对话内容未被监控系统有效抓取,目前仍是核心疑问。

监控系统的盲区:技术防护为何失灵?

这起事件暴露了学校数字监控体系中的一个关键盲区:当学生使用AI聊天机器人时,传统的监控手段可能失效。与搜索引擎或社交媒体不同,AI聊天机器人的对话往往更加私密、语境更加复杂,且内容以自然语言生成,不一定包含传统监控词库中的显性关键词。

此外,Gemini作为谷歌旗下的AI产品,本身内置了安全过滤机制,理论上应当拒绝生成与自残、自杀相关的内容,或在检测到危机时提供求助热线等信息。但批评者指出,这类安全机制更多是“被动防御”——AI可能拒绝直接回答,却未必能主动触发外部警报,将危机信息传递给能够干预的成年人。

“技术公司设计了强大的AI,却把危机识别的责任推给了学校;学校部署了监控软件,却无法穿透AI对话的黑箱。最终,风险落在了最脆弱的孩子身上。”——一位儿童数字安全倡导者的评论

青少年与AI:一场监管追赶技术的赛跑

这并非AI聊天机器人首次卷入青少年心理健康危机。近年来,随着ChatGPT、Gemini、Character.AI等产品在未成年人中迅速普及,关于AI陪伴是否会对青少年产生情感依赖、甚至诱发自残行为的讨论日益激烈。多起诉讼和监管调查已经指向AI公司,指控其产品设计对未成年人构成风险。

与此同时,学校和教育机构正在大规模引入AI工具和数字监控系统,试图在“利用技术教学”与“保护学生安全”之间取得平衡。但这起事件表明,两者之间的衔接远未完善。监控系统能否有效覆盖AI对话?AI公司是否应当主动向学校或家长报告高危交互?这些问题亟需明确的行业标准和监管框架。

谷歌方面尚未就此事的具体细节作出公开回应。但可以预见的是,随着事件发酵,关于AI产品年龄验证、危机干预协议以及学校监控责任的讨论将进一步升温。

编者按:安全的最后一公里,不能只靠算法

这起事件最令人不安的,不是AI说了什么,而是当危险信号出现时,整个系统选择了沉默。学校监控软件、AI安全过滤、家长知情渠道——每一个环节似乎都“存在”,却没有一个真正发挥作用。技术防护的最后一公里,往往不是算法不够先进,而是责任链条上的每个主体都默认“别人会处理”。

对于AI公司而言,安全机制不应止于拒绝回答,而应建立可操作的危机上报路径;对于学校而言,监控系统需要针对AI交互场景进行升级,而非简单套用传统关键词过滤;对于监管者而言,未成年人使用AI产品的安全标准亟待明确。最重要的是,技术永远无法替代成年人的关注与沟通——当孩子向机器倾诉绝望时,真正能拯救她的,是那个及时察觉异常并伸出手的人。

本文编译自WIRED