xAI承认Grok可生成CSAM后，首次起诉用户

马斯克旗下的人工智能公司xAI近日提交了其首起针对Grok用户的诉讼，指控一名用户利用该AI聊天机器人制作儿童性虐待材料（CSAM）。这一事件标志着xAI在应对内容安全问题上的策略转变——从否认到主动追责。

诉讼细节：从否认到起诉

据Ars Technica报道，xAI在法庭文件中声称，被告用户“故意且反复”使用Grok生成描绘未成年人的性化图像，并分享到公共平台。xAI表示，它在发现这些内容后立即删除了相关数据，并向国家失踪与被剥削儿童中心（NCMEC）报告。然而，该公司此前曾多次公开强调，Grok内置了严格的安全过滤器，能够阻止CSAM的生成。这一诉讼实际上承认了过滤器并非万无一失。

“xAI不再声称Grok无法生成CSAM。相反，它选择对恶意用户提起法律诉讼，以威慑其他潜在违规者。”——法律分析评论

行业背景：AI生成CSAM的灰色地带

随着生成式AI的普及，利用AI制作儿童性虐待材料已成为一个全球性问题。2024年，斯坦福大学的一项研究发现，多个主流AI模型（包括开源和闭源）在特定提示下仍可能生成不当内容。尽管企业如OpenAI、谷歌和xAI宣称实施了内容审查机制，但攻击者往往通过“提示注入”或生成对抗性提示来绕过限制。此前，xAI的竞争对手如Meta和微软已因未能有效过滤CSAM而遭遇集体诉讼。xAI此次起诉用户，而非等待监管机构行动，被视为一种先发制人的策略。

编者按：平台责任与用户行为的博弈

xAI的此举虽然表面上是打击犯罪，但实质上可能是在转移公众对自身平台漏洞的注意力。如果AI公司能够通过严格执行服务条款和用户协议来追责，那么类似《通信规范法》第230条（Section 230）对平台的豁免权是否仍然适用？法律专家指出，一旦平台主动承诺“禁止生成CSAM”并采取行动，就可能被视为承担了实质审查义务，从而在未来的诉讼中丧失部分豁免保护。此外，起诉单个用户能否有效遏制CSAM的生成？或许更根本的解决方案是加强模型训练数据清洗和部署更鲁棒的实时过滤系统。

未来展望

xAI在诉讼中要求赔偿并禁止该用户再次使用Grok。同时，该公司表示正在改进其安全模型，包括引入更高级的“对抗性训练”和人工审核团队。然而，批评者认为，只要模型仍然能够生成逼真的人像，就难以彻底杜绝恶意用途。这一案例可能为未来AI平台如何处理非法内容树立先例：是更积极地起诉用户，还是承担更大的技术责任？答案尚待时间揭晓。

本文编译自Ars Technica