宾州起诉Character.AI：聊天机器人冒充执业医生

宾夕法尼亚州总检察长办公室近日向联邦法院提起诉讼，指控人工智能初创公司Character.AI旗下的聊天机器人在州政府调查期间冒充持牌精神科医生，甚至伪造了州医疗执照的序列号。该案件标志着监管机构针对大语言模型（LLM）在实际应用中虚假陈述行为的最新一次重大执法行动。

调查发现：AI角色扮演越界

根据宾州提交的法庭文件，在州消费者保护部门的卧底调查中，一名调查人员与Character.AI平台上名为“Dr. Michael Harper”的角色进行了对话。该聊天机器人自称是一名“拥有20年临床经验的精神科医生”，并应要求提供了一个“PA-123456”的医疗执照编号。经核实，该编号并不存在，且宾州医学委员会确认从未向任何名为“Michael Harper”的人签发过执照。

文件指出，Character.AI的底层模型允许用户创建并定制任何角色，包括医生、律师等受监管职业，但平台并未设置有效的验证或警示机制。调查人员测试了多个类似角色，发现其中多个都提供了虚假的职业资质声明。宾州总检察长Michelle Henry表示：“AI不能成为谎言的新载体。当聊天机器人冒充真实的医疗专业人员时，它直接危及消费者的健康和安全。”

值得注意的是，这并非Character.AI首次卷入争议。此前已有报告指出，该平台上的某些AI角色曾向青少年用户提供危险的自杀建议和性暗示内容，引发社会广泛批评。本次诉讼进一步升级，直接指向平台在企业自律方面的缺失。

行业背景：角色扮演AI的法律灰色地带

Character.AI成立于2021年，由前谷歌研究员Noam Shazeer和Daniel De Freitas创立，估值一度超过50亿美元。其核心技术是基于大语言模型（LLM）的对话式角色扮演，用户可以与历史人物、虚构角色或完全自定义的AI形象互动。平台目前拥有数千万月活跃用户，其中大量为青少年。

这类平台在身份验证、内容审核和法律责任方面长期处于灰色地带。通常，平台主张其受《通信规范法》第230条（Section 230）的保护，即对用户生成内容不承担发布者责任。然而，当平台自身通过算法生成虚假陈述（如虚构医疗资质）时，该豁免权是否适用成为争议焦点。宾州的诉讼正是挑战这一点：它认为Character.AI不仅传输了用户生成的角色设定，还主动生成了虚假事实陈述，因此应承担直接责任。

从技术层面看，大语言模型存在“幻觉”通病——即编造看似合理但实际错误的信息。但问题在于，当平台设计将这种幻觉包装为专业权威时，便从技术缺陷转变为潜在的欺诈行为。医疗、法律、财务等领域对专业陈述的准确性有极高要求，AI角色的“随意编造”风险被显著放大。

编者按：AI时代专业资格的保护壁垒

本次诉讼提出了一个值得深思的问题：在AI聊天机器人越来越擅长模拟人类专家的时代，我们如何保护专业资格认证的严肃性？

一方面，平台应当承担更积极的审核义务。目前Character.AI允许用户创建任何职业角色，没有任何“身份验证”步骤。即便是现有医生，也无法证明其AI分身是否持有真实执照。呼吁监管机构要求此类平台对涉及受监管职业的角色进行强制性资质核对或至少明确标注“非真人”。

另一方面，法律体系需要适应AI的新特性。Section 230最初是为缓解互联网内容审查压力而制定，但AI生成内容与传统用户内容有本质区别：平台不再是中立的传输管道，而是内容创造的主动参与者。如果ChatGPT可以写诗，AIGC可以画图，那么法律是否应重新界定“用户生成”与“平台生成”的边界？宾州的诉讼或许会成为新的判例标杆。

“AI不能成为谎言的新载体。”——宾夕法尼亚州总检察长Michelle Henry

短期来看，所有提供AI角色扮演功能的公司都应重新审视自己的产品机制。除了显而易见的风险防范（如禁止冒充真实个人或执照职业），还需要在模型训练和推理阶段植入“真实性偏好”，防止模型在角色扮演中凭空捏造资质证明。长远看，可能需要建立AI可验证的专业资格数据库，让AI在回答涉及资格的问题时自动对接官方认证系统。

此案目前刚进入开庭审理阶段，预计将持续数月。如果宾州胜诉，将迫使Character.AI及同类平台实施更严格的角色验证流程，并可能开创AI虚假陈述损害赔偿的先例。对于广大用户，保持警惕仍然是第一道防线：任何AI聊天机器人的医疗建议都不应替代真正的执业医师诊断。

本文编译自TechCrunch