AI安全不可假设可组合性:部署需独立测试

AI从业者深知部署系统与基础模型行为差异显著,但安全评估常错误假设可组合性。研究表明,微调等修改会导致安全分数不可预测地变化,正反方向均有可能。MLCommons强调需针对完整部署系统进行测试,其Candela服务提供带误差范围的可靠基准,支持团队判断修改影响。文章呼吁建立可预测的可组合性测试框架,以降低合规负担并助力监管。相关工作组欢迎研究者加入,推动AI安全评估进步。

MLC AI安全 基准测试
148

MLCommons推出AILuminate Safety 1.2.1与Jailbreak 1.1基准

MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准,开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建,覆盖12类危害场景,并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著,开放权重模型从第4到98百分位不等,而护栏系统接近满分。Jailbreak测试揭示攻击可使违规率从11.08%升至18.65%。新版支持更快、更可靠的评估,助力AI产品安全部署。

MLC AI安全 基准测试
140

Candela 发布:AI 风险基准测试即服务

MLCommons 推出 Candela 平台,为开发者和部署者提供 AI 风险与可靠性基准测试服务。该平台基于 AILuminate 基准,支持 Safety 1.2.1 和 Jailbreak 1.1 等测试,覆盖暴力犯罪、金融健康法律建议等十二类危害及越狱攻击。采用封闭提示、私有分类器和项目反应理论评分,确保结果可比且防污染。支持练习测试、注释结果和官方结果三种模式,可测试完整系统配置。微软、NVIDIA、Google DeepMind 等成员公司已肯定其价值,助力跨组织 AI 治理与合规决策。

MLC AI安全 基准测试
129

SGLang 安全更新:强化请求隔离机制

2026年9月,Cloudflare向SGLang团队报告了GLM-5.3部署中存在的跨请求KV cache暴露漏洞。该漏洞源于异步RDMA传输与请求中止路径的竞态条件,可能导致用户会话数据泄露。团队与Cloudflare合作修复了准入拒绝路径,并引入延迟KV cache释放机制等改进。本文详细解析问题根源、影响范围及上游修复方案,为SGLang运维者提供安全指导。

LMSYS SGLang KV Cache安全
67