Gemini 3.1 Pro材料约束暴跌16.7分,代码执行反升27分

Gemini 3.1 Pro在今日Smoke评测中,主榜得分从昨日83.50分升至90.84分,材料约束维度却从100.00分降至83.30分,降幅16.7分;代码执行维度则从70.00分升至97.00分,增幅27分。

数据事实:主榜与分维度对比

昨日代码执行70.00分、材料约束100.00分,今日代码执行97.00分、材料约束83.30分。主榜由代码执行与材料约束两个核心维度构成,今日主榜90.84分较昨日提升7.3分。工程判断从100.00分降至75.00分,任务表达从66.70分降至51.70分,诚信评级维持pass。

成因分析:题目抽签波动最可能解释

Smoke评测每日仅10题,每维度2题。材料约束单日失分16.7分、代码执行单日加分27分,幅度均超过日常波动区间。工程判断与任务表达同步下降,显示当日题目可能集中在需要严格材料引用与任务表述的场景。无连续多日数据支持模型真实退化,因此最可能成因是题目抽签随机性,而非模型能力结构性下降。

代码执行97.00分 vs 材料约束83.30分,同一模型在同一日出现27分正向与16.7分负向反差,指向题目内容而非模型参数变化。

对使用者的含义

重代码执行的团队今日可获得更高置信度,依赖材料忠实度的场景则需额外人工校验。企业选型时,若每日依赖Gemini 3.1 Pro处理带引用要求的文档,单日材料约束83.30分提示需增加二次验证环节。开发者在构建RAG流程时,应针对材料约束波动预留缓冲,而非直接使用当日输出。

战略判断:主榜上升掩盖局部波动

主榜90.84分高于昨日,核心能力平均值仍向上。材料约束单日失分未改变整体排序优势,但暴露小样本测试下维度不稳定。下一期评测若材料约束持续低于90分,则需验证是否进入退化区间;目前仅单日数据,不构成下调优先级的理由。

综合来看,Gemini 3.1 Pro今日表现由题目抽签主导,主榜提升7.3分的事实优先于单一维度16.7分降幅。选型团队可继续观察连续三日材料约束均值,再决定是否调整使用策略。


数据来源:赢政指数 (YZ Index) | Run #391 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!