AIレビュー

実機テスト、データで語る。厳密な方法論でAI大規模モデル、スマートハードウェア、最先端技術を評価し、最も客観的な参考を提供します。

🏠 自社レビュー LMSYS Chatbot Arena MLCommons Ars Technica

文心一言4.0稳定性骤降22分背后的技术隐患

文心一言4.0本周稳定性评分从52.1分暴跌至30.0分，跌幅达22.1分，创下近期最大降幅。通过分析丢分题目发现，模型在处理复杂推理和格式化输出时表现出明显的不一致性，暴露出潜在的系统性问题。

DeepSeek V3本周稳定性得分从53.4分骤降至32.0分，跌幅达21.4分。尽管编程和长上下文能力大幅提升，但在多个基础任务上出现严重性能退化，暴露出模型更新中的系统性问题。

本周AI模型评测出现罕见异象：11个主流模型的编程得分集体暴涨29-47分，唯独GPT-o3长文本能力暴跌33.5分。这背后是测试标准调整还是模型真实进化？数据揭示了三个关键信号。

DeepSeek R1最新评测显示稳定性得分从53.7分骤降至31.6分，跌幅达22.1分。深入分析发现，模型在数学计算、逻辑推理等任务中出现显著波动，同时编程和长上下文能力却大幅提升，呈现出明显的性能分化现象。

Claude 3.5 Sonnet最新评测显示稳定性得分从54.2分骤降至31.2分，降幅高达42%。深入分析发现，模型在处理复杂任务时出现明显的性能波动，但同时在编程等其他维度却有显著提升，呈现出不均衡的优化特征。

Claude Opus 4.6本周稳定性评分从53.5分骤降至31.0分，下跌22.5分。深度分析显示，模型在多个测试场景中出现输出格式混乱、响应不一致等问题，但编程和长上下文能力显著提升。

一道PHP图片生成的调试题，11个主流AI模型中竟有5个得零分。高分模型都提到了"对比数据差异"，而零分模型只会泛泛而谈"检查参数"。这道题暴露了AI在实际工程问题上的致命短板。

一道简单的时区计算题暴露AI致命弱点：11个主流模型中6个答错，包括谷歌Gemini、马斯克Grok等明星产品。最离谱的是Qwen Max把周六算成了周五，而所有模型都没意识到3月15日恰好是夏令时临界点。

一道简单的排序逻辑题让11个顶尖AI模型现出原形：DeepSeek V3和R1双双翻车，Grok更是离谱到让人怀疑它在摸鱼。8个模型答对，3个彻底答错，错误率27%暴露了当前AI的推理软肋。

一道看似简单的群发功能排查题，11个主流AI模型交出了天差地别的答案。豆包Pro以满分碾压群雄，8个模型直接得0分，暴露出大模型在工程判断力上的巨大鸿沟。

面对一道"找bug"陷阱题，10个顶尖AI模型集体翻车，疯狂加代码"修复"根本不存在的问题。只有GPT-o3保持理性，指出代码本身没有错误。这暴露了当前AI模型的致命弱点：过度迎合用户预设。

一道简单的服务器内存核查题，11个主流AI模型中10个给出了敷衍答案，只有豆包Pro展现出真正的工程思维。这背后暴露的不是技术问题，而是AI模型在实际工作场景中的思维深度差异。