引言
当客户询问订单是否已发货时，智能体已掌握订单 ID，并面临三种可能行动：查询订单状态服务、搜索配送政策文档，或询问客户订单 ID。在执行前，它需要先做出选择。JEV-like 决策模型可直接返回类别或分数，而非长篇解释，应用代码据此快速行动。
决策 LLM 的本质
决策过程本质上是分类或评分任务。模型在答案边界位置通过下一个 token 的分数给出判断，无需生成解释文本。
两种提问方式
点式提示为每个候选单独评分，集合式提示则让模型一次性看到所有选项后再给出判断。
为什么需要专用评分接口
SGLang 的 /v1/score API 允许显式请求特定标签 token 的分数，避免生成式 top-k 遗漏关键标签。同时支持单项评分（SIS）与多项评分（MIS），后者可复用共享查询计算。
基准测试：点式决策
使用 Open-Jev 数据集，在单张 NVIDIA H200 GPU 上测试 Qwen3-0.6B、Qwen3-8B 和 Qwen3.5-4B 模型。
结果显示，MIS 在高负载下优势明显，延迟增长缓慢。
集合式与融合选择对比
进一步测试 Fused-Choice 与 Setwise SIS 在不同 QPS 下的表现。
结论：MIS 能有效摊薄共享查询开销，适合高候选数量场景。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接