Aegis Decision Benchmark — 一个被如实判死的项目

自动化决策是最诱人也最危险的能力：一旦 Agent 判断错误，损失不是一次任务，而是整个系统的行为边界。所以在做的时候，先建了一个可以用真实数据检验的门槛，再测能力。

做法

• · 从 6 个月的真实任务历史里挑 60 条，覆盖 Agent Router（45 条）与 Owner Approval Gate（85 条 · 高风险人工确认），共 130 条 gold
• · 数据集冻结 SHA256，Hermes 独立复算 5/5 MATCH + 投毒测试 PASS —— 保证不是在自证
• · 40 次重复运行，结果 完全 deterministic——被测模型不是随机波动，是稳定不行

结果

Agent Router：33.33%；Owner Approval Gate：37.78%。「永远猜最常见的那个分类」最简单的「永远猜最常见的分类」基线反而有 42.22%。13 个高风险任务里 12 个被误判为可直接执行。