Harvey Tenet：法律 Agent 任务接近翻倍，但发布页没有权重下载入口
输入“/”快速插入内容
Harvey Tenet：法律 Agent 任务接近翻倍，但发布页没有权重下载入口
Harvey Tenet：法律 Agent 任务接近翻倍，但发布页没有权重下载入口
用户8679用户86798月23日修改
1. 这次到底发布了什么
📌
先给结论：Harvey Tenet 最值得研究的不是“法律模型又多了一个”，而是它把领域数据、长任务环境、Agent Harness、严格 all-pass 评测与推理成本放进同一个后训练闭环。Harvey 报告 Tenet 在 LAB hold-out 上完成的任务接近 Kimi K3 基座的两倍，all-pass 增加 9 个百分点；但这不是纯模型消融：测试 Harness 额外加入了 finish 工具。发布页称其为 post-trained open-weight model，却没有给出 Tenet 模型卡、权重或 adapter 下载入口。当前能直接下载的是 Kimi K3 基座权重，不能把两者混为一谈。
Harvey 在 2026 年 8 月 20 日公开的是一份 Research Preview。Tenet 以 Moonshot AI 的 Kimi K3 为基座，由 Harvey 与 Fireworks Research 共同面向长周期法律工作进行后训练，同时加入 Harness 改进。公开材料给出了训练方法、算力、多个 benchmark 结果与若干扩展能力研究，但没有宣布 GA、API、价格、许可证、服务区域、生产 SLA 或 Tenet 权重下载地址。
层 | 公开事实 | 不能顺手推断 |
基座 | Kimi K3，2.8T 总参数、104B 激活参数的开放权重模型 | Tenet 与公开 K3 checkpoint 等价 |
领域后训练 | 法律任务环境、GSPO、rank-64 LoRA、合成/公开/专家数据 | adapter 或完整 checkpoint 已公开 |
Agent 执行层 | 沙箱工作区、文件搜索/读取/写作工具，并带 Harness 改进 | 分数提升全部来自权重 |
评测 | LAB、LAB Contracts、APEX Agents、Redline Bench 等 | 不同 Harness / judge 的榜单可直接横比 |
产品 | 部分研究能力计划逐步进入 Harvey | 今天即可自行部署 Tenet 或替代律师复核 |
2. 证据分层：声明、代码、有限验证、未验证
证据层 | 本次看到的内容 | 可信边界 |
Harvey / 合作方声明 | Tenet 训练与 benchmark 数值、B300 数量、训练时长、成本和能力描述 | 一手披露，但多数不是本次独立复现 |
公开工件 | Harvey LAB 仓库、当前 Harness / judge / sandbox 源码；Kimi K3 模型卡与完整权重 | 能审计合同，不能恢复 Tenet checkpoint |
本地静态验证 | 固定 LAB commit 7be41d57…；25 / 25 来源与合同断言；范围内 131 tests passed、59 skipped | 未下载任务语料，排除了 task-integrity / discovery 测试 |
教学探针 | 10 / 10 检查 all-pass、criterion rate、评测 manifest 与总 token 成本账本 | 不是 Tenet、LAB、GPU、法律质量或成本复现 |
3. 训练对象不是问答，而是完整法律工作回合
每个训练环境近似一个封闭的 client matter：约 50 词的合伙人式任务指令、关键与干扰材料混合的事项文件、需要交付的工作产品，以及专家把事实、结论、引用、风险等级、建议和格式拆成的原子 rubric。单个任务平均约 50 条 rubric，最大的达到数百条；一次 rollout 可以超过 1,000 turns、消耗数十万 tokens。
Agent 在沙箱工作区中搜索事项、读取文件、运行分析并把最终交付物写入磁盘。训练信号因此来自“是否交出可审阅成品”，不是只奖励下一 token 看起来像律师。这个环境设计把模型训练的单位从答案扩成了 任务轨迹 + 工具使用 + 可检查交付物。
4. Reward 为什么同时盯质量与收尾
Harvey 披露的 reward 是三层合成：逐条 rubric 满足比例、解决了多少底层法律问题的整体项，以及所有标准全部通过时的 bonus。候选 judge 与更重的前沿模型做过消融后，团队选择 Kimi 2.6 作为质量 / 效率折中；相近 rollout group 会重判，降低微小分差把噪声送进梯度的概率。
此外还有一个小的组内长度项，在质量相当时偏好更短的交付。这不是简单“少写字”，而是在推理价格由单 token 价格与总 token 数共同决定时，给策略一个效率方向。真正危险的做法是只压长度、不守住同等质量条件，最终得到便宜但漏项的文书。
5. GSPO 与异步训练流水线
Tenet 使用 group-sequence policy optimization（GSPO）。每个训练任务采样一组独立 rollout，按 rubric reward 评分，在组内按方差归一化 advantage；序列平均 importance weight、双侧 clipping 与高 importance-ratio token masking 用来降低 RL collapse 风险。
公开训练参数 | 数值 / 做法 | 工程含义 |
可训练参数 | rank-64 LoRA，覆盖 attention、MLP 与 routed-expert weights，约 500k expert tensors | 不是只调最后几层的轻量 prompt tuning |
优化批次 | 每 step 为 8 个 task groups × 每组 8 rollouts | 组内相对比较构成训练信号 |
训练环境 | 约 1,750 个 Agent 法律任务环境 | 任务多样性是能力边界的一部分 |
每 epoch | 150 optimizer steps，超过 10,000 个独立 rollouts | 运行时与评分成本不可忽略 |
算力 | 约 150 张 NVIDIA B300，持续 2 个月 | 这是供应商披露，不是本次计量结果 |
rollout 与 trainer 异步运行，local orchestrator 保持 rollout fleet 在途，trainer 消费完成的 group，并用 hard staleness bound 限制 off-policy 程度。新权重在每次 step 后热加载，部署不重启；训练端与生成端还使用 token-in-token-out 和 router replay，减少巨大 MoE 在不同数值路径下重算 logprob 带来的偏差。
6. 数据边界：没有客户数据，不等于没有专家数据
Harvey 明确称 Tenet 后训练没有使用 customer data。训练 corpus 由合成数据、公开法律数据与 human expert data 组合；专家数据既用于构建与扩展环境，也用于审查和修复合成数据。内部治理时应分别登记来源、授权、保留期、去标识方式与可撤回性，不能把“无客户数据”简化成“只有公开数据”。
7. 主结果：19.7% all-pass 很强，也意味着 80.3% 未全过
Harvey 的图表给出 Tenet 在 Legal Agent Bench 的 all-pass 为 19.7%，LAB Contracts 为 11.3%。相对 Kimi K3 基座，官方表述分别是“完成任务接近两倍 / all-pass +9 个百分点”和“多完成 20% / all-pass +2 个百分点”。它在 LAB Contracts 位列第一，在 LAB 位列第二。
这里最容易犯的错误是把 19.7% 写成“法律工作已经自动化”。All-pass 要求一个任务所有必要 criterion 都通过，所以 19.7% 比平均分更接近生产完整性；但反过来看，公开 hold-out 上仍有约八成任务不能一次性全部满足 rubric。它支持的是“领域后训练显著推动边界”，不是“可以取消律师 review”。
8. 为什么 all-pass 与 criterion pass 必须并列
公开 LAB 当前对每条 criterion 用 LLM judge 做语义二分类；任务只有全部通过才计 1，否则为 0。Criterion pass rate 保留“差一点”的诊断信号，all-pass 则回答“能否完整交付”。两者缺一不可：只看平均 criterion 会掩盖关键漏项，只看 all-pass 又无法定位改进方向。
建议固化的评测回执
{
"model_artifact": "checkpoint-or-adapter-digest",
"base_model": "moonshotai/Kimi-K3@revision",
"harness": "repo@commit + tool schema digest",
"judge": "model + prompt digest + temperature",
"dataset": "holdout id + sampling rule",
"all_pass_rate": 0.0,
"criterion_pass_rate": 0.0,
"input_tokens": 0,
"output_tokens": 0,
"cache_tokens": 0,
"latency_ms": 0,
"estimated_cost": 0.0
}