01 / 方法改进
Fable / Opus：完整的反馈闭环
A 组通过测量瓶颈改善吞吐，最终加速也包含模型配置变化。Opus 还调整不稳定的训练策略，并放弃实测无收益的权重平均。B6 组两者只差 0.00031 NLL，单次实验不足以区分优劣。
Research notes / H200 experiments
从实验中学习，模型做得如何？
把 RSI 看作 meta-learning：内层训练语言模型，外层根据实验反馈调整方法。一起看最终质量、候选轨迹，以及每次改进花掉的预算。
研究模型
已完成实验
A: 8 h
B: 6 / 12 × 1 h
B: 6 / 12 × 1 h
Track A / Track B 预算上限
1 × H200
相同任务、数据及评估器
如何解读：A 与 B 都允许自我改进，预算规则不同。这里展示观察结果，尚无同预算 RSI-off 对照。ANALYSIS 分数在研究结束后计算，并不是 Agent 当时获得的反馈。
选择比较范围
点击模型名称可隐藏或恢复；图表和结果表会同步更新。默认显示全部模型。
自定义比较图
横纵轴可选 Score、NLL、PPL、推理耗时、吞吐、预算等指标。悬停点附近即可查看详细信息。
悬停、点击或键盘聚焦数据点，查看模型和精确数值。
Track B · 最终结果
按 NLL 升序排列；提交候选数与元学习次数不同。
| 模型 | TEST NLL ↓ | Score ↑ | s/task ↓ | 租约小时 | 候选数 | ANALYSIS 首 → 末 |
|---|
s/task 为每条任务的推理秒数（1 s = 1000 ms）。Score 与 NLL 来自同一个质量指标。租约小时包含运行环境内的全部占用，不等于纯 GPU 计算时间。
B6 → B12：增加租约后的结果
独立新运行，每种配置一次；差值包含训练量、策略与随机性变化，不是纯预算因果效应。
| 模型 | B6 · TEST NLL | B12 · TEST NLL | B12 − B6 | B12 · s/task | B12 · 租约小时 |
|---|
10 个模型完成了 B12；GLM 5.3 的 B12 在第 11 个租约后 Agent 退出、没有 TEST，已排除。负值表示 B12 的 NLL 更低。
同一模型：A8 与 B6
这是一组描述性配对，不合并成同一预算下的排名。
| 模型 | A · TEST NLL | B6 · TEST NLL | B6 − A | 较低 NLL |
|---|
负值表示本次 B 的 NLL 更低。结果同时受初始配方、实际训练量、推理配置和随机性影响，差值不等于 RSI 增益。
Reading the evidence
三个值得保留的判断
02 / 诊断与取舍
Astra / Kimi：不同的适应能力
Astra 比较上下文长度与校准方案，在 B6 组获得最低的推理耗时点估计。Kimi 在更换验证样本后，把旧、新候选放到相同样本上重测，避免把测量变化误判为进步。
03 / 归因边界
首末涨幅需要结合起点
早期保险候选、错误修复、更多梯度训练和方法更新，都可能拉大首末差值。Flash B 到第 5 租约才提交首候选，不能与从第 1 租约开始提交的曲线直接比较涨幅。
其余模型的过程证据
- DeepSeek Flash：B 的高吞吐配方与持续训练获得优秀终点；A 的退火与低学习率续训也改善了自评与候选结果。
- GLM：通过 profiling、CUDA graphs 与位置表示调整提高吞吐；实现收益没有全部转化成最优质量。
- Sonnet：B 修复逐元素输出检查瓶颈，本地 1000 样本耗时约 25 s → 3.4 s；A 的自评未充分覆盖最终表现。
- Sol：B 候选稳定改善，主要沿相同配方续训；方法层改进的独立贡献尚未识别。
- DeepSeek Pro：两轨初始配方、搜索成本和最终结果差异较大。
- Terra / Luna：错误修复、验证覆盖和预算分配仍限制结果；大幅下降不能自动归因于更强元学习。
数据口径与复现
- 每个模型／Track 配置采用最新授权尝试。A8、B6、B12 分开保留；B12 覆盖 10 个模型。GLM B6 与 Flash A 的旧失败尝试，以及未完成的 GLM B12，单独排除。
- 本批为 host_cli preview，不属于正式 leaderboard；每种配置只有一次运行，未估计训练种子方差。
- A 是研究墙钟上限；B 是训练环境租约上限。部分批次的输出上限等推理配置有差异。
- 页面公开模型结果、候选轨迹与汇总指标。该页为一次结果快照，重新构建后更新。