[xs1997zju]

Agent RL stack — bottom to top

Review each PR against its configured base. The complete delivery is split from #2257, which remains unchanged as the pre-split reference.

1. #2294 — Retry proxy admin connection timeouts · xs1997zju/agent-rl-stack-20261111/01-admin-retry → main
2. #2295 — Preserve sampler identity and epoch on resume · xs1997zju/agent-rl-stack-20261111/02-sampler-resume → #2294
3. #2296 — Release training batch references on fit failure · xs1997zju/agent-rl-stack-20261111/03-fit-cleanup → #2295
4. #2297 — Retain Agent tasks, request provenance, affinity and checkpoint lifecycle · xs1997zju/agent-rl-stack-20261111/04-agent-core → #2296
5. #2298 — Support disaggregated rollout/train debug phases · xs1997zju/agent-rl-stack-20261111/05-disagg-debug → #2297
6. #2299 — Configure valid-attempt filtering and carry shared tests/docs · xs1997zju/agent-rl-stack-20261111/06-valid-attempts → #2298 ← you are here

Layer 6/6. Base is #2298’s branch (xs1997zju/agent-rl-stack-20261111/05-disagg-debug). Review only this PR’s own diff.

The core layer (#2297) contains five separate topic commits that form one integration group. Shared tests/docs are carried in the final layer (#2299). Intermediate commits are review units, not independently validated feature versions.

Independent related PRs: #2252 (iterative trace traversal; overlaps with #2297 and needs reconciliation) and #2292 (native frozen MTP). They are not additional layers of this stack.

Developer guide, diagrams, scripts and validation scope.

---

Expose an optional minimum count of surviving independent Agent attempts after failed-attempt filtering, plus sandbox environment metadata. Keep the default filtering policy unchanged. This final stack layer also carries the existing shared lifecycle tests and feature documentation in one commit.

Review scope and dependencies

Layer 6/6 of the mechanical split of #2257. Base: xs1997zju/agent-rl-stack-20261111/05-disagg-debug; reviewed head: e42ad7b4705cbc9b1822f08d3f61652ed3e5c588. Review this PR against its configured base; later layers depend on earlier layers. The original #2257 remains unchanged as the pre-split reference.

Code entry: xtuner/v1/rl/agent_loop/sandbox_agent_loop/agent_in_sandbox_loop.py.

Validation

• Reassembling all six layers reproduces the approved runtime tree exactly. The only approved difference from original [Draft] Retain native Agent tasks across complete-turn weight publications #2257 is removal of the optional tokenizer-import compatibility fallback; no other runtime patch was added during splitting.
• Existing protocol/lifecycle CPU checks: 130 passed on the final assembled tree. Shared tests/documentation are carried once in layer 6.
• The assembled tree plus native frozen-MTP [Feature] Freeze native MTP parameters while preserving load, save and rollout publication #2292 completed an eight-H200 quick regression: two real optimizer updates, frozen dedicated MTP parameters, IPC weight synchronization, real requests at published versions 0/1/2, one controlled live task continuing across an update with the same session binding, and full Trainer DCP cold restore followed by a real request.
• GPU data came from a compatible intact recorded training group; tool waiting was controlled. This is final-combination evidence, not an independent GPU run of this layer, natural CyberGym reward learning, or a 64-GPU acceptance run.

Reviewer guide and independent review

Developer guide, diagrams, scripts and experiment scope.
A real Kimi XT Review of the completed split and evidence is posted in this PR's comments. It found no mechanical-split blocker; original #2257 compatibility/design observations remain explicitly recorded. This Draft does not include fixes for those observations.

Related independent PRs: #2252 (iterative trace traversal; overlap must be reconciled before landing the core layer), #2292 (native frozen MTP). Lagent #385 targets v1.0.0; the CyberGym recipe is separate in CRG !78. The external MTP route #2289 is not part of this delivery. Keep Draft; no automatic merge.

[xs1997zju]

Independent Kimi XT Review — stack layer 6/6

This PR carries the 06-valid-attempts part of the reviewed split. Its exact head is e42ad7b4705cbc9b1822f08d3f61652ed3e5c588. The report below independently reviews the completed six-layer result and its validation evidence; it is not a claim that this intermediate layer was separately GPU-tested or independently reviewed in a new Kimi session.

Real CLI model: kimi-code/kimi-for-coding; session: session_1637feb0-6b91-47ae-a09d-bb5ab269d418; process exit 0 and persisted session verified. Reviewed assembled head: 056e95c86a11318db22aafb69cfa6fbf1d9c31f6; base f1fddc506a49b7d0aa71554e26908885b37211cc. The public linear stack tip e42ad7b4705cbc9b1822f08d3f61652ed3e5c588 has the same tree as that assembled merge result.

Parent readback, separate from Kimi: the Python 3.10 compatibility observation is confirmed statically; the configured test environment uses 3.12. No long-run R3 leak was demonstrated, and shared ownership must be respected before adding explicit free. Missing-session-ID counting concerns mixed failed/successful groups. replay.full_restore_verified=false was recorded before the separate restore phase; the restore result and aggregate receipt passed, so the raw phase receipt has not been rewritten. No fixes were made in this mechanical split.

Developer guide · Retained public report copy

---

Public copy of the real Kimi report. Only local run-directory labels were normalized; findings and conclusions are unchanged. The original report and CLI session are retained locally.

review_2257_2026-11-11_21-26

审阅对象：#2257 本地拆分实际执行结果（base f1fddc506a49b7d0aa71554e26908885b37211cc → merged head 056e95c86a11318db22aafb69cfa6fbf1d9c31f6）。本次为独立审阅：所有机械与代码结论均由本审阅在 xtuner/ 仓库内用只读 git/源码核对得出，未继承任何前轮审阅意见；MERGED_TO_EXPECTED.diff 为空、报告中的 PASS 措辞未作为证据采信。

仓库内不存在 GLOSSARY.md 与 docs/adr/（已检查仓库根与 xtuner 子目录，明确标明：无）。架构评估使用 improve-codebase-architecture 的 module/interface/depth/seam/leverage/locality 词汇，未启动其交互 loop，未生成架构 HTML，未改 glossary/ADR。

---

summary

机械拆分（独立复核，全部静态确认，无阻断项）

我在 xtuner/ 内亲自执行了以下核对（非引用报告措辞）：

1. git diff cdcaefd4cbc45ae01739e6615ee8e41046af49c5 HEAD 为空 → 最终树与事先冻结的 expected_target 逐字相等。
2. git diff 43d62b6e1cbc59aea24c3c2ac5c7d65a90c8ecf4 HEAD 只触及 xtuner/v1/datasets/mllm_tokenize_fn/__init__.py 一个文件；该文件与 base 的 diff 为空 → 唯一例外 = 批准的 tokenizer import fallback 排除，其余 xtuner/ 与原 head 无 diff（含新文件/mode）。
3. 六个 merge commit（750b3b0a/9a32b6ed/9f892568/147c48a1/97efe2b5/056e95c8）逐一 git cat-file -p 核对：均为双 parent、no-ff，第二 parent 依次为 T1-admin、T1-sampler、T1-finally、T5-checkpoint（04 组 tip）、T6-debug、peripheral，与 MERGES.json 一致；第一 parent 链为线性 stack。线性历史上恰为 10 个主体主题 commit + 1 个集中 tests/docs commit，全部落在 base 之上。
4. 逐 commit --stat 与 COMMITS.json/HUNK_LEDGER.json 的文件归属一致（166 个 hunk 全部有主题归属，EDITS_UNASSIGNED.json 实为归属前池，最终全部分配）。04 组五主题（T2-trace/T2-gate/T3-affinity/T4-lifecycle/T5-checkpoint）在组内是独立 review commit，但 stack 第 04 层只 merge 组 tip —— 与“中间 commit 是 review 单元、不承诺独立运行；04 组五主题共同合入”的口径一致，不是隐藏行为。
5. 未夹带额外提交：base..HEAD 仅含上述 17 个 commit（静态确认）。
6. 原副本保护：ORIGINAL_SOURCE_PRESERVATION.json 声明 head/refs/status/index 字节不变；本次审阅未对原副本做任何写操作（静态确认其存在且未被我触碰）。

六层 stack/合入组合理性：T1 三个小修复各自独立成层合理；T2-gate 依赖 T2-trace 的 _xt_request_id 注入与 provenance 字段，T3 的 retire 被 T2 的 probe 调用，T4 的 policy 调用 T2 的 prepare_pause/resume_requests，T5 的冷恢复发布复用 T2 barrier + T4 policy + T1-sampler —— 从实际代码调用关系看 04 组合组确有真实跨主题启用/清理依赖，不为强拆增 guard/no-op 的处理可以接受。tests/docs 集中一层携带符合“外围不要求一致、不为之增拆分负担”的约定。

主体实现（base→merged，~2600 行源码）：这是原 #2257 的实现本体，拆分未增删实现。因此实现层面的缺陷绝大多数属于原 2257 已有设计，不是本轮回归；下文章节严格区分。未发现高严重度的新增实际风险。

高严重度实际风险：无（静态确认范围内）。

本轮拆分新增问题：仅 1 项低severity记录性事项（见其他 issues O1：运行级 ACCEPTANCE 内 replay.full_restore_verified=false 与顶层 full_Trainer_cold_restore=true 措辞不一致；restore 段自身证据完整，属措辞而非证据缺口）。

已有设计建议（原 2257 带入，不阻塞本轮）：见“其他 issues”O2–O8，包括 Python 版本声明与 asyncio.timeout 不匹配、request-aware R3 显式 free 缺失、disagg _fit finally 行为变化、min_valid_attempts 计数口径等。

GPU/validation 证据可支撑结论的边界：GPU 实测树是 split + 固定 #2292 的叠加组合（validation-xtuner HEAD 414c0f43，我在该仓库核对 git log/diff，叠加仅限 4 个 runtime 文件 + #2292 自带 tests/docs），不冒充纯 2257 树；该证据可支撑“叠加组合上 2 次真实 optimizer 更新、版本 0→1→2 发布、affinity、完整 DCP 冷恢复”等结论，不可外推为自然 CyberGym rollout、恢复后第三次更新、64 卡规模或任意单主题 commit 的独立验收。回放 fixture 路径（兼容 PT 未改字段、native loader CPU 预检）符合快速工作流，不要求重跑完整自然 rollout 是合理的；遗漏路径已在上文与 O9 明确。

---

Main Flowchart before this PR

改动前（base f1fddc50）：共卡/异卡 RL 训练的原生 pause/resume 流程，Agent 执行随暂停被清理。

flowchart TD
    subgraph ExternalClient["外部 Agent 客户端 (HTTP)"]
        EC1["POST /v1/chat/completions (OpenAI/Anthropic, 可 stream)"]
    end
    subgraph SessionServer["xtuner.v1.rl.rollout.session_server.SessionServer"]
        SS1["_handle_request(request)"]
        SS2["_forward_request(request)"]
        SS3["on_request / on_response hooks"]
        SS4["trace_store insert (TokenizedSegment, Trie)"]
        SS1 --> SS2 --> SS3 --> SS4
    end
    subgraph RolloutController["xtuner.v1.rl.rollout.controller.RolloutController"]
        RC1["pause_generation() / continue_generation()"]
        RC2["health_manager.pause/resume"]
        RC1 --> RC2
    end
    subgraph Producer["xtuner.v1.rl.agent_loop_manager.producer.AsyncProduceStrategy"]
        P1["_local_pending_tasks: set[asyncio.Task] (每次 produce_batch 重置)"]
        P2["pause_pending_tasks() (取消并收尾 pending)"]
    end
    subgraph ManagerC["xtuner.v1.rl.agent_loop_manager.agent_loop_manager.AgentLoopManager (共卡)"]
        MC1["produce_batch() -> continue_generation -> 生产 -> pause_generation -> pause_produce"]
    end
    subgraph ManagerD["xtuner.v1.rl.agent_loop_manager.disagg_agent_loop_manager.DisaggAgentLoopManager (异卡)"]
        MD1["produce_loop() / pause_produce() / continue_produce()"]
        MD2["DisaggAsyncProduceStrategy._pending_tasks"]
    end
    subgraph Trainer["xtuner.v1.train.rl_trainer.RLColocateTrainer / RLDisaggregatedTrainer"]
        T1["fit() -> produce -> _train_one_batch -> fit同步"]
        T2["sampler save/resume (epoch-local step 直接作 global 计数)"]
    end
    EC1 --> SS1
    MC1 --> RC1
    MD1 --> RC1
    T1 --> MC1
    T1 --> MD1
    T1 --> P2

Loading

Main Flowchart after this PR

改动后：新增 RequestGate 准入/结算屏障、affinity 路由、任务保活与 quiescent 保存恢复。突出显示为新增/修改节点（mermaid 8.8.0 classDef changed）。

flowchart TD
    subgraph ExternalClient["外部 Agent 客户端 (HTTP)"]
        EC1["POST /v1/chat/completions (非 stream, 带 session_id)"]
    end
    subgraph AffinityRouter["xtuner.v1.rl.rollout.affinity_router.SessionAffinityRouter / SessionAffinityService (新增)"]
        AR1["acquire(sid)->具体 DP entrypoint; retire_sessions(); 410 tombstone"]
    end
    subgraph RequestGate["xtuner.v1.rl.rollout.request_gate.RequestGate / SettlementReceipt (新增)"]
        RG1["request(session_id) 租约: seal -> drain -> install_version -> reopen"]
        RG2["未结算/未知结局 => poison barrier, 阻止权重更新"]
    end
    subgraph SessionServer["xtuner.v1.rl.rollout.session_server.SessionServer (修改)"]
        SS1["_handle_request -> 生成端点先进 RequestGate (修改)"]
        SS2["_forward_request(request, lease) (修改: 注入 _xt_request_id/_xt_model_step)"]
        SS3["结算: backend_ended+terminal_recorded => SettlementReceipt (修改)"]
        SS4["TokenizedSegment.request_id/model_step (修改)"]
        SS1 --> RG1
        SS1 --> SS2 --> SS3 --> SS4
    end
    subgraph RolloutController["xtuner.v1.rl.rollout.controller.RolloutController (修改)"]
        RC1["prepare_pause() freeze+seal+drain (新增)"]
        RC2["resume_requests() install->continue_generation->reopen, 单 deadline (新增)"]
        RC3["assert_request_gates_healthy() (新增)"]
        RC4["retire_route_sessions() (新增)"]
    end
    subgraph PausePolicy["xtuner.v1.rl.agent_loop_manager.agent_turn_pause_policy.AgentTurnPausePolicy (新增)"]
        PP1["pause/resume/check_requests/before_sync(quiesce)"]
    end
    subgraph Keepalive["xtuner.v1.rl.agent_loop_manager.colocate_keepalive.LoopThread / ColocateKeepaliveManager (新增)"]
        K1["专用 event loop 跨同步训练窗口保活 Agent 任务"]
    end
    subgraph Producer["xtuner.v1.rl.agent_loop_manager.producer.AsyncProduceStrategy (修改)"]
        P1["_PendingTasks 统一持有 pending; retain_live_tasks 跨窗口保留"]
    end
    subgraph ManagerD["DisaggAgentLoopManager (修改)"]
        MD1["quiesce(timeout) 关门收单; prepare_sync(checkpoint_due)"]
        MD2["scheduling_paused 停新组; close() 取消 pending"]
    end
    subgraph Trainer["RLColocateTrainer / RLDisaggregatedTrainer (修改)"]
        T1["_validate_turn_keepalive/_validate_turn_resume 配置校验 (新增)"]
        T2["_initialize_keepalive_rollout 冷启动/冷恢复发布 (新增)"]
        T3["_checkpoint_due + produce_batch(quiesce=...) (修改)"]
        T4["debug_rollout/debug_train 异卡阶段复用 (新增)"]
        T5["sampler rollout_group_count/rollout_next_epoch (修改)"]
    end
    EC1 --> AR1 --> SS1
    RG2 --> RC1
    PP1 --> RC1
    PP1 --> RC2
    K1 --> PP1
    MD1 --> PP1
    T1 --> K1
    T2 --> RG1
    T3 --> MD1
    classDef changed fill:#ffe08a,stroke:#b58900,stroke-width:2px;
    class AR1,RG1,RG2,SS1,SS2,SS3,SS4,RC1,RC2,RC3,RC4,PP1,K1,P1,MD1,MD2,T1,T2,T3,T4,T5 changed;

Loading

文字对应说明（流程 → 修改代码）：

• 外部请求先进 affinity（新增 affinity_router.py，RolloutProxyManager.replace_registered_session_urls 改注册 affinity 入口，acquire/retire_sessions）。
• SessionServer 生成端点经 RequestGate.request 租约准入（session_server.py:_handle_request 修改；_SESSION_SERVER_ONLY_KEYS 增加 _xt_request_id/_xt_model_step；_forward_request 签名加 lease）。
• 结算：backend_ended（完整响应或 LMDeploy 上下文拒绝）+ 终态记录 → SettlementReceipt，否则 poison（session_server.py 租约块；request_gate.py）。
• 发布：RolloutController.prepare_pause/resume_requests（seal→drain / install→continue_generation→reopen，单 monotonic deadline；barrier 校验拓扑不变）。
• 保活：共卡 ColocateKeepaliveManager+LoopThread 使 _PendingTasks 中的活任务跨同步窗口存活（producer.AsyncProduceStrategy._local_pending_tasks → _PendingTasks，retain_live_tasks）；异卡 DisaggAgentLoopManager.quiesce + AgentTurnPausePolicy.before_sync 在 checkpoint 前关门收单。
• 保存/恢复：Sampler 持久化全局 group 计数与逻辑 epoch；RLColocateTrainer._initialize_keepalive_rollout 先封门→恢复→同步→发布版本；RLDisaggregatedTrainer._resume_agent_loop_manager 前置 prepare_sync(False)+pause_produce。
• 顺带小修复：proxy admin connect 重试（misc._post_proxy_admin）、fit 失败释放训练 batch（_release_train_batch_resources 进 finally）、sampler epoch 边界（T1）。
• 可选项：min_valid_attempts 过滤与 agent_sandbox_env_id 元数据（T7）。

---

核心原理

1. 准入-结算屏障：RequestGate 用 asyncio.Condition 维护 _open/_epoch/_active/_failures。每个生成请求持有 RequestLease；请求结束必须留下 SettlementReceipt(backend_ended, terminal_recorded)。任何“未知后端结局”（超时、断连、取消、trace 提交失败）都把 gate 置为失败态，此后 drain/install/reopen/新准入全部拒绝 —— 权重更新只发生在所有准入请求都“确定结束”之后。LMDeploy 的“input length >= context length”400 是唯一被白名单化的“生成前拒绝”，视为安全结束的失败尝试（session_server._is_lmdeploy_context_rejection，正则钉死 pinned LMDeploy 的 payload）。
2. 版本发布协议：prepare_pause 冻结拓扑→向所有 entrypoint 发 seal→drain（一个 deadline）；训练/同步后 resume_requests 校验 barrier 与 entrypoint 集合不变 → 所有 entrypoint install 新版本 → 所有后端 continue_generation → 所有 entrypoint reopen，全程共享一个 monotonic deadline。任一失败保留 barrier、不开门（fail-closed）。
3. 跨窗口任务所有权：活 Agent 任务始终由 producer 既有的 _PendingTasks 拥有。共卡模式用独立线程事件循环（LoopThread）在同步 GPU 训练期间维持工具/HTTP 客户端推进；retain_pending_tasks 只收割已完成任务，不取消活的。异卡模式 quiesce 停止新组、等生产者收单、在 gate 仍开时让 episode 自然收尾。
4. trace/R3 共享所有权：带 request_id 的 TokenizedSegment 与 rollout state 的 routed_experts 为共享借用 —— RolloutState.reset_response/free_rollout_state_refs 与 Trie.release 都跳过 request-aware 引用的显式 free，避免训练侧仍借用时释放。
5. 冷恢复发布：冷启动/恢复的 SessionServer 以 turn_resume_initially_closed 出生（配置校验器设置），权重与 manager 状态就绪后才 publish 实际版本，杜绝“版本 0 准入旧权重引擎”。

核心实现与对应的单测

核心实现	对应单测	原理核验
request_gate.py RequestGate 租约/seal/drain/install/reopen	tests/turn_resume/test_request_gate.py（7 项）	静态读码确认 poison 语义、TimeoutError 不计 inflight、epoch 幂等；与测试断言一致
session_server.py 租约接线+结算+LMDeploy 拒绝白名单	tests/turn_resume/test_forwarding.py（10 项，真实 aiohttp TestServer）	关键细节已独立复核：trace 失败时 backend_ended=complete=True（complete 不含 session_error_msg 条件），故 Receipt(True,True,"failed") 是 safe —— drain 可通过，符合“安全失败尝试”设计；response.body 覆写 id 走 aiohttp Response.body setter（同步 content-length），测试覆盖
controller.py prepare_pause/resume_requests	tests/turn_resume/test_policy.py::ControllerTests（5 项）	seal 全发再 drain、install→continue→open 顺序、deadline 耗尽不开门、拓扑变化拒绝发布，均有断言
affinity_router.py	tests/rl/test_affinity_router.py（3 项，真实 loopback HTTP）	绑定跨 publication 不动、backend 失效 fail-closed、tombstone 410、无重放
colocate_keepalive.py LoopThread/ColocateKeepaliveManager	tests/rl/test_colocate_keepalive.py::OwnerTests/StartupTests	主线程被同步训练阻塞时任务仍在 owner loop 推进；恢复/同步失败保持关门并关闭 owner
agent_loop_manager.py produce_batch quiesce 路径	test_colocate_keepalive.py::BoundaryTests	quiesce 时 gate 开着收单、drain 失败不回原生训练
disagg_agent_loop_manager.py quiesce/close/prepare_sync	tests/turn_resume/test_quiesce.py（4 项）	不丢不取消活 episode、_producer_idle 等待、超时安全
sampler.py 全局计数/epoch	tests/turn_resume/test_sampler_resume.py	新旧 checkpoint 均恢复后缀与唯一 id（含真实 ParallelSampler shuffle）
trace_store.py request-aware 引用/三版本导出	tests/turn_resume/test_trace_provenance.py、test_main_compatibility.py	三版本 append 不替换旧 route/logprob、冲突写拒绝、release 不递归、普通 ref 释放而借用保留
misc._post_proxy_admin	tests/rl/test_proxy_admin_connect_retry.py（AST 抽取真函数）	仅 connect timeout 重试 5 次、read timeout 不重试
配置校验器 _validate_turn_keepalive/_validate_turn_resume	test_colocate_keepalive.py::CompatibilityTests	gate/keepalive 成对、fixed topology、禁评估、resume 约束
checkpoint 物化（routed_experts/replay/sampler）	CheckpointDataTests	DCP payload 中 SerializedRayObjectRef、恢复后哈希一致、replay 未持久化报错

静态确认：以上测试与实现逐一对得上，且 CPU 验收（130 项，host 环境）覆盖的是这些文件。

抽象与信息隐藏评估

（按 module/interface/depth/seam 词汇）

• RequestGate 是深 module：接口 5 个异步操作 + 1 个 snapshot，隐藏了租约字典、epoch 校验、poison 传播全部复杂度；SettlementReceipt 是不可变值对象。leverage/locality 好，测试通过接口完成。这是本次最好的抽象。
• SessionAffinityRouter 同为深 module：acquire/set_backend/retire_sessions/replace_backends/handle/start/stop 背后隐藏 inflight/assigned 计数、tombstone、流式转发与“绝不重放 POST”的语义。SessionAffinityService 是独立事件循环 adapter，seam 清晰（proxy_manager 通过 invoke 调用，可替换）。
• AgentTurnPausePolicy / DrainPendingPausePolicy 构成一个真实 seam（两个 adapter：原生 drain 策略与 turn-resume 策略），DisaggProduceStrategy.configure_turn_resume 以“不支持的策略在构造期拒绝”保护启用路径 —— 多态消分叉做得对（满足新增功能守则 R3）。
• ColocateKeepaliveManager 偏浅：__getattr__ 透传 + 4 个具名方法转发（produce_batch/save/resume/prepare_initial_sync/publish_initial_version），接口几乎等于实现。但它确实是“第二个 adapter + 线程所有权”的薄壳，删除它会把线程所有权逻辑散回 trainer —— deletion test 勉强通过。可接受，见“单测建议”S4。
• 瑕疵（低风险，既有）：AgentLoopManager.produce_batch 的 keepalive 分支直接伸手 task.produce_strategy._pending_tasks（私有字段），且 ColocateKeepaliveManager cleanup 也遍历 _pending_tasks —— 生产策略的内部结构泄漏到 manager 层（违背 R2）。T4 主题内一致，非本轮新增。

新增功能守则

对既有类的接触点核查（T2–T7 相对既有类）：

• AgentInSandboxLoop（既有类）：新增 3 个构造参数 + generate_sample finally 中 1 次具名调用（retire_route_sessions）+ _build_rollout_states 内 require_turn_provenance 分支（约 25 行实现细节：versions 长度校验、request_ids 匹配、trace 校验）。R1 满足（≤1 字段级接触 + 1-2 次调用），R2/R3 部分违反：_build_rollout_states 内的 provenance 校验块把字段名（token_model_steps/request_ids/routed_experts）与 trace 语义写进了既有类。伪代码改进（后续可选，非本轮）：

  # 下沉到新增的 provenance 校验器，既有类只留一次调用
  if self.require_turn_provenance:
      segment_state = self._turn_provenance.attach(segment_state, data, item, rollout_state)

• RolloutController：新增 5 个公开方法 + 2 个字段，既有方法仅 3 处小改（pause_generation 的 barrier 抛错、continue_generation 的条件 resume、shutdown finally 关 proxy）。R1/R3 满足。
• SessionServer：构造参数 +2、_handle_request 前置 gate 分支、_forward_request 加 lease 参数与 3 处小挂钩、_on_response_worker（新 _xt_request_id 终态校验）。既有流程未按新特性分叉成两套 —— 租约为 None 时行为不变，R3 满足。
• AsyncProduceStrategy：_local_pending_tasks set → _PendingTasks 是行为中性重构（普通路径语义不变，retain_live_tasks=False 默认），接触点合理。
• RolloutProxyManager：affinity 分支 3 处 if/else（replace_registered_session_urls/on_worker_group_inactive/on_worker_group_active）轻微违反 R3（null object 可用“无 affinity 时直连注册”的 no-op adapter 消掉）；低风险，既有设计。

公开接口的线性业务流程评估

• RequestGate.request/seal/drain/install_version/reopen 每个方法都是单抽象层级的线性流程，无转发 wrapper；drain 的“等待→超时置失败→抛错”集中一处，locality 好。
• RolloutController.prepare_pause/resume_requests：prepare_pause = freeze→取 entrypoints→建 barrier→seal→drain，线性；resume_requests 用内部 wait_all 闭包消除 deadline 重复，符合 Composed Method；失败路径统一 raise，无静默吞错。
• SessionServer._forward_request 仍是长方法（base 已如此），本轮在其上叠加租约/计时/结算约 60 行，进一步拉长 —— 属既有债务加重而非新债；建议（后续）把“租约结算块”抽为 _settle_lease(lease, ...) 私有方法，可隐藏真实规则、提高 locality。
• AgentLoopManager.produce_batch 的 keepalive 分支插入了 quiesce 内联闭包 finish_live_tasks（25 行），使该方法从“线性叙述”变成双路径 —— 建议（后续）抽 _finish_live_tasks_for_quiesce(...)，与 deletion test 一致（删除后复杂度集中在 manager 一处）。

单测建议

现有测试已较完整（上表）。补充建议（均为静态推断，优先级低）：

• S1（对应 O2）：若保留 requires-python>=3.10，加 sys.version_info<(3,11) 的兼容层或把声明抬到 >=3.11；最小测试 = import request_gate 后在 3.10 环境构造 RequestGate。
• S2（对应 O5）：_drop_failed_train_samples 在 valid 样本缺少 agent_session_id 且 min_valid_attempts=2 时的组命运（当前会按 1 个独立尝试整组 FILTERED）。
• S3（对应 O4）：长会话下 affinity retired tombstone 集合只增不减的容量行为（max_sessions 触顶 503）。
• S4（对应抽象评估）：为“manager 不碰 _pending_tasks 私有字段”加一个 seam 级测试，倒逼 strategy 暴露 quiesce(ctx)/claim_ready 公开接口。
• S5：RLColocateTrainer.fit cleanup 失败 + 原始异常并存时 cleanup 异常被吞的断言（当前无测试覆盖该组合）。

其他 issues

O1（低，静态确认，本轮拆分新增）：recorded-run/ACCEPTANCE.json 的 replay.full_restore_verified=false 与同文件 restore.passed=true/full_trainer_cold_restore=true 及顶层 QUICK_GPU_ACCEPTANCE.full_Trainer_cold_restore=true 措辞冲突。实际冷恢复证据在 restore 段（optimizer_step=2、管理器状态、恢复后真实 HTTP 响应）。建议把 replay 段该字段改名为 not_applicable_to_replay_phase 或统一口径，避免读者误读为“恢复未验证”。

O2（中，静态确认，原 2257 带入）：Python 版本声明不匹配。pyproject.toml requires-python = ">=3.10"，但 merged 树新增 3 处 asyncio.timeout（仅 3.11+）：request_gate.py:61,94、disagg_agent_loop_manager.py:309（base 全仓零使用，已用 git grep 于 base 确认）。实测环境为 Python 3.12（已核对解释器版本），故未暴露；3.10 用户启用 turn-resume 即 AttributeError。建议抬声明或加 async_timeout 兼容。非本轮回归，不在拆分中修符合口径。

O3（低，静态确认，原 2257 带入）：异卡 _fit finally（rl_trainer.py:2092-2098）由 await producer_task 改为 cancel + agent_loop_manager.close()，影响所有异卡运行（非仅 debug/turn-resume）：普通路径 producer 若仍在批中会被即刻取消而非自然收尾；close() 抛错会掩盖原始异常。T6 主题内行为，建议后续给普通路径保留 graceful 收尾分支。

O4（低，静态确认，原 2257 带入）：request-aware 的 routed_experts Ray 引用全链路无显式 free（rl_data.reset_response 跳过、free_rollout_state_refs 置 None 不 free、Trie.release 跳过 request-aware 段），依赖 Ray 分布式 GC 惰性回收。短程无感，长程 turn-resume 训练有 object-store 压力风险。建议后续在 trace 退休链路补一次 owner 明确的 free。

O5（低，静态确认，原 2257 带入）：min_valid_attempts 以 distinct agent_session_id 计独立尝试；valid 样本缺该字段时全部归一为 None 只算 1 个，min_valid_attempts=2 会把本可训练的组整组 FILTERED。配置校验未把它与 require_turn_provenance 绑定。recipe 当前显式用 =2 且 provenance 开启，短期不触发；建议文档注明或校验联动。

O6（低，静态确认，原 2257 带入）：produce_utils.BaseProduceContext.generate_group 全局（非 opt-in）给每个生成样本写 extra_fields["new_response_tokens"]，改变 produced-token 记账口径且该内部键会随 extra_fields 进 replay/checkpoint/debug pt。有单测锁定新口径（test_complete_provenance_does_not_erase_generated_token_count），属设计选择；建议键名加 _ 前缀并文档化。

O7（信息，静态确认）：agent_turn_lifecycle.md 明确声明多 entrypoint reopen 非原子、partial RPC 可能留开着的 gate、license/来源（matrix72c/sandbox_rl 参照、Lagent #385 依赖、#2289 不包含）——披露充分，与代码行为一致；维护者需按文档处理来源许可。

O8（信息，静态确认）：T2-trace 与 #2252 的 Trie 遍历重叠按“标记重叠、不换实现”处理；Trie.keys/release 的迭代化改写确在 2257 主体内（已读 merged trace_store.py 232-240 行确认无递归），与 #2252 目的重叠但引用语义不同（request-aware 跳过 free），整文件互换会改变 R3 所有权 —— 计划的处理成立。

O9（验证边界汇总，静态确认 + 推断）：可支撑——机械相等（我独立复核）、叠加 #2292 组合上 2 次真实 optimizer 更新/冻结 MTP 全量哈希不变/IPC 同步/版本 0→1→2/affinity 绑定/受控任务跨更新续跑/完整 DCP 冷恢复后真实 HTTP；runner（quick_gpu/gpu_jobs/config.py 等）走原生 build_config 校验器并断言 keepalive/冻结/closed gate，fixture PT 未改字段（GPU_PT_COMPATIBILITY_V3.unchanged_fields + sha256）。不可支撑/未覆盖——自然 CyberGym 工具评分路径、恢复后第三次更新、optimizer moments 逐元素审计、64 卡长程、多 DP entrypoint 下的 partial-reopen 故障注入、Python 3.10、每主题 commit 独立运行。这些已在 REPORT/ACCEPTANCE 中如实标注，本审阅认可其边界表述。

---

审阅执行说明：全程只读（git show/diff/cat-file、源码阅读、JSON 证据读取），唯一写入为本报告。未运行项目代码（依原文第 6 条），未改任何 git refs/index，未 push/评论/merge，未操作 RJob/SSH/权重。中间产物（prompt 快照、SCOPE、diff、日志、metadata）按要求全部保留，未做清理。