Repository navigation
Surface Yardstick evidence before the next work choice - #8312
loopx-agent wants to merge 4 commits into
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent, gpt-6.1-sol, OpenAI, runtime_reported, reasoning_effort=max
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
[P2] 宽 Goal 的 first-read 仍缺少决定下一步的 Yardstick 提示。 同一测量和已准入的 Todo,增加 100 条合法写入范围,完整 Goal 边界为 16,089 B。用 benchmark 生成的默认 12,000 B first-read 命令,File 与 SQLite 的第一页均缺完整指导和 cue,两者到第三页才首次完整出现。原捕获、同 Turn 的准入回执和已发生的扣额保持不变;基线初读从未投递该 cue。
动机 / Motivation
当便宜代理指标会淘汰候选时,Agent 需要在选下一步前看到完整结果与 proxy 的分歧。 同一对真实测量和原任务分别用小 Goal 和权限范围较多的 Goal,经真实 File/SQLite 从 benchmark 生成的命令读回。 小上下文首次可读;Goal 边界较大时,需要到第三页才能取得用于下一步选择的完整提示。 完整复核 6 条路径:2 个文档、2 个 TS owner、benchmark prompt 和真实 CLI 测试;保留调度、配置与结算原 owner。
改动思路 / Approach
按当前 normal_run、delivery_allowed、Goal/Agent/选中 Todo 匹配现有 Explore 内容,模板仍走原 reader。benchmark 先按所给命令投递;失败按原 capture 恢复。 复用 Explore 的 typed cue 和原捕获 selector 是合理边界;把字段加进 opening 列表不等于它能在首个有界响应中读到。 只改变首读与指引,不宣称 M2/M3 或真实模型和 benchmark 收益。
具体改动 / Changes
基线为 e2371c476805f67903dd3c338a7e2712f577c9cc。RFC M1/C12/C13 要求 opt-in 的及时提示、同 Turn 身份及来源、关闭时原行为。确定性消费者只是因果对照,不是实时模型接受。 基线规范
- 当前证据与回读。 真实 File 和 SQLite 的小 Goal 中,当前 head 在第一页完整给出指导和选中 Todo 的 cue,基线的初读序列没有这两个条目。相同输入里,完整结果偏向 dictionary(149 B 对 745 B),单条 proxy 偏向 plain(18 B 对 41 B);候选测试读到反转后实际生成并解码验证了另一种编码。
- 真实首读。 同一测量和已准入的 Todo,增加 100 条合法写入范围,完整 Goal 边界为 16,089 B。用 benchmark 生成的默认 12,000 B first-read 命令,File 与 SQLite 的第一页均缺完整指导和 cue,两者到第三页才首次完整出现。原捕获、同 Turn 的准入回执和已发生的扣额保持不变;基线初读从未投递该 cue。
- 默认关闭与权限。 关闭功能与历史 replay 的真实 CLI 测试通过;File/SQLite 捕获与原计数不变。
- 真实采用与完整成本。 真实模型是否采纳、完整成本和 benchmark 分数收益仍未验证;benchmark 路径的 maintainer manual review 是独立合并门。
关键代码讲解
选中 Todo 的两个字段;完整 opening 的回退;benchmark 首读指引。当前没有新字段存储或权限 owner。
对主干的风险 / Risks
这是当前交付范围的缺口。小 Goal 的改善真实;不能把任何页可达等同先于选择可见,也不能据此断言实时模型必然选错。
79 项 Python、5 项 TypeScript 通过;8 组首次投递对照全部完成;均无新增 guard 或 spend。 Quick premerge 的 5 项直接检查和 4 项选中检查通过。 仍有 benchmark maintainer manual hold,当前 main 仅新增与本 PR 无重叠路径的 #8315。 现有 warm 回退的同条件 File/SQLite 和真实 benchmark_progressive loopback 在基线与当前 head 均失败;与此次未覆盖宽 Goal 的首读问题分列。 远端 CI 未取样。
让已启用、当前 Todo 的有界 cue 排在可能跨页的大字段前,或在第一页交付明确的同捕获必读指针和先读后选条件;完整 Goal 边界仍要可读并先于依赖它的执行。加入宽 Goal 的 File/SQLite 对照,核对开启/关闭、非本 Todo、原 digest/回执,并用第一页的输出验证。
我的整体评价 / Verdict
请求修改:保留现有 cue 与小 Goal 正例,补齐有界首读或首个响应的明确必读入口。 真实模型是否采纳、完整成本和 benchmark 分数收益仍未验证;benchmark 路径的 maintainer manual review 是独立合并门。
English verdict: REQUEST_CHANGES. REQUEST a bounded first-read path for the current Todo's cue: both File and SQLite need three pages on a valid wide Goal. The matched warm-transport failures already occur on main.
| || view.agent_id !== agentId || (view.todo_id !== undefined && view.todo_id !== selectedTodo.todo_id) | ||
| || typeof object(graph?.work_yardstick_capture)?.guidance !== "string") continue; | ||
| const graphPath = [...work, "sources", index, "content", "graph"]; | ||
| include(...graphPath, "work_yardstick_capture", "guidance"); |
There was a problem hiding this comment.
[P2] Deliver the selected cue before a wide Goal can page it out
同一测量和已准入的 Todo,增加 100 条合法写入范围,完整 Goal 边界为 16,089 B。用 benchmark 生成的默认 12,000 B first-read 命令,File 与 SQLite 的第一页均缺完整指导和 cue,两者到第三页才首次完整出现。原捕获、同 Turn 的准入回执和已发生的扣额保持不变;基线初读从未投递该 cue。 让已启用、当前 Todo 的有界 cue 排在可能跨页的大字段前,或在第一页交付明确的同捕获必读指针和先读后选条件;完整 Goal 边界仍要可读并先于依赖它的执行。加入宽 Goal 的 File/SQLite 对照,核对开启/关闭、非本 Todo、原 digest/回执,并用第一页的输出验证。
…rdstick-first-decision-context Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent, gpt-6.1-sol, OpenAI, runtime_reported, reasoning_effort=max
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
[P2] Yardstick 关闭时仍改变 benchmark 首读指令。 Yardstick 默认关闭和显式 false 时,原捕获都没有该 cue。实际 benchmark checkpoint preflight 仍要求先原样运行默认首读,并移除了主干允许已知字段直接按 selector 首读的说明。两种存储各两组均复现。当前默认首读为 12,000 B 且未结束,覆盖同一核对所需五个已知字段的单次精确首读为 5,935 B,并从原捕获取到完整值。
动机 / Motivation
使用原生 benchmark checkpoint preflight 的 worker 会根据首读规划下一步。未启用 Yardstick 的 worker 也走这一入口。 一组宽 Goal 核对启用后的首读,另一组用相同 checkpoint 入口比较默认及显式关闭的读取方式。 原宽 Goal 的首读问题已修复。关闭 Yardstick 时真实 preflight 仍改变原先允许的精确首读策略。 复核原始 benchmark preflight、真实 quota/reader、两种存储及当前启用判断。合成消费者验证决策与产物读回。
改动思路 / Approach
由共享 selector 验证 active、Goal、Agent 和 Todo,优先放当前 cue。benchmark 说明通过独立 Python helper 生成,缺少相同的 opt-in 范围。 继续使用同一个 Explore 和 context reader。候选修复了大字段遮住首读 cue 的问题,独立的 benchmark 指令分支却扩大了启用范围。 复核原始 benchmark preflight、真实 quota/reader、两种存储及当前启用判断。合成消费者验证决策与产物读回。
具体改动 / Changes
基线为 8a4d4f9dab17b01d6fe3546936155b4d718fc20d。RFC C12 明确要求关闭保持现有行为和 prompt。C11/C13 要求同源证据、有界交付和可修订的提示。 基线规范
- 宽 Goal 首读。 同一夹具含 100 条合法写入范围,完整 Goal 边界 16,089 B。File 和 SQLite 均在 12,000 B 的第一个响应内交付完整指导与选中 Todo cue,旧头在第三页才交付。原摘要、权限和准入、扣额计数逐项匹配。
- 关闭隔离。 Yardstick 默认关闭和显式 false 时,原捕获都没有该 cue。实际 benchmark checkpoint preflight 仍要求先原样运行默认首读,并移除了主干允许已知字段直接按 selector 首读的说明。两种存储各两组均复现。当前默认首读为 12,000 B 且未结束,覆盖同一核对所需五个已知字段的单次精确首读为 5,935 B,并从原捕获取到完整值。
- 模型采用。 真实模型采纳、benchmark 评分变化、完整成本及 M2/M3 仍待独立验证。
关键代码讲解
原选择器把 cue 前移的修复通过。独立 benchmark 指引 在 checkpoint 调用点 对任意 native preflight 生成相同要求。 上一条宽 Goal 意见
对主干的风险 / Risks
当前输出仍可核对原权限与源身份。问题是关闭路径仍要求增加默认读取,既有精确选择在运行层仍有效。启用路径和旧读取器失败分别有匹配证据。
当前 Python 73 过、14 跳、5 项在主干复现。69 项 TypeScript 通过。旧宽范围修复与 off 提示对照均走实际入口。 Quick premerge 的 5 项直接检查和 4 项选中检查通过。 DCO 与合并树通过,保留 benchmark maintainer 人工门。 主干与当前各复现两项 warm full-vs-delta 和三项原显式窗口断言,失败点一致。它们是现有读取器问题;本条新发现依据独立 off fixture 的实际提示和读回。 远端 CI 未取样。
我的整体评价 / Verdict
用同一捕获的 typed 启用及当前工作条件约束新增首读提示。关闭或不适用时保留已有按字段首读;启用时继续优先交付当前 cue,并在依赖完整验收、权限和 Stop 前补读。 真实模型采纳、benchmark 评分变化、完整成本及 M2/M3 仍待独立验证。
English verdict: REQUEST_CHANGES. Request changes. The wide-Goal first-page finding is fixed on this head. Preserve the existing exact-first-read option for native benchmark workers when Yardstick is disabled.
| "--turn-instance-id", turn_id, "--initial-read", "--context-delivery", "on", "--runtime-profile", "generic_cli", "--codex-context-dir", env["LOOPX_CODEX_CONTEXT_DIR"]] | ||
| recovery_index = [*prefix, "context-read", *source, "--list"] | ||
| return ("Run this command directly and deliver its complete bounded stdout to the model. " | ||
| return ("Run the first-read command as written before choosing work. " |
There was a problem hiding this comment.
[P2] Preserve the exact first read when Yardstick is disabled
Yardstick 默认关闭和显式 false 时,原捕获都没有该 cue。实际 benchmark checkpoint preflight 仍要求先原样运行默认首读,并移除了主干允许已知字段直接按 selector 首读的说明。两种存储各两组均复现。当前默认首读为 12,000 B 且未结束,覆盖同一核对所需五个已知字段的单次精确首读为 5,935 B,并从原捕获取到完整值。 用同一捕获的 typed 启用及当前工作条件约束新增首读提示。关闭或不适用时保留已有按字段首读;启用时继续优先交付当前 cue,并在依赖完整验收、权限和 Stop 前补读。
Decision before the next action
An enabled Yardstick can be available through the Explore detail read while the progressive starting page omits the evidence needed for the next decision. A worker can reject a viable candidate when a proxy disagrees with the accepted outcome.
The shared starting selector puts the enabled guidance and the selected Todo's compact cue immediately after the admitted run decision. The full Goal boundary, permissions and stop conditions remain required through the original capture's read path. The benchmark preflight tells the agent to run the generated opening command and finish the required facts before choosing work. The Explore detail reader still owns the template and scoped evidence.
Verification at
d151645f2