LOCAL_TRAIN / PRODUCTION ENGINEERING E2 生产中

数据生产卡点与提效进展

双机各两个 worker 已投入运行。首条真实求解与独立判分已完成,后续按最多 8 个来源的小批次继续生产。

维护日期 2026-11-02 18:59(北京时间)· 新窗口已结算 5 次调用 / 3,535 输出 token / 0 条入库 · 下方历史基线仍截至 11-02 10:46

新增有效来源 / 小时2.1436 条 / 16.82 小时,排除 seed
新增有效监督 token / 小时6,499109,340 tokens / 同一窗口
两 solver 槽同时空闲49.8%8.384 小时,非 GPU 利用率
P2 / P3 前缀截止21 / 24新增学生监督仅占 2.20%

01 · 时间与产出损耗发生在哪里

窗口:2026-11-01 09:56:58Z 至 11-02 02:46:28Z;事件截止 1421。暂停后的时间不计入速度。

从触达到入库

113 条在模型调用前阻断。156 次启动中,154 条有结果,另有 jupyter 旧中断和 puremagic 未知终态。有效判分 115 条中,47 条拒绝;67 条通过 judge / probe / alignment 后,31 条在完整语义审查后隔离。

各阶段耗时

单位:秒

准备占用车道执行会话的串行时间。各阶段跨任务重叠,不能将这些分位数相加为墙钟。Judge 与 alignment 的常见时延较短。

执行组织仍有大量空隙

同空闲 49.8%单槽 46.4%
双槽占用 3.8%累计槽占用率 26.98%

Lane B 在最后 10.55 小时没有新启动,仍有 1,129 条 pending。原因未确定,不能归因于 OOM 或驱动死亡。常驻调度、阶段状态与超时可见性针对这一运维缺口。

学生数据供给不足

组尝试prefix 截止完成入库 / tokens
P212921 / 2,408
P3121200 / 0

P2 另有 1 条预算耗尽。新策略可按有效监督产出选择 P2/P3,并保留有限探索;它不修复 15K prefix 上限,也不改变自然接管规则。修改协议需要新 run。

02 · 当前多机业务接线

阶段由持久 SQLite 控制器接续;Windows 保留执行和发布权威,Mac 接收经过筛选并绑定 hash 的审查材料。

01 / AGENT公开任务预筛Windows · prepare原资格门与真实收据
02 / COMMAND单次模型求解Windows · solve原 start / 预算 / 槽位
03 / COMMAND判分与对齐Windows · postprocess正常负向可提前关闭
04 / COMMAND准备安全审查包Windows · prepare-review精确领取同一来源
05 / AGENT逐决策语义审查Mac · review返回 review + turn 证据
06 / COMMAND原准入门回写Windows · finalize-reviewrelease → SQLite → Arrow
两个准备作业已实际并行

每 lane 最多 1 条准备、全局资格数受限;双机均为 max_jobs=2,并各运行两个独立 worker。是否启动仍由实时余量和未释放预留决定。

断连与重启不重跑已开始任务

先落盘 intent,再派发;固定幂等键。执行不明则停止派发并留待对账,不能用新会话重复付费。

两道暂停门继续生效

E2 halted 或框架 paused 都禁止新生产作业启动。Agent 完成只说明传输闭环,原独立准入才决定 admitted。

机械层此前已通过双机探针;本轮增加池转换、产物传递和发布回写。新业务流的生产作业仍为 0,不能把测试通过称为生产加速。

03 · 持续维护的卡点台账

固定编号,不因改名或状态变化重建条目。展开查看事实、实现和下一步验收。

04 · 已验证到哪一层

层次证据与范围结论
队列与调度预领、全局准备容量、独占 owner、幂等提交、重启、暂停、负向阻断、超时状态隔离 CPU 测试通过
六阶段传输真实本地 HTTP coordinator、worker 子进程、artifact 上传 / 下载 / SHA 校验;模型与业务结果为合成样本链路通过,不代表真实模型通过
独立审查导入原 packet / 源 hash、精确 Lody session / user turn、机器与角色绑定、完整审查 flags错误身份与不完整结果被拒绝
发布加载既有正向测试:合成非空监督 → release → 隔离 SQLite → 真实 CPU Arrow;复用已安装 datasets原发布门仍可用
B07 阶段资源观测资源 5 项、worker 46 项、控制器 30 项定向测试通过;双机实机 CPU 采样通过。真实 P1 求解 / 后处理的 Windows 进程树采样峰值为 285.76 / 370.52 MiB,耗时 118.36 / 15.81 秒已有单来源实测;不外推全部任务
真实生产首条jsonrpcclient:1 次正常尝试、5 次教师调用、3,535 输出 token。独立 judge 正常执行且 fresh_before / cleanup 核验通过;alignment 与公开 probe 通过,官方判分未通过按原负向门隔离,0 条入库;不重采样
准备基础设施错误pyOpenSSL:editable .pth 指向已移除的旧源码,OpenSSL 导入失败。保留基础设施分类、清理及 0 模型调用证据,隔离该来源后恢复其他已合格来源候选修复 7525f6b,7 项 CPU 测试通过;待真实容器与新 P0 验证
当前资源配置Windows floor 1 GiB、Mac 512 MiB;每节点 2 worker / 2 作业。准备、求解、后处理、发布各预留 2 GiB,审查 1.5 GiB,审查打包 1 GiB。容器原上限、模型与 token 协议保持不变按用户授权调整;当前批次上限 8 个来源
生产收益与训练收益生产已恢复,后续来源正在准备;当前已结算来源尚无新增有效监督。未启动训练尚无吞吐增益或训练收益结论

首轮准备期间 Windows 可用内存低水位为 2,947 MiB;采集到的容器 OOM 计数为 0。求解阶段 25 次资源探测合计约 610 ms。RSS 可能重复计入共享页或漏过短进程;Windows 余量、WSL 工作集与容器 cgroup 有重叠,不相加。已测到真实 Docker 阶段,Mac 真实语义审查与正向发布仍待来源进入对应阶段。

证据入口:本轮工程验收与历史口径 · 原多机框架验收。原始生产账本、审查材料和私有 judge 留在本地,不随本页发布。

计数口径与已纠正的结论
  • 新增 36 条 / 109,340 tokens;seed 16 条 / 74,104 tokens;总计 52 条 / 183,444 tokens。速度只使用新增量。
  • 31 条语义隔离:26 条有 core 索引但遮罩 / 长度后无存留 core;5 条空 core 且有明确隔离原因。不能把它们称作免费可挽回池,也不能将 26 / 5 直接标成结构性 / 语义性损失。
  • 155 条登记用量来自 154 条结果加 jupyter 旧中断;puremagic 仅 7 次捕获,用量字段 NULL,不混入已结算数。
  • 9 条 completed 因 fresh_before 未核实属于 infra-invalid。单个合成 metadata 复现不能证明这 9 条的历史原因。
  • 剩余 2,152 条候选需贡献 1,948 条来源才能到 2,000 总目标,要求转化率 90.5%;这是算术约束,不是无偏预测或绝对不可达证明。
  • 不同 tokenizer 的 API 输入 token 与监督 token 不直接比较;槽占用率不解释为 GPU 利用率。

05 · 维护与下一次验收

同一份台账持续更新

每次触及相关卡点,更新对应 B 编号的状态、证据和剩余工作;保留历史基线,不用新 run 覆盖旧分母。

只有真实生产收据支持时,才把“已实现待生产验证”改为“生产验证完成”。更新时同步文件名日期、README 入口与 Cloudflare 页面;不启动周期性生产任务。

下一次生产窗口应测量

每 lane 启动间隔、双槽同空闲比例、每小时有效监督 token、零调用预筛时间、prefix cutoff、判分 infra-invalid、节点可用内存与 OOM、每来源付费输出成本。

控制器入口

python storage/e2_pipeline.py --config PIPELINE.json dry-run
python storage/e2_pipeline.py --config PIPELINE.json status
python storage/orchestration_manage.py start-pipeline \
  --config PIPELINE.json --runtime-dir RUNTIME

当前有界生产配置位于 eval/work/e2-real-acceptance-20261102/pipeline.json,批次总上限为 8 个来源(包括已结束的 2 个);双机各两个独立 worker。达到上限或出现未对账的基础设施错误时停止新派发。

start-pipeline 不解除 E2 / 框架暂停。运行前仍需满足节点内存、既有 student / renderer 服务和冻结执行收据条件。

模板:当前调度模板 · 双机资源配置 · 阶段适配配置 · 未来学生分配策略