数据生产卡点与提效进展 · 吞吐诊断
当前链路已停止派发,新增生产尚未接上。旧四来源窗口已结束,最近时间主要花在工程修复与依赖恢复;下一步应收束工程交付,明确一次真实环境验收及新的有界试生产窗口。
当前先解决“没有在生产”
| 核对项 | 本次证据 | 判断 |
|---|---|---|
| 派发与窗口 | 原批次 01:40:39 结束;campaign=halted,4 来源为 2 准入、1 阻断、1 隔离,pending=0、active jobs=0。原截止 02:31:17 已过。 | 没有可直接续跑的旧任务。45/240 请求的账面余额不等于新增来源授权。 |
| 工程交付 | 02:29 汇总修复、02:46 共享服务恢复、03:39 Flake8 工程验收;这些收据均无新增生产。Flake8 的 36 项 CPU 测试为 35 通过、1 跳过,测试用时 0.822 秒。 | 半小时级工程回合不是测试执行耗时。编码、推理、等待与收尾的内部占比仍缺测量,不能都归为模型慢或排队。 |
| 下一道验收 | Flake8 收据明确 ACCEPT_ENGINEERING_PATCH_ONLY;实际安装、隔离门、默认导入与公开 probe 仍缺实容器验证,且 new_production_window_opened=false。 | 需新准备冻结和一次有界环境验收,再明确新试生产的来源、时间与调用上限。旧失败不重放;不把所有历史修复都串成正常来源的前置条件。 |
| 资源与服务 | 03:40 宿主可用内存 7,654 MiB、CPU 快照 29%;两个共享服务健康均 200;指定本机生产入口进程 0。03:01、03:30 监督记录同样未确认可清理残留。 | 没有当前内存卡住生产的证据。本机进程快照与上述账本相互印证,不外推为所有机器均无任务。 |
最近已验证库存仍为 96 来源、1,190 行、477,235 有效 token;最近一批 10,901.50 token/h 是历史完整产率,不能表述为现在正在生成的速度。03:03 派发的 Flake8 工程操作在 03:33 返回 TARGET_TIMEOUT,说明等待回传超期,不能据此判执行停止或失败;应按已有收据与原回合对账,不重派同一修复。
建议顺序:交付当前工程补丁与已有测试结果 → 明确一次实容器资格验收的范围 → 建立新有界试生产窗口并计完整墙钟。自动汇总已能在约 0.14 秒内读取结果,逐批 Agent 汇报不再是必需阶段;此时继续优化亚秒派发或清理未经确认的空闲进程,不能补出可运行的新批次。
此前本会话误停共享服务增加了恢复工作,02:46 的恢复收据已闭环;不把该清理计为已证实的提速。当前结论依据只读账本、工程收据与资源快照;未新开生产。详细本地证据:storage/audits/e2-throughput-diagnosis-20261104/current-status.json。
历史五批对照:产出变化与等待分开看
完整耗时=验收收据的结束时间−开始时间;有效产率=Σ verified_releases[].effective_tokens × 3600 ÷ 完整耗时;求解槽利用率=Σ solve.execution_seconds ÷ (2 × 完整耗时)。阶段耗时互相重叠,不能相加当墙钟,槽利用率也不是 GPU 利用率。
恢复四题的 74,255 token/小时仅计恢复窗口。同一份 20,161 token 从原六题选题起算,完整链路为 13,900 token/小时,不能把恢复窗口当作从零生产速度。恢复四题与 stability b01、b02 均为 11-03 基线;只有 GLM medium、high 是 11-04 批次。
单系列条形长度表示数值;可悬浮或用 Tab 聚焦查看明细。切换指标不改变批次顺序,下表保留全部数值。
| 批次 | 来源上限 / 准入 | 正式请求 | 有效 token | 每准入来源 | 完整耗时 | 有效 token/h | 求解槽利用率 |
|---|---|---|---|---|---|---|---|
| 恢复四题 | 4 / 4 | 44 | 20,161 | 5,040 | 977 秒 | 74,255 | 16.28% |
| stability b01 | 6 / 3 | 41 | 8,019 | 2,673 | 876 秒 | 32,965 | 13.22% |
| stability b02 | 6 / 2 | 26 | 5,522 | 2,761 | 1,994 秒 | 9,969 | 20.42% |
| GLM medium | 6 / 2 | 28 | 5,882 | 2,941 | 1,996 秒 | 10,609 | 5.72% |
| GLM high | 4 / 2 | 45 | 8,461 | 4,231 | 2,794 秒 | 10,901 | 6.89% |
b01 比恢复四题少耗 101.7 秒,但有效 token 少 60.2%,主要是产出减少。medium→high 完整产率升 2.76%,且 high 的 84.6% 有效 token 来自单一来源,不能据此判断模型优劣或稳定提速。来源、窗口与部分策略不同,这五批不是受控对照,也并非每批都更换策略。
三项主要损耗,按优先级处理
启动、工程与恢复占用完整墙钟
证据:GLM high 完整 2,794 秒,其中首个执行作业创建前 1,959.8 秒,占 70.1%;首个创建到最后一个作业结束仅 402 秒。工程实现跨度 1,138.9 秒、公开 probe review 跨度 946.7 秒,二者可重叠。medium 一次准入失败到重新提交同一来源间隔 613.1 秒。
动作:在下一获授权的对照窗口固定 producer、教师策略、预算与准备脚本,连续两批只更换来源;分别记录选题→冻结选择、冻结→首个执行作业、环境就绪→批准、批准→finish 提交。批准可与镜像拉取并行,资格硬门不变。
验收看启动段是否可复算、批准等待是否减少。准备驱动的
ready_to_finish_submit_seconds从环境、批准等条件全部就绪才计时,不含等待批准;不能用约 1 秒的提交延迟代表全部准备成本。控制面遍历历史收据的成本尚未证明是主瓶颈,先测 tick 时长。超时与质量失败消耗求解和请求
证据:旧 stability b02 两个来源各求解约 320.5 / 325.6 秒后记录
pi-ai stream idle timeout after 300000ms,合计占该批求解执行时间 79.36%。high 的质量失败来源消耗 18/45=40% 正式请求,贡献 0 有效 token。动作:后续
budget_proxy已有传输修复,GLM medium 报告未再次出现该超时;下一步验证修复后的稳定性、终态记录与既有对账恢复是否闭环,保留 infra-invalid 与质量失败分类。不能把旧超时继续写成尚未修补,也不能以增加超时或请求预算替代终态诊断。验收看真实超时是否复发、失败是否有完整执行与用量收据、恢复是否沿原身份续接。质量失败仍可能零产出,不设“同源必有产出”或无依据的转化率保证。正常失败与网络观测异常分开处理,不笼统要求所有失败都继续派发。
局部后处理排队,需要补齐归因证据
证据:b02 一个 postprocess 排队 586.1 秒,两项合计 603.8 秒,实际执行仅 51.1 秒。该批最大 ready→submit 为 83.2 秒,其余四批最大仅 0.92–1.01 秒;提交响应不是普遍的首要瓶颈。
动作:先补齐对应资源门、可用内存和暂停区间,再决定是否在现有执行容量内让 finish、后处理、准入优先于新准备;不增加求解数。
Coordinator.claim统一计入max_jobs并按created,id领取,内存门为free_mb = available_mb − Σ未释放作业 − floor,这些是候选机制,尚不能证明 586 秒全由共享槽造成。验收要求逐段解释排队与暂停,若调整优先级,验证轻量阶段等待减少且求解不新增饥饿。五批求解槽利用率仅 5.72%–20.42%,本诊断没有扩槽依据;这也不能替代对具体资源门的核验。
当前自动准入约定
prepare → solve → postprocess → automatic-admission;异步抽检走独立队列。五批均记录 semantic_review_of_all_decisions=false,逐题 Agent Review 不是这组记录的串行阻塞点。
来源、家族与近重复隔离、公开 probe、真实执行、独立官方判分、去重、token 对齐、角色与 loss mask 硬门继续保留。输入、工具观察与 P2 学生前缀不监督;监督边界不确定则待处理。抽检缺席或超时不阻塞其他正常来源自动发布;未抽检不写成已语义审查,确认问题沿原撤销入口保留更正链。
批次身份须冻结并匹配:来源、producer 源码、教师与学生策略、预算、配置及准入策略等变化,均按既有绑定规则判断是否使原 P0 失效;需要时取得新冻结身份和 P0 收据。e2_queue.start 会复用 campaign 的冻结 acceptance 执行 --validate-only,不是每来源重做 P0;也不能把“只有源码变化才需 P0”当通用规则。
旧批次按原协议与原收据解释。正式执行使用当前请求授权和显式来源、时间上限;本页不提供默认生产命令或恢复授权,不改变暂停状态。工程通过、真实准入与训练收益分别取证。
证据口径与追溯
本页保留五批收据的诊断数字,不更新库存、不新增实测、不重跑生产。完整墙钟包含所选窗口内的准备、工程修复、等待和收尾;工程调用单列,不计有效监督产出。恢复窗口与原六题完整链路的差异必须保留,阶段累计时间不冒充墙钟。
本地收据、版本与验证边界
- 诊断:
storage/audits/e2-throughput-diagnosis-20261104/diagnosis.json。这是仓库相对的本地证据路径,未作为站点链接发布;原始轨迹、私有 judge 与生产账本留在本地。 - 浏览器与发布收据:同目录
browser-validation.json、site-publication.json。旧收据绑定旧版产物;本次清洗后的浏览器与线上一致性须由对应的新验证结果证明,不能沿用旧 hash 宣称完成。 - 诊断代码快照:生产 HEAD
8e87867;文档分支基线036a04b。清洗前完整台账可从文档提交3ca55ce中的同名 HTML 追溯,旧逐批日志不再堆入本页。 - 数字来自已复算收据,表格展示为取整数值,图表按原始秒值计算。不同来源的小批次、不同统计窗口及配置不能拼成长期产能结论。
- 仅模型请求成功、非空 patch 或工程测试通过,均不等于官方 resolved、自动准入或训练收益。设备在线、历史配置与旧暂停状态也不代表此刻运行状态。