SWE50 SFT 评测数据分析报告（含基座对照）

0. 基座 vs SFT 后：主要差异

同一 50 题，dsh 的 profile、预算与名义 1800 s 硬截止配置相同，比较基座与 SFT 后模型。差异为描述性观察，不是 LoRA 的因果效应；计时差异见第 5 节。

0.1 逐题结果转移（行：基座；列：SFT 后）

0.2 关键指标对照（50 题合计或中位数）

0.3 终态分布

0.4 症候检出题数（50 题中）

0.5 单次请求输出长度直方图

0.6 bash 命令用途构成

0.7 逐题输出 token：基座 vs SFT 后

每个点是一道题，双对数轴；虚线为两轮相等。颜色表示配对结果。

0.8 基座解决、SFT 后未解决的题

单轮分析（第 1–4 节）：

核心症候

1. Token 分布

输出 token 来自预算代理逐请求收据（服务端 tokenizer 精确计数，含推理）。「截断回合」指 finish_reason=length 的请求；是否达到 16,384 token 另按收据计数，两者不完全等同。

1.1 分组概览（中位数 [P25–P75]，最大值）

1.2 每题输出 token：截断回合 vs 其他回合

数据表

1.3 单次请求输出长度直方图

上排：各长度区间的请求数占比；下排：各区间消耗的输出 token 占比。区间按单次请求实际输出 token 划分（「256+」表示 256–511，依此类推），最后一栏为达到 16,384 上限的请求。

数据表

1.4 每题请求数、上下文与耗时分布

每个点代表一道题；竖线为组内中位数。累计输入为各次请求输入 token 之和（dsh 每次重发完整上下文），使用对数轴。

2. 工具调用分布

2.1 每题工具调用（bash / read / edit）

2.2 bash 命令用途构成

按命令文本的正则启发式分类，先匹配者优先，仅作筛查：「跑测试」匹配到 pytest/runtests 等，不代表测试真实执行或通过；「临时脚本」指在 /tmp 写复现脚本；「改仓库」指 sed -i、重定向写 .py 等 shell 方式修改。