波仔
🐳 第二章 从零开始运行DSH
📄 一句话概括

Minimal 是专门留给基准测试的环境——工具越少，测出来的差异越接近【模型本身】，而不是【模型加上十几件工具的合力】。

📝 本节和前面几节的关系

2.4.3 用的是自己搭的对照实验，这一节看官方怎么做对照。它是第二章的收口，也是第三章的引子。

一、Minimal 只有两件东西

回到 2.4.2 的差分数据：Minimal 里只有两项——

没有搜索、没有子代理、没有规划模式、没有上下文压缩、没有网页工具。 一把锤子，一根钉子，就这些。

二、三条理由

为什么测模型性能要用这么薄的环境？

  1. 控制变量。工具越少，测出来的差异越接近模型本身的能力。 Standard 有 19 件工具，测出来的分数里混着【工具帮了多少忙】——分不清。
  2. 可复现。环境一致，别人能跑出同样的结论。 环境里少一个工具，换一台机器跑可能就变样了。
  3. 免争议。不是靠 Harness 帮忙，是模型自己行。 跑分表上写【用 Minimal 测的】，这句话本身就是一种表态。

三条其实是同一件事的三种说法：把功劳分清楚。

三、反面想一遍

反过来想，如果拿 Standard 去测，会得到什么？

测出来的是【模型 + 19 件工具的合力】。然后问题来了： 这个分数该记在模型头上，还是记在 Harness 头上？

说不清。而且更麻烦的是——说不清就没法比较。 A 家的模型配 A 家的 Harness，B 家的模型配 B 家的 Harness， 两个数字放在一起，你根本不知道差距来自模型还是来自壳子。

留一个 Minimal 出来，本质上是留一条【把账算清】的退路。

四、留一条退路

这件事还可以往上看一层。

第 1 章说过，DSH 把【模型】和【Harness】分得很开。分得开的好处，在这一节兑现了：因为分得开，所以测得清。

如果模型和壳子是一体的（像很多闭源产品那样）， 你永远只能看到一个【合体分数】，没法回答【到底是模型强还是壳子强】。

所以 Minimal 的意义不在【它是第四套预设】，而在 它证明了这套架构可以把两层分开测量。 这也是第 3 章的引子：四套预设不是四档强度，是四个不同的测量场景。

五、动手 Demo：基准测试为什么要用最薄的那套

先把 Minimal 的家底、再把三条理由摆清楚：

print("Minimal 的全部家当：")
for t in ["persistent-shell（一条常驻命令行）", "persona（最简人格与目录提示）"]:
    print("   -", t)
print()
rows = [("控制变量", "工具越少，差异越接近模型本身"),
        ("可复现", "环境一致，别人能跑出同样结论"),
        ("免争议", "不是靠 Harness 帮忙，是模型自己行")]
for a, b in rows:
    print("  %-8s %s" % (a, b))
print()
print("Standard 19 项 vs Minimal 2 项 -> 测的是两样东西")

实跑输出：

--------------------------------------------------------------------
基准测试为什么要用最薄的那套
--------------------------------------------------------------------
  官方文件里写得很直白：Minimal 是专门拿来做基准测试的环境。

  它只有两件东西：

  工具                 作用
  --------------------------------------------------
  persistent-shell     一条常驻的命令行
  persona              最简的人格提示与工作目录提示
  --------------------------------------------------

  为什么测模型性能要用这么薄的环境？三条理由：

  理由         说人话
  -----------------------------------------------
  控制变量     工具越少，差异越接近【模型本身】
  可复现       环境一致，别人能跑出同样的结论
  免争议       不是靠 Harness 帮忙，是模型自己行
  -----------------------------------------------

  反过来想就明白了：如果拿 Standard 去测，测出来的是【模型 + 19 件工具的合力】。
  那这个分数该记在模型头上，还是记在 Harness 头上？说不清。

  算一笔账：插件从 19 件减到 2 件，省下的是什么？

    工具描述与提示词段落    大幅缩水
    模型要做的选择          少了很多
    结论的含义              从【这一套系统很强】变成【这个模型很强】

  留一个 Minimal 出来，本质上是留一条【把功劳分清楚】的退路。
  这也是第 3 章要说的事：四套预设不是四档强度，是四个不同的测量场景。

最后那句话是这一节的落点：同一个模型，在两套预设里测出来的分数， 衡量的不是同一样东西。 所以以后看到任何跑分表，先找一个信息：它写没写用的什么 Harness。 不写环境的分数，是没有可比性的分数。

30 秒实验

  1. 找一份你信得过的模型跑分表，看它有没有写【用的是什么 Harness】。
  2. 想一下：同一个模型，在 Minimal 和 Standard 下跑分差多少才算合理。
  3. 记住这个习惯：看到跑分先问环境，再看分数。

常见误区

  1. 错误：Minimal 是因为性能不够才留的。——纠正：它是测量工具，不是省电模式；留它的目的是把功劳分清楚。
  2. 错误：跑分越高说明模型越强。——纠正：跑分是【模型 + Harness + 环境】的合力；不说环境，分数没有可比性。
  3. 错误：我日常也该用 Minimal。——纠正：日常正相反——Minimal 缺搜索、缺子代理，复杂任务会受限。
自测三问（点开对答案） 1. Minimal 里只有哪两件东西？ —— `persistent-shell`（一条常驻命令行）和 `persona`（最简人格与目录提示）。 2. 为什么基准测试要用最薄的环境？ —— 控制变量、可复现、免争议——**让测出来的差异归因到模型本身**。 3. 日常该用哪一套？ —— **Standard**；Minimal 是测量场景，不是日常场景。

相关笔记