📄 一句话概括
编程智能体的分数是四把尺子加权出来的:能不能稳稳调用工具、一次能装多少上下文、看没看懂别人的项目、守不守你定的规矩。
📝 本节和前面几节的关系
前面讲了它干什么,这一节讲凭什么它干得成——以及该怎么判断一个模型适不适合当编程智能体。
一、第一把尺子:工具调用能力
编程智能体的一切动作都靠工具:读文件是一个工具,执行命令是一个工具,改写文件也是一个工具。 模型要能稳稳地决定什么时候调哪个工具、参数填对,而且不出错地拿到结果再往下走。 这项不过关,再会聊天也只能停在对话框里。
二、第二把尺子:长上下文
一个真实项目动辄上万行。一次能装进多少内容,直接决定它要你反复解释多少遍。 装得少,它就反复读同一个文件、反复问同一件事;装得多,它才能把上下游一起看。
三、第三把尺子:代码理解力
看懂自己刚写的代码不难,难的是看懂别人写的、没有注释的、结构还乱的项目。 真实工作几乎全是后者:接手一个老项目、改一段没人说得清的逻辑。
四、第四把尺子:遵守指令
你说别动配置目录,它就真的不动;你说先给方案再动手,它就真的先停下来。 这一项权重最小,但它是能不能放心让它自己跑的前提。 四把尺子合起来:工具调用 35%、长上下文 30%、代码理解 25%、遵守指令 10%。
五、动手 Demo:四把尺子加权打分
用上面那套权重给两个假想的模型打分,看排序由哪一项决定。
rulers = [("工具调用能力", 0.35), ("长上下文", 0.30),
("代码理解力", 0.25), ("遵守指令", 0.10)]
a = {"工具调用能力": 9, "长上下文": 8, "代码理解力": 8, "遵守指令": 7}
b = {"工具调用能力": 7, "长上下文": 9, "代码理解力": 9, "遵守指令": 6}
sa = sum(wt * a[name] for name, wt in rulers)
sb = sum(wt * b[name] for name, wt in rulers)
实跑输出:
--------------------------------------------------------------------
为什么是它——四把尺子量一个编程智能体
--------------------------------------------------------------------
挑模型不能只看「聊天聪不聪明」,编程智能体的分数是加权出来的:
尺子 权重 量的是什么
-------------------------------------------------------------------
工具调用能力 35% 能不能稳稳地读文件、跑命令、改代码
长上下文 30% 一次能装进多少项目背景,装不下就要反复喂
代码理解力 25% 看懂别人写的项目,而不是只看懂题目
遵守指令 10% 你说别动这个目录,它就真的不动
甲模型:工具 9/长文 8/理解 8/听话 7 -> 加权总分 8.25
乙模型:工具 7/长文 9/理解 9/听话 6 -> 加权总分 8.00
甲胜出。差别全在第一条:工具调用不过关,再聪明也只能停留在「聊天」。
甲 8.25 分,乙 8.00 分;乙在长上下文和代码理解上都还高 1 分,输就输在工具调用那一项。 权重是我给的,但这套尺子的名字请记住:以后每换一个模型,先按这四项问一遍,比看排行榜管用。
30 秒实验
- 把工具调用的权重从 35% 调到 15%,总分排名会不会翻转?
- 用这四把尺子给你现在用的工具打个分,看哪一项最弱。
常见误区
- 只看通用能力排行榜。聊天榜单靠前的模型,工具调用未必稳,排行榜不等于能干活的排名。
- 把权重当成固定真理。权重随任务变:小项目对长上下文的要求远没有大项目高。
自测三问(点开对答案)
1. 四把尺子分别是什么? —— 工具调用能力、长上下文、代码理解力、遵守指令。 2. 哪一项权重最高,为什么? —— 工具调用能力(35%)——它是能不能自己动手的地基,不过关就只能停在聊天。 3. 为什么【遵守指令】权重低却重要? —— 局大部分活它都不必做,但它是你敢于让它自主运行的前提条件。- ☐ 下一节(1.6 不只是编程工具)
相关笔记
- 🐳 DeepSeek Harness技术架构原理 · 索引 — 工具调用与上下文管理的内部实现
- 🧡 Claude Code橙皮书 · 索引