代理烧掉的 token，有多少花在用不上的工具上

Mon, 02 Nov 2026 00:00:00 +0800

微软研究院和 UC Berkeley 的一群人，把三个命令交到你手里：

git clone https://github.com/microsoft/TokenEconomizer.git
claude plugin marketplace add "$PWD/TokenEconomizer"
claude plugin install tokeneconomizer@tokeneconomizer

装完的东西不换模型、不改代理、也不碰你的凭据，它只想解决一件事：你在同一个仓库里反复跑代理，那些每次都重新付一遍的钱。

仓库 2026 年 10 月 13 日建的，算到今天 20 天，3,757 个 star，66 次提交。README 顶上的数据块写得很硬：

Our measurement on SWE-Bench tasks: 18.4–30.9% lower mean cost across five agent–model combinations, cheaper in all 30 repository × combination cells, and Pass@1 up in 4 of 5.

在 SWE-Bench 任务上量的：跨五组「代理 × 模型」组合，平均成本低了 18.4% 到 30.9%；30 个「仓库 × 组合」的单元格全都变便宜；Pass@1 五组里有四组上升。

省下来的钱，长什么样

五组组合并排放：

代理 × 模型	平均成本	Pass@1
Claude Code + Sonnet 5	-23.6%	+1.3
Claude Code + Opus 4.8	-30.9%	-1.0
Codex + GPT-5.6 Terra	-24.7%	+0.9
Codex + GPT-5.6 Sol	-26.1%	+1.6
Copilot CLI + Sonnet 5	-18.4%	+2.6

最省的那一组，也是唯一一组变差的那一组：Opus 4.8，成本掉了将近三成，通过率掉了 1.0。这两个数挨着摆在 README 最显眼的位置，作者没把那一格挪进脚注。

实验规模是 277 个 SWE-Bench 任务、6 个仓库，每个任务一个会话，同一仓库的任务按顺序跑，开头时什么都不记得。成本按缓存价算，且算上了插件自己发的那些模型调用。落到每个仓库内部、每一组组合里，降幅是 5% 到 40%；Web-Bench 上是 16% 到 21%，两个安全审计基准上是 6% 到 20%，后者每个任务都在此前没进过的新仓库里。

三种浪费，三种修法

省 token 通常有两条路：让代理少说话，或者让代理少读东西。这个仓库走的是第三条——让代理别为同一件事反复付钱。

代理在一个仓库里反复跑，浪费有三种形状。

第一种是每次都重新认一遍仓库。会话之间不留记忆，于是「这个项目要先跑哪一步构建」「测试命令到底该写 python -m pytest 还是 pytest」「哪个环境变量必须先设」这些事，每开一个新会话就得重新发现一次。

micro-skills 把这些事实攒起来，来源有两个：跨会话反复出现的失败，和一个每 k 次会话复盘一次近期会话、提出事实的模型。k 默认是 3，一条事实被三个会话确认过，就在之后每次会话的开头陈述，后面被推翻就丢掉。

第二种是从不用的工具，定义照发。每一个加载进来的工具，它的定义都会跟着每一次请求送出去。从来没人调过的 Notebook、Browser，定义照样在账单上。

tool pruning 的判定是两个条件满足其一：一个工具在跨至少 m 个会话的 p 次 prompt 里没用过，或者在 s 个任意长度的会话里都没用过。默认 p=10、m=2、s=5，判定成立后这个工具就从后续会话里剔掉，走的是代理自己的设置文件，不要求代理学会任何新东西。一条命令能还回去。

第三种是卡在同一个错里。一个 turn（代理处理一个 prompt 的全过程）反复撞同一个失败时，judge 模型来判断它是不是卡住，把握度到 c=0.7 才动手，给代理塞一条重定向提示，每个 turn 最多 r=1 次。改完还是卡，它只告诉你怎么停，自己绝不终止 turn。

参数、开关，和一个 60 分钟的等待

机制的实现方式是走代理自己的设置，而不是教代理新本事。同一个 tool pruning，在不同代理里能剔掉的粒度并不一样。

代理	tool pruning 剔掉什么	写进哪
Claude Code	单个工具	`.claude/settings.local.json`
Codex	整个 capability package	`.codex/config.toml`
Copilot CLI	整个 MCP server	`.github/copilot/settings.local.json`
Pi	不剔，它只加载四个工具	—
opencode	目前还不剔	—

默认参数里有个 q=60：deny list 不是立刻写下去，要等这个仓库里的会话空闲满 60 分钟，或者最迟一天，才落盘。README 给的理由写在 Settings 一节：会话恢复后工具变了，整段历史就得重新写进 prompt cache 而不是从 cache 里读，而空闲一个小时之后，那个 cache 本来也已经过期了。

也就是说这 60 分钟不是在等用户，是在等缓存自己过期，好让工具变更和缓存失效落在同一段时间里。

开关是逐项的：

/tokeneconomizer:config set microskills=on # 打开 micro-skills
/tokeneconomizer:config set toolprune_evidence=20 # p = 20：等二十次没用过
/tokeneconomizer:config set loopguard_nudges=2 # r = 2：重定向两次再告诉你

两个模式也值得知道：toolprune=propose 只把 deny list 提出来，不动任何东西，等你跑 toolprune apply 才真正生效；microskills=envfacts 只从反复出现的失败里学事实，一次模型调用都不发。

默认状态不是全开。tool pruning 和 loop guard 默认开，micro-skills 默认关，它的提议器要额外发模型调用，省多少取决于这个仓库和你干的活儿。

几个日常命令记一下就够：/tokeneconomizer:status 看它学到了什么、这次会话花了多少；/tokeneconomizer:toolprune 看剔掉了哪些工具以及凭什么剔的；toolprune restore 把工具还回去，还回去之后不会再被剔。

/tokeneconomizer:toolprune refresh-catalog 每台机器上跑一次，Claude Code 更新之后还要再跑一次，它会把每次会话加载过哪些工具记下来，整个过程不发模型调用。

实在不想让它介入，启动时代理前面加个环境变量 TE_DISABLE=1 claude 就行。学到的东西落在你自己机器的 ~/.tokeneconomizer，插件自己发的模型调用走的是你自己的代理账号和套餐，费用算在它自己的报告里。

仓库里现在是什么样

66 次提交，contributors 列表上是 8 个人：aaron-jx-li 一个占 53 次，剩下 7 位加起来 9 次。而论文的作者名单上排着 Ion Stoica、Jianfeng Gao、Michel Galley。这两件事不矛盾，但说明这个仓库基本是一个人扛的。

语言构成：Python 1.9 MB、Shell 74 KB、TypeScript 29 KB、JavaScript 1.2 KB。README 里那句「The package is standard-library only」说的是 tokeneconomizer/ 这个 Python 包，TypeScript 是 Pi 扩展和 opencode 插件用的。

它还很新，边角也确实毛。issue 里能看到一批 Windows 和 Codex 上的边界问题：toolprune refresh-catalog 清临时目录报 WinError 32（#86），Codex 把每个可信项目都报成不可信（#83），Claude Code 的 side call 一直挂着全部 MCP server，导致一次 Haiku 调用摊到约 57 万等效 token（#87）。这三个都是 10 月 30 日提的，现在都已经关掉了。

开放 issue 只剩 3 条，开放的 PR 倒有 10 个。其中一条是 #85「Will other agents be supported?」，问的是除了 Claude Code、Codex、Copilot CLI 和 Pi，还会不会接别的代理。opencode 是实验性支持，README 只在 1.19.5 和 2.2.0 上测过。

那些数字是怎么跑出来的

论文用的代码没有混进插件，两边只共享 tokeneconomizer/。要自己跑一遍的话，experiments/ 目录里是完整的实验台：277 个 SWE-Bench 任务、102 个 Web-Bench 任务，加上逐个 agent × model 的 arm 定义。

跑它要一台 Linux x86_64 机器、能免 sudo 用 Docker、约 200 GB 磁盘，以及 Anthropic 和 OpenAI 两把 key。Claude Code 和 Copilot CLI 记第一把，Codex 记第二把。