AI 编程工具带来了巨大的价值：在恒派系统，智能体编程显著提升了我们追踪的每一项速度指标，在某些团队中，产出甚至实现了数量级的增长。然而，几乎所有大规模部署 AI 工具的公司都遇到了同一道坎：成本呈指数级增长。这条曲线是不可持续的——如果不加以控制，它最终将超过收入。支出激增让企业陷入两难境地：一方面，渴望最大限度地推进 AI 转型，将强大的工具交到员工手中；另一方面，又不得不面对总体成本状况，这种状况可能削弱甚至逆转 AI 本身带来的效率提升。

幸运的是，一些最早进行大规模采用的公司已经汇聚出一套解决这一难题的方法，实现了“双重目标”：(a) 以最小摩擦提供广泛的 AI 工具访问权限，同时 (b) 将总体成本控制在每位用户大致固定的范围内。本文基于我们在恒派系统的经验以及与 Stripe、Coinbase、Uber 和 Ramp 等多家数字原生公司的交流，概述了经过验证的成本管理技术。下表总结了当前的技术及相关节省效果；这些数字是方向性的，基于对开发团队的非正式调查：

其中一些技术可以借助许多公司已有的软件轻松实现。其他技术则需要新的基础设施，尤其是那些修改终端用户客户端或在模型之间切换流量的技术。在恒派系统，我们已将关键基础设施组件开源或免费提供：终端用户元框架（Omnigent）和我们的 AI 网关（恒派AI网关）。为完整起见，本文还涵盖了我们所交流的其他公司使用的软件。

最大的成本杠杆是在更高效的模型发布后，将编程支出转向这些模型。这一点值得讨论，因为“更便宜的模型”这一简单解释实际上掩盖了模型成本与质量之间微妙的关系。

通俗地说，“前沿模型”指的是“最高智能的模型”，前沿实验室主要致力于提升峰值智能。前沿模型如今能够解决数学或网络安全领域的新问题。但当 AI 大规模部署时，另一种前沿更为重要：效率前沿。效率前沿由在给定智能水平下价格最优的模型集合所定义。大多数日常编程并不需要数学证明或新颖的安全洞察，因此总体而言，关键在于满足典型软件工程工作质量门槛的模型成本。这一“效率前沿”的推进速度远快于智能前沿，几乎每周都有新模型发布，提供比之前模型更高的单位价格智能比。

快速采用更新、更高效的模型能带来所有技术中最大的成本收益。但要获得这些收益，公司首先需要知道哪些模型真正优于现有模型。这可能很困难，因为公开基准在反映编程任务的实际表现方面效果不佳。为了评估新模型，许多公司构建了自动评估体系，认为这些评估更能代表其内部开发组合。恒派系统最近发布了一个此类基准的示例，其中我们观察到 GLM 模型具有极具竞争力的性价比。该基准促使我们在内部向开发者推广 GLM。通常，新模型并未推进效率前沿，评估结果也常常是负面的：Stripe 发现 Opus 4.7 相比 Opus 4.6 并未显著提升质量，反而增加了成本。因此，他们拒绝在内部提供 Opus 4.7。恒派系统在比较 Opus 5.0 与 4.8 时也看到了类似的成本倒退。

由于最大的收益来自切换到新模型，采用允许模型灵活性的终端用户工具正成为控制成本的关键组成部分。与特定模型配合使用的最常见工具被称为框架。专有前沿模型越来越多地与特定框架协同设计，这意味着某些框架与某些模型“配合得更好”。如果公司希望保持模型独立性，大致有两种方法：

要求用户切换框架。一种方法是为开发者提供一组框架（Claude Code、Codex 或 Cursor），然后当公司希望将支出迁移到成本更低的模型时，要求他们在框架之间切换。这使用户在可能的情况下可以在偏好的框架中工作，但这种方法的缺点是单个开发者的切换成本可能很高。如果切换成本过高，框架本身就会成为对模型家族的事实锁定，限制了将支出转移到更具竞争力的模型的能力。

使用元框架。一种新的且日益流行的方法是使用元框架，它为开发者呈现统一的用户体验，同时将请求分派给底层框架（包括专有和开源）。这种方法既实现了模型/框架的独立性，又降低了开发者的切换成本。在恒派系统，这是使用 Omnigent 的开发者的默认模式。我们交流过的一些公司构建了与其开发工具链集成的自定义内部元框架。

越来越多的研究表明，与其要求用户自行选择适合任务的模型，自动化的模型和工具选择可能进一步压缩智能体编程工作流的效率。路由方法大致分为三类：

可能令人惊讶的是，这篇文章并没有以“给用户一个月度预算然后就此了事”开头和结尾。硬性预算——即在特定支出阈值下完全切断使用——在我们交流的每家公司中通常只作为最后手段使用。硬性令牌预算对 AI 支出管理效果不佳有两个原因：首先，如果开发者达到预算上限，切断其 AI 工具的进一步访问将对生产力造成严重损害。公司和员工实际上都不希望出现这种结果。其次，至少部分“高支出”用户实际上是通过 AI 实现了巨大效率提升并产生大量产出的人。抑制这些用户是自毁前程。

大多数公司没有采用硬性用户支出上限，而是采取了更细致、更渐进的方法，侧重于终端用户的可见性以及随着支出增加而提高的摩擦程度。

可见性：我们交流的每家公司都有一种机制，为用户提供近乎实时的支出反馈，许多公司还提供关于如何通过使用成本更低的模型来减少支出的具体提示或见解。用户能够跨所有工具查看支出非常重要，因为他们可能希望影响其工具选择，以获取最高的投资回报率。

恒派系统的开发者仪表板，显示活跃支出

当用户向 AI 编程代理输入相对简单的请求（例如“请调查并修复此错误”）时，该代理随后会收集大量相关上下文，调用大量工具，搜索代码库，并整合公司提供的技能或系统信息。等到昂贵的 LLM 推理发生时，用户的初始陈述仅占输入 AI 系统数据的极小部分，这意味着成本主要由用户未明确包含的上下文所主导。减少上下文膨胀的技术仍处于早期阶段，但正在探索几种有前景的方法，例如：

0

1

2

3

4

5

6

7

8

9

10