
企业广泛采用Claude Code和Codex等AI程序开发代理工具,却开始面临意外暴增的帐单。这类工具可自动连续工作数小时,反复调用先进模型,在用户不知不觉间耗用数百万个词元。
财星(Fortune)报导,一项最新调查显示,62%机构过去一年曾因预料之外的AI费用,实质改变经营决策;其中40%须呈报董事会,33%紧急冻结支出,25%延后或取消AI计划。
为控制成本,AI模型调度工具(model router)迅速受到企业青睐。这类软件可依工作内容,在价格、速度和性能之间选择适合的模型,不必所有工作都采用最昂贵的先进模型,推论成本最多可降低约三成。
OpenRouter、Not Diamond和LiteLLM等新创公司相继投入,Salesforce、Databricks、Meta及Cursor也在发展相关工具。
业者指出,这种模型调度功能未来不只用来节省支出,也可管理数据访问、法遵及单一供应商风险。不过,创建可靠系统并不容易,必须持续监控大量模型连接、处理服务中断及规格变动,并核对数据政策和硬件设置。
因为这类工具能自动连续工作数小时,反复调用先进模型,用户往往不易察觉,却可能在背景中消耗数百万个词元,导致费用快速累积。 调查指出,62%机构曾因预料之外的AI费用改变经营决策,其中40%需向董事会报告,33%紧急冻结支出,25%则延后或取消AI计划。 模型调度工具可依工作内容选择合适模型,在价格、速度与性能间取得平衡,推论成本最多可降约3成,未来也能协助管理数据访问、法遵与供应商风险。精华 FAQ

