采购AI模型时,每百万Token价格很醒目,也最容易被拿来做横向比较。但一份产品资料翻译如果便宜三成,却需要销售重新核对型号、单位和认证名称,企业并没有真正省钱。AWS在9月11日发布的模型评测方法,把比较单位从Token单价改成每个正确答案的成本、Agent完整执行轨迹成本和按评分标准验收的交付质量。

这套思路适合外贸团队,因为真实任务很少止于一次生成。询盘整理可能要读邮件、查询产品库、确认客户归属、生成草稿,再等待人工批准;任何一步出错都会触发重试或返工。只看模型调用价格,会把这些后续成本藏起来。

把评测题改成真实交付物

先选三到五类高频任务,例如产品页摘要、RFQ字段提取、报价前缺口清单、展会跟进草稿和多语言参数核对。每类准备二十个去除敏感信息的真实样本,写出清楚的通过条件:型号不得改变、单位必须保留、缺失参数不得猜测、引用必须来自有效资料、需要人工确认的商业承诺要标出。

然后记录每个模型完成任务的总投入,而不是第一次回答的价格。总投入包括输入和输出Token、检索、工具调用、失败重跑、人工复核分钟数,以及错误流入下一环节造成的修正。一个价格稍高但一次通过的模型,可能比需要三轮提示的便宜模型更合算。

Agent任务还要观察轨迹。它可能给出正确结论,却查询了错误客户、打开了过期资料或调用了不必要的外部工具。这类“结果碰巧正确”不能等同于稳定交付。评测记录应保留每一步输入、工具选择、证据和停止原因。

不同任务不必统一用一个模型

简单分类和格式转换可以优先考虑低成本、低延迟模型;涉及长文档交叉核对、复杂产品选型或多步工具操作的任务,可以选择通过率更高的模型。关键是按任务路由,而不是让最强或最便宜的模型包办一切。

企业可以每月公布四个数:一次通过率、平均重试次数、人工复核时间、每个合格交付物的综合成本。若模型升级后Token费用上涨,但复核时间明显下降,应该在同一张表里看到净变化。反过来,若宣传中的能力没有改善自己的测试集,就不应仅凭模型名称换代。

最终采购问题不是“哪个模型最便宜”,而是“在我们的资料、语言和规则下,哪个组合最稳定地完成任务”。把成本单位改成合格结果,技术选型才会回到经营账上。

评测样本需要定期换新,但不能每次都换掉全部基准。保留一组长期题观察模型升级是否倒退,再加入近期新品、客户问法和错误案例。这样既能比较历史趋势,也不会让测试停留在模型已经熟悉的简单任务上。

财务核算时,可把人工复核分钟按岗位成本折算,但不要因此取消高风险审核。报价、认证、合同和交期的人工确认属于责任边界;评测的目标是减少无效返工,让审核者把时间放在真正需要判断的地方。

参考来源

Amazon Web Services,Beyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workload,2026年9月11日。