外贸团队发现AI把产品参数答错后,常见反应是换更大的模型,或者马上准备微调数据。AWS在9月14日发布的生成式AI定制框架提出了更节制的顺序:从直接使用、提示工程、检索增强生成(RAG)到缓存、蒸馏、微调、持续预训练和自定义模型,只有当前一级无法满足明确要求时才继续加重投入。
对产品问答而言,这不是技术路线之争,而是故障诊断。AI漏掉适用电压,可能因为提示没有要求逐项核对;引用旧版证书,可能因为知识库没有版本过滤;把两种型号的参数拼在一起,可能因为检索切片缺少型号身份;回复口吻不稳定,才更像行为层问题。不同原因需要不同修法。
先重放错误,再决定改哪一层
选取最近真实出现的二十个问题,保存提问、检索到的片段、模型回答、正确答案和资料版本。若正确资料根本没有进入上下文,先修文档结构、索引、权限和召回;若资料已进入但指令不清,先调整提示和输出字段;若同类任务经过明确提示仍反复偏离格式或判断规则,再评估微调。
频繁变化的产品目录、价格、库存、认证状态和市场政策,通常不适合写进模型参数。RAG的优势是资料更新后可以重新索引,并向用户显示引用。微调更适合稳定行为,例如把询盘统一拆成应用、材料、尺寸、数量和交期五个字段,或让模型持续遵循既定分类标准。
企业也要防止把“数据很多”误解为必须持续预训练。大量历史文件中可能混有旧型号、草稿、重复报价和失效证书。未经治理直接训练,只会把资料冲突固化到模型里。先确定权威来源、版本有效期和文档负责人,往往比扩大训练集更重要。
用失败类型管理预算
可以为每次错误标记五类原因:指令缺失、资料缺失、检索失败、推理或行为失败、业务规则未定义。一个月后再看分布。如果多数错误来自资料版本,预算应投向产品主数据;如果检索命中但回答仍不稳定,才比较模型、提示和微调方案。
验收也不要只看一组演示。测试集应覆盖相似型号、缺失字段、过期资料、跨语言问法和需要拒答的场景。答案必须能追溯到当前批准资料;无法确认时,系统应明确转给产品或销售,而不是补全一个听起来合理的数字。
更稳妥的投入顺序是:先定义合格答案,再修提示与资料链,然后改检索,最后才训练模型。这样做不会让AI显得更“高级”,但能让企业知道每一笔投入究竟修复了哪一种错误。
这套诊断也适合供应商选型。要求服务商用同一组失败样本演示,并说明答案引用了哪份资料、资料更新后如何生效、无法确认时如何拒答。若演示只展示顺利问题,没有保留检索证据和错误复盘,再漂亮的界面也无法证明它能承担真实产品咨询。
参考来源
Amazon Web Services,The generative AI customization spectrum: From prompt engineering to custom models on AWS,2026年9月14日。

