跳到正文
← 返回文章列表

VirtueZ · 2025.09.24

Qwen3-Max 发布后,国产大模型选型到底该看什么?

采购会议上最危险的一句话,可能是“它现在排第一,我们就用它”。半小时后,会议纪要里已经写好模型名称,真正要接入的客服工单、内部知识库和审批流程却没人说清楚。等项目上线,团队才发现榜单上的正确答案和公司里一张需要人负责的处理单,根本不是同一道题。

2025 年 9 月 24 日,阿里云在云栖大会公告中推出 Qwen3-Max 正式版。Qwen 团队的技术文章强调编码、Agent 和工具调用等能力;阿里云的模型更新记录也把 9 月 24 日列为对应版本的发布节点。这些信息足以解释为什么它应该进入候选名单,却不能替任何一家公司决定最后接谁。模型发布是厂商的节点,业务验收才是团队自己的节点。

一、先把“模型很强”拆成三件具体的事

大模型比较常把理解、推理、写作、代码和工具调用揉在一张排行榜里。综合分数适合做初筛,但产品经理面临的任务通常有明确边界。比如售后团队希望模型读完用户描述和订单明细,整理“缺了什么、证据是什么、还缺什么材料”。它不需要写一篇漂亮的分析文章,更不能把没有写在规则里的赔付方式编出来。这个任务的关键能力,是准确抽取与承认不确定。

另一个任务是需求评审。新活动要给老用户优惠,但优惠券不能与商家补贴同时使用;又有人追加“退款后恢复资格”。模型必须看懂这些规则之间的冲突,指出需要产品、运营和财务共同决定的地方。这里的好结果,不是自信地替团队定规则,而是把矛盾暴露出来。再换成自动操作后台,问题又变了:它能否正确调用查询、校验、提交等工具,遇到权限不足或接口超时时会不会停下?

这三种任务即使都叫“用 AI 提效”,也该用三套验收表。一个模型在中文写作里很顺,不代表它会保留订单金额的小数位;会生成代码,不代表它在退款动作前会主动要求确认。选型时先写清任务,再讨论模型。顺序反过来,测试题就很容易变成替心仪模型寻找优点。

二、为什么厂商跑分不能直接变成采购结论

Qwen 团队公布了多组基准结果,展示正式版在知识、推理、编码、指令遵循以及 Agent 任务上的表现。这些数字有参考价值,尤其能告诉团队:它值得拿来试哪些工作。问题出在下一步。有些汇报会把公开基准中领先的一栏,直接写成“适合我司全部业务”,中间漏掉了语言、资料、工具环境和错误代价四道关。

先说资料。公开题目通常有预设输入和比较清楚的评分方式;企业里的文件可能是三年前的 PDF、上周改过的表格、群聊里一句临时通知。模型不是凭空知道哪份文件有效。再说工具。同样的模型,在只回答问题和能够访问数据库、浏览器、工单系统时,承担的责任完全不同。它若读错一句话,人工还能纠正;若直接改了价格配置,后续需要补救的人更多。产品经理要评估的是“模型加上我们提供的材料、工具和权限”组成的系统,不是裸模型。

还要留意厂商基准的性质。官方报告说明厂商怎样测试自己的产品,不能替代团队独立验证;第三方榜单也有自己的任务分布。我们可以把这些结果当作线索:某模型在工具调用上表现突出,便安排一组工具调用任务验证;在中文长文上评价较好,就用团队常见材料做抽取和改写。不要把线索当判决书。

三、国产模型的价值,不能只用“便宜”概括

讨论国产模型,很多人先想到成本。预算当然重要,但只看每百万 token 的输入输出单价,容易算漏更大的部分:失败重试、人工修正、接入改造、数据准备,以及业务人员等待结果的时间。便宜的调用如果需要反复执行五次,并让运营逐句检查,合格任务的成本可能并不低。相反,单次调用更贵的配置,若稳定通过关键检查,整体未必更贵。这里不预设谁赢,账要在真实任务上算。

国内团队还会遇到语言和业务表达的问题。中文客服会用缩写、口语、行业黑话,工单里还夹着截图和商家自己的商品名。模型能不能读懂,不能靠问十个百科题来判断;需要拿脱敏后的真实样本测试。某些产品还会关心部署位置、数据处理方式和采购合同,这些条件随产品版本与企业要求变化,应该由技术、法务与采购在当时核对。产品经理的责任是把它们列为准入条件,而不是凭品牌名称猜“国产一定适合”或“海外一定更强”。

另一个容易漏掉的成本,是模型换代。今天接入的接口、提示词与输出格式,半年后可能面临版本调整。选型方案最好从第一天就保留回归样本和替换路径。这样团队不是把业务规则埋进某个模型的一段提示词里,而是把规则、工具权限和验收条件掌握在自己手中。

四、拿真实需求做一次“小考”,比再看十页榜单有用

如果我是这次选型的负责人,会先请业务团队拿出二十到三十份经过脱敏的历史任务。数量不够推出总体效果,但足够作为早期筛选:里面要有常见任务,也要故意放入材料不全、规则冲突、用户说法与系统记录不一致的情况。每份样本先写人工认可的答案或判断标准,尤其标出绝对不能犯的错误。随后再让 Qwen3-Max 与其他候选配置处理同一批任务。

这里的“同一批”不等于机械复制一段提示词。不同平台的工具能力、上下文安排和返回格式可能不同,测试需要记录具体配置:模型版本、输入材料、可用工具、调用预算、重试次数和人工是否介入。否则一个模型可以联网查资料,另一个只能看本地文件,最后却被放在同一张表里比较“准确率”,结果对采购没有帮助。

评分可以先分四栏:任务是否完成,关键事实是否正确,人工修了多久,完成一份合格任务花了多少钱。重要的是把严重错误单独拿出来。比如漏掉一个不影响处理结果的修饰词,可以补;把“商家拒绝退款”写成“商家同意退款”,就会误导处理。只报平均分,会让少数不能接受的错误藏在好看的数字里。

如果涉及工具调用,还要额外看操作轨迹。它是否在提交前核对对象和金额?接口返回失败后是停止并报告,还是默默重试直到造成重复动作?遇到权限不足,会不会假装已经完成?这些行为不一定出现在通用榜单中,却决定这个配置能否碰真实业务。模型可能很会解释自己为什么这样做,但真正需要留痕的是它做了哪些动作、依据是什么、哪一步由人确认。

五、一个真实流程里,模型出错是怎样被放大的

假设用户申请取消一笔服务,历史记录里有“已支付”,最新状态却是“部分履约”。模型先读取两份材料,判断可以全额退款,然后给客服生成回复。如果系统只把这段回复作为草稿,并把依据标出来,客服还有机会发现履约记录,改成待核查;如果系统把它直接推送给用户,用户就拿到一项尚未批准的承诺;若再往前走一步,自动调用退款接口,影响的就不只是文字,而是真实资金。

同一个模型错误,在这三种产品设计中的后果完全不同。选型会上如果只讨论“它算不算答对”,就看不到权限设计的作用。对高风险流程,更稳妥的做法是先让模型整理证据和待确认项,再由规则系统检查硬条件,最后让有权限的人批准关键动作。这样做也为模型比较创造更公平的环境:我们测试的是它擅长的理解与整理,不强迫一个语言模型独自承担整个业务决策。

还有一种错误更隐蔽:答案本身未必错,依据却已经过期。运营将一份新的活动说明传给模型,知识库里旧版本的优惠规则仍可检索;模型引用旧规则写出一个看似合理的解释。这个问题不是“换更强的模型”就一定能消失。知识库必须有生效时间和优先级,检索结果也要把来源与版本送到模型面前。测试样本最好故意包含新旧规则冲突,看看系统会引用最新文件、提示冲突,还是自行编一条折中规则。

因此我会把错误按后果分级,而不只按句子是否正确分级:可直接补写的表达问题、会误导人工的事实问题、会对外作出错误承诺的业务问题,以及会触发错误动作的操作问题。前两类可以通过复核和修改缓解,后两类需要权限与流程保护。团队接受哪一级错误率,应该由业务负责人事先说清,不能等模型交出一份流畅答卷后再临时放宽标准。

六、别让模型选型变成“一锤子买卖”

一次测试通过,只说明某个版本在那批样本和那套配置下通过了检查。线上材料会变,活动规则会变,接口会变,模型提供方也会更新版本。若项目把历史失败样本删掉,半年后换模型时又从零开始问十个演示题,团队永远不知道进步发生在哪里。更好的做法是把验收集当成产品资产:记录样本来源、脱敏方式、规则版本、人工认可的处理结果,以及每次回归失败的原因。

上线后也不必追求每天计算一个“AI 总准确率”。先找少量关键指标:哪些类别的任务经常退回人工?人工最常改哪一种内容?用户投诉是否集中在某个规则版本?新模型上线后,旧问题减少了,还是换了一种形式出现?这些数据需要结合具体案例读,单独的百分比很容易给人错觉。十笔工单里九笔简单查询都答对,一笔涉及资金的回复答错,不能用“90% 准确”概括用户体验。

团队内部还要保留退出机制。假如候选模型在平常任务里表现很好,到了周末活动高峰却出现明显延迟,系统能否降级为只提供人工辅助?若成本上涨,是否可以把低风险摘要任务切换到更轻的模型?这些问题在采购合同签署前不够刺激,到了真实流量面前却会决定团队能否稳住服务。选型不是给某个模型贴一枚“永久最佳”的标签,而是安排它在一套可替换的工作系统里承担合适的部分。

七、方法论:给团队做一张能重复使用的选型表

实际落地可以按五步走。第一步,选一个高频、结果可检验、出错后容易发现的任务。不要上来就让模型处理最复杂的跨部门审批。第二步,把业务规则、材料来源和禁做动作写进同一份任务说明,注明规则版本与生效日期。第三步,固定脱敏样本并事先确定验收标准;任何新模型都拿这批样本先跑一遍。第四步,记录完成率、关键错误、人工修正时间和总费用,再按任务类型拆开看,不用一个综合分盖掉差异。第五步,只在表现稳定的环节逐步放开权限,每次扩大范围都保留人工抽查和回退方式。

很多团队会希望最后得到一个简单结论:“到底选 Qwen3-Max,还是选别的?”更负责任的回答往往是分工:它在哪类中文材料任务里合格,在哪类工具操作里需要更多保护,哪些任务目前仍由人负责。如果预算有限,可以先让它承担摘要、归类和待确认项整理,而不是立刻执行支付、退款或修改生产配置。这样的结论没有发布会上响亮,却能拿去排下周的工作。

这张分工表也应该写给使用它的一线同事,而不只留在技术团队。客服需要知道哪些建议可以直接采用,哪些必须打开原始订单复查;运营需要知道模型引用的活动资料到哪一天为止;研发需要知道接口报错时系统要停止还是重试。若这些边界只存在于选型报告里,真正用工具的人仍会凭界面上的流畅语气决定信不信它。把边界写进产品提示、操作权限和审核流程,选型结论才算落地。

当一个新版本出现,也无需立刻把全部流量切过去。先让它处理同一批历史样本,再在有限场景里观察人工修正量;表现稳定后逐步扩大,遇到关键错误能够退回旧配置。发布日可以决定测试从哪天开始,不能替团队决定上线日期。

Qwen3-Max 的发布是一个很好的提醒:模型能力在提高,选型方法也得跟着成熟。真正会选模型的团队,不是记得最多排行榜名次的团队,而是知道自己的任务怎样算完成、什么错误绝对不能发生,以及为了一个合格结果究竟付出了多少代价。

做模型选型报告时,可以把每类任务的决定写成一句业务话:“这个配置可用于起草工单摘要,但没有权限执行退款;出现新旧规则冲突必须停下来问人。”一线同事不需要背参数表,却要知道哪些结果可直接利用、哪些要复核。若这句话写不出来,多半是测试只看了回答好不好,尚未把模型放进真实工作。

信息来源与事实边界