Visa发布AI购物代理基准:22个模型仅57.2%测试通过,企业需关注代理下单稳定性

Visa首轮测试显示,AI购物代理在识别隐含需求、重复执行和避免错误下单方面仍有明显波动。基准测试目前覆盖购物决策,尚未扩展到结账与支付环节。

Visa发布AI购物代理基准:22个模型仅57.2%测试通过,企业需关注代理下单稳定性

11月6日,Visa宣布推出 Visa Agentic Commerce Benchmark,并公布首轮测试结果:来自12家AI实验室的22个模型,在15项真实购物任务中的总体通过率为57.2%。这项测试关注的不是支付是否成功,而是AI能否先问清消费者需求、找到合适商品,并在没有匹配选项时选择不下单。对提供海外电商、订阅或广告工具的团队而言,AI代理进入交易流程的关键变量,仍是决策可靠性而非自动化程度本身。

测试考察的是“先理解,再购买”

Visa设计的任务包括购买电视、笔记本电脑和个人护理电器。模型需要通过对话补齐消费者没有主动说出的条件。例如在电视场景中,代理需要确认预算、格式兼容性、HDR10+支持和游戏需求,而不是根据一个宽泛的商品描述直接推荐产品。

如果没有商品同时满足这些要求,模型还应判断不购买,并收集足够信息来支撑这一决定。Visa将这一过程作为购物代理能力的一部分,因为消费者在开始购物时往往并不知道自己需要哪些具体规格。首轮测试覆盖的任务与评估方式因此更接近需求澄清和商品选择,而非单纯的搜索排名测试。

通过率高低之外,稳定性差距更突出

首轮测试中,表现最好的模型通过了82.2%的尝试,最弱模型为28.9%。最能发现隐藏购买条件的五个模型,平均通过率为70.2%;发现最少条件的五个模型,平均通过率只有44.4%。每次运行成本最高的五个模型平均通过率为67.1%,低成本组为50.2%。这些数据说明,模型的价格和能力表现存在相关性,但单靠更贵的模型也无法消除决策波动。

Visa让每个模型在每个场景中尝试三次,三次全部通过的比例只有34.2%。部分模型第一次已经通过,重复相同场景时却再次失败。更值得注意的是,在54%的失败运行中,模型仍然完成了购买:它们要么推荐了不符合要求的商品,要么在没有确认全部需求前就下单。

这使“自动完成购买”与“完成正确购买”成为两个不同指标。对于代理参与的交易链路,单次演示成功不能说明它在批量、重复或不同用户表达下都能保持一致。

Visa准备把测试推进到支付环节

Visa全球增长负责人Rubail Birwadker表示,AI代理可能推动下一阶段商业活动,但信任是其落地前提。Visa称,其2026年9月发布的Trust Index显示,72%的美国消费者使用过AI助手,但只有23%信任AI代其处理支付。该调查比例反映的是消费者使用和信任态度,不是支付成功率或授权通过率。

Visa计划增加购物场景和商品类别,并将测试范围扩展到结账、支付和订单提交。目前,Visa已把基准测试分享给模型提供商征求反馈,并发布相关白皮书;因此,现阶段结果更适合看作能力基线和行业测试框架,还不是对完整代理支付流程的评估。

对海外工具和预算团队的实际含义

对需要让AI代理代用户挑选并购买工具、商品或服务的团队而言,现阶段更值得记录的是需求确认、重复执行和拒绝错误购买的表现。团队可将“是否在缺少关键条件时继续下单”纳入代理验收标准,并把购物决策通过率与后续结账、支付测试分开观察。来源提到的另一项SEON调查显示,半数受访美国成年人对AI代理使用其卡片信息感到不适,这也说明消费者信任仍是支付代理扩大使用范围的前置条件。

参考来源

相关入口