详情

这项盘考来自香港大学、阿里巴巴Qwen团队、加州大学圣地哥分校及清华大学的麇集盘考团队，论文以预印本形貌于2026年5月25日发布，编号为arXiv:2605.25624v1，有益思真切了解的读者可通过该编号查询齐备论文。

一、一个反复困扰AI盘考者的老问题

每当咱们提起手机或坐到电脑前，咱们与软件之间的互动是如斯自然——点击、输入、鼎新、截图——致使于咱们险些嗅觉不到这背后有若干隐形的"膂力就业"。联系词，关于AI盘考者来说，考验一个能像东说念主类相似操作电脑的智能体，一直是一件极其艰辛的事情。

以考验AI学习数学或写代码为例，盘考者只需给它海量的题目，然后看谜底对不合，错了就处分，对了就饱读吹。这套精真金不怕火径直的"作念题-点窜"经由，仍是让AI的数学和编程才气突飞大进。但考验一个能操作电脑的AI——比如让它绽放邮件客户端、找到某封邮件、把附件存到指定文献夹——就复杂多了。这类任务需要三样东西同期到位：一份清亮的任务教导（告诉AI要作念什么）、一个不错运行的电脑环境（AI在内部现实操作）、以及一个能自动判断AI作念得对不合的评分智力（不成每次都靠东说念主工点窜）。

把这三样东西凑都、配套、还要保证质地，靠东说念主工来作念的话，每个任务要花数小时的群众技能。更要命的是，你每换一款软件，就得从头计齐整套环境和评分决策。恰是这说念坎，让AI操作电脑的考验数据长久少得怜悯，远远够不上让AI才气升起所需的限制。

这即是盘考团队要贬责的中枢问题：能否让机器自动造出这三样东西，而且质地还得过关？

二、考验AI的"健身房"是奈何盖起来的

盘考团队给这套系统取名CUA-GYM，其中CUA是Computer-Use Agent（电脑操作智能体）的缩写，GYM即是健身房的真理。这个名字很贴切：他们造的不是沿路题目，而是一通盘让AI反复纯属的考验场所。

CUA-GYM的中枢念念路，是用AI来帮AI造考验数据。具体来说，系统从一份"话题评释"开赴，同期生成三样东西：任务教导、环境现象和评分函数。这三样东西不是各自舒服生成，而是像一个缜密相助的团队相似，彼此校验、彼此配合。

通盘经由由三个AI代理单干合作。第一个叫"生成器"，矜重搭建两套电脑环境：一套是任务入手前的入手现象（比如邮件收件箱里谈天休说），另一套是任务完成后应有的假想现象（比如邮件已顺利发出、附件已保存）。这两套环境分别运行在两台阻挠的捏造机上，生成器通过写Python剧本来创建和修改这些环境中的文献、确立和数据。

第二个叫"判别器"，矜重写评分函数。要道在于，判别器被严格阻挠：它看不到生成器写的任何剧本，也不成径直读取环境里的文献，只可通过一个受限的"现象查询接口"来不雅察两套环境的发挥，以及读取任务教导自己。判别器必须凭借对任务自己的相识，舒服估量出"任务完成"意味着什么，然后用代码把这个判断圭臬写出来。

第三个叫"协调器"，饰演管工扮装。它不休查抄五个要道要求是否同期满足：入手环境的剧本能平常运行、假想环境的剧本能平常运行、评分函数在假想环境里打出满分1.0、评分函数在入手环境里打出零分0.0、评分函数里莫得任何舞弊嫌疑的代码模式。惟有有一条不悦足，协调器就把失败的具体原因反馈给生成器或判别器，让它们修改，然后从头跑一遍，最多跑五轮。

这套"抗拒式"酌量的妙处在于，生成器和判别器各自有动机作念好我方的活儿，却又彼此制约。假如莫得信息阻挠，判别器可能会偷懒地径直查抄生成器写的代码逻辑，而不是的确考证任务是否完成——这么生成的评分函数会像一把只可开我方家门的钥匙，在考验时毫无真理。信息阻挠将就判别器从任务语义开赴，写出的确有永诀度的评分圭臬。

通过这套经由生成的数据，还要经过两说念特殊的质地关卡。第沿路是多个不同AI模子构成的"评审团"，从一致性、可践诺性、舞弊风险、抒发清亮度和难度校准五个维度投票，跳跃半数认同才能通过。第二说念是用一个广漠的"锻练模子"（盘考团队使用了Claude Sonnet 4.6）的确去践诺这些任务，考证任务是否可解、评分函数是否准确跟踪了完成情况。

三、挑升为AI练功造的"模拟城"

健身房光有考验地点还不够，还得有充足多的场面。盘考团队发现，制约电脑操作AI考验限制的另一个瓶颈，是可用的软件环境太少。现实寰宇的网站需要登录、有拜访限度、现象不可复现，根底没法用来作念强化学习考验。而现存的盘考基准测试集，也只掩饰了少数几款常见软件，远远不够。

为此，盘考团队同步建造了CUA-GYM-HUB——一套由94款"仿真网页愚弄"构成的捏造软件城。这些愚弄的外不雅和交互逻辑都尽量收复了的确软件（比如Slack、Notion、Salesforce、GitHub、Shopify等），但抹掉了悉数的确软件的艰辛之处：莫得登录考证、莫得集聚苦求、所独特据都存在腹地内存里，不错随时注入、查询和重置。

每个仿真愚弄都高慢了一套融合的HTTP接口，因循四种操作。通过POST /post接口，不错向愚弄注入指定的入手现象；通过GET /go接口，不错查询入手现象和刻下现象之间的各别；通过GET /state接口，不错读取刻下的齐备现象；通过POST /upload接口，不错上传附件文献。每次考验任务都会生成一个舒服的会话ID，不同任务之间的现象互不干涉，这么就不错让数千个AI考验实例同期跑在归并套仿真软件上，互不影响。

这94款仿真愚弄的遴荐不是立地的，而是参考了两份巨擘的现实依据。一份是好意思国劳工部的O*NET作事数据库，梳理了不同作事的数字化责任经由，从督察岗到法律岗，从IT岗到电商岗，掩饰了常识责任者日常斗争最多的软件类型。另一份是Anthropic公司发布的经济指数，提供了各样软件在现实责任中被使用的频率权重，让高频使用的软件取得更多的环境掩饰。

这些仿真愚弄自己是由另一套三代理活水线自动生成的。筹备代理矜重征集的确软件的家具截图和文档，输出齐备的酌量评释；斥地代理凭据评释用React框架编写单页愚弄；测试代理用自动化浏览器剧本把愚弄里每一个可点击的元素都测一遍，把发现的问题反馈给斥地代理成立，如斯迭代直到测试通过。最终每款愚弄还会配套生成一份SKILL.md文档，贯注纪录该愚弄的现象接口、常见罗网和评分模板，供后续生成考验任务时调用。

四、练出来的AI有多横暴

用CUA-GYM生成的数据，盘考团队最终蕴蓄了32112条经过考证的考验样本，涵盖110个软件环境，其中16个是的确的桌面软件（如LibreOffice、Chrome、GIMP、VSCode等），94个是CUA-GYM-HUB里的仿真网页愚弄。

盘考团队用这批数据考验了两个限制的AI模子，都来自阿里巴巴的Qwen3.5系列：较小的A3B模子（激活参数30亿）和较大的A17B模子（激活参数170亿）。考验算法选用了GSPO——一种专为大型搀和群众模子酌量的强化学习算法，比常见的GRPO在考验踏实性上更有上风。

在OSWorld-Verified这个挑升评测电脑操作才气的圭臬测试集上，A3B模子从考验前的54.5%升迁到了62.1%，升迁了7.6个百分点；A17B模子则从62.2%飙升至72.6%，升迁了10.4个百分点。更意思的是，考验后的小模子A3B（激活参数约30亿）达到了考验前大模子A17B（激活参数约170亿）的发挥水平——也即是说，用好数据考验出来的小模子，能顶上一个参数目大十倍的未考验模子。

分软件类别来看，升迁幅度最大的是跨愚弄责任流——即是那种需要同期操作多个软件的复杂任务，A3B模子在这类任务上的顺利率升迁了21.5个百分点。LibreOffice Calc的升迁也绝顶显眼，达到14.9个百分点。

更能评释问题的是，这两个模子在WebArena这个竣工莫得参与考验的网页操作基准上，也出现了升迁——A3B从40.8%升迁到44.5%，A17B从54.0%升迁到56.0%。这评释在仿真环境里练出来的手段，能的确挪动到的确的网页环境中，而不是只会在纯属场里演出。

五、数据越多、场景越广，AI就越强

盘考团队还通过一系列受控实验，考证了两个不毛的轨则性论断。

第一个轨则是数据量与考验着力之间的关系。盘考团队用疏通的入手模子，分别在1400条、3000条和12000条考验样本上作念了对比实验，其他悉数要求保捏一致。终结相等清亮：三条考验弧线从始至终保捏了踏实的上基档次关系，数据越多、模子最终达到的天花板就越高、况且攀升得更快。绝顶值得温雅的是，12000条数据的那条弧线直到实验收尾也莫得出现显着的"趋于饱和"迹象，这意味着若是不绝加数据，模子应该还能不绝升迁。

第二个轨则是软件环境各样性与考验着力之间的关系。盘考团队酌量了一个对比实验：在总和据量疏通的情况下，相比"少许环境、每个环境大都纯属"和"大都环境、每个环境少许纯属"两种战术的着力。具体来说，他们相比了"10个环境各练300次"和"80个环境各练38次"的终结。论断出东说念主料到：环境更等闲的那组，自然每个环境只练了前者的八分之一，但最终测试获利反而更高。这评释让AI斗争更多种类的软件和场景，比在少数几个软件上深度近似纯属更有价值。

六、一个莫得刻意酌量却自然出现的节俭手段

盘考团队在考验过程中还不雅察到了一个莫得主动酌量、却自然浮现出来的征象，让他们颇为惊喜。

考验入手时，AI每次动手只发一个动作——点一下、输入一个字符、滚一下页面——然后恭候截图反馈再决定下一步。但跟着强化学习的鼓动，AI入手把多个动作打包在归并次"动手"里发出来。比如蓝本需要三步的"点击文献菜单→点击导出→点击PDF"，AI学会了把它们合并成一次输出。到考验踏实后，AI每次动手平均包含了1.4到1.9个动作，通盘任务轨迹的长度镌汰了33%到45%。

盘考团队分析觉得，这种活动来自立化学习的激勉结构：每个任务都有步数上限，在步数预算内完成任务的AI能取得更高的相对奖励。这就像一个限时比赛，学会了"连招"的选手自然比只会"单招"的选手更灵验率。AI自觉学会了判断哪些动作不错安全地批量践诺、哪些动作需要先看了了终结再决定——比如流通的菜单点击不错合并，但需要等集聚反应或证据弹窗的操作就不成合并。

这种着力升迁不仅节俭了考验技能，在现实部署时也意味着更快的反应速率，地说念是强化学习在莫得特殊联接的情况下自行发现的一种责任方式。

说到底，CUA-GYM这项责任最中枢的价值，是买通了一条让AI操作电脑的考验数据工场化坐褥的门道。此前，数据稀缺一直是制约电脑操作AI发展的根底瓶颈，就像一家工场有了机器和工东说念主，却找不到充足的原材料。CUA-GYM绝顶于把原材料的挖矿和冶真金不怕火都自动化了——惟有给定话题，它就动力源络续地产出高质地、可考证的考验数据，而且质地关卡是智力化而非依赖东说念主工的。

关于普通用户来说，这意味着未来那些能帮你自动完成责任的AI助手——不论是帮你整理电子表格、发邮件、填报销单如故督察技俩——背后的考验体系有了更可靠的限制化旅途。自然，当今的仿真环境与的确软件之间还存在差距，复杂的权限督察、集聚延长、不测弹窗这些的确寰宇的"不测"还不在考验范畴之内。但盘考团队仍是把齐备的活水线、数据集、仿真环境和考验好的模子全部开源，这意味着通盘盘考社区都不错在此基础上不绝鼓动。值得念念考的是，当考验数据的坐褥自己也被AI自动化了，AI才气的进化速率会不会因此而加速？这个问题的谜底，粗略在接下来几年里就会变得清亮。

Q&A

Q1：CUA-GYM生成的考验数据为什么要把"生成器"和"判别器"阻挠开来？

A：若是两个代理分享信息，判别器可能径直查抄生成器的代码逻辑而不是考证任务是否的确完成，这么写出来的评分函数绝顶于舞弊——只检测自家"谜底"的款式，而非的确的任务终结。信息阻挠将就判别器从任务语义开赴舒服估量评分圭臬，确保考验信号的确灵验。

Q2：CUA-GYM-HUB里的仿真愚弄和的确软件有什么区别？

A：CUA-GYM-HUB里的仿真愚弄去掉了登录考证、集聚请乞降跨账号权限等在考验中无法胁制的要素，数据存储在腹地内存中，不错随时注入入手现象和重置。外不雅和交互逻辑尽量收复了Slack、Notion等的确软件，但骨子上是一个可编程的"沙盒"，浅易AI考验时精准胁制和评估。

Q3：OSWorld-Verified测试集是用来测什么才气的？

A：OSWorld-Verified是一个挑升评测电脑操作AI才气的圭臬基准万博manbext体育官网app官网，内部的任务涵盖LibreOffice办公套件、Chrome浏览器、GIMP图像剪辑、VSCode代码剪辑、系统操作以及跨愚弄责任流等多个类别，要求AI通过截图不雅察界面、发出鼠标键盘教导来完成的确的电脑操作任务，最终以任务顺利率算作评分圭臬。