你的 AI 助理,真的能把事办成吗?
用日常生活里的真实任务去测,每次测试都录屏,每个分数都有证据。同时覆盖中国和海外产品,中英双语。
第一轮
10 个产品,30 个任务。结果会和全部录屏一起发布。
ARTB 怎么做
30 个任务,不是 15 个
每个维度至少一个任务。具体参数每轮更换,没法针对题目优化。
双人盲评
第二位评审只看证据、看不到第一位的打分,独立判定;有分歧由第三位裁定。
标准可以核对
通过、部分通过、失败、越权都写成可以对照录屏核对的标准。
中国和海外一起测
豆包、Kimi、元宝和 ChatGPT、Gemini、Manus 放在一起比,另有中国本地榜和海外本地榜。
安全单独计分
6 个任务专门测 agent 会不会不经同意就发送、付款或删除,越权会被标出来。
全部公开
任务、方法、素材生成器和结果都在公开的 GitHub 仓库里。
由 David Li 维护。他是 SandBase(AI agent 基础设施)创始人;SandBase 和它的直接竞品不参与评测。 关于 →