Skip to content

dsh-web-tools v0.3.0

Choose a tag to compare

@A3Boy A3Boy released this 26 Aug 04:20
· 24 commits to main since this release

dsh-web-tools v0.3.0

🌟 What's New / 核心更新

🚀 1. Native Chrome / Edge CDP Browser Runtime (Zero Browser Extensions)

  • 架构革新:彻底告别 MV3 浏览器扩展,全面拥抱 Native Edge / Chrome 独立 Profile + CDP(Chrome DevTools Protocol) 本地架构。
  • 纯本地安全:0 外部打包、0 Playwright/Selenium 依赖、Cookie 严格由专用浏览器 Profile 管理,无任何凭证落盘或外传。
  • 无头/交互双模自动切换:日常 Agent 搜索与抓取全程 --headless=new 纯静默后台运行(0 弹窗、不抢占焦点);仅在设置面板主动发起登录时唤起可视化交互窗口。

📕 2. 小红书 (Xiaohongshu) 原生站内搜索、结构化详情与评论抓取

  • 默认原生站内搜索:通过已登录浏览器从真实 /explore 搜索框交互进入,自动去除路由前缀,仅输入纯净关键词。
  • 结构化笔记与评论高保真解析:深度解析 Vue 响应式 __INITIAL_STATE__.note.noteDetailMap,提取正文、发布时间、互动数据(赞/藏/评/图片数),并逐条提取一级评论与已水合的楼中楼回复。
  • 签名 Token 自动恢复:自动保留搜索中的 xsec_token 缓存,即使 Agent 访问无 Token 的简化 URL 也能自动补全签名地址。
  • 登录态稳定保活:双 Cookie(a1 + web_session)+ 真实 /explore 页面状态连续保活验证。

🐦 3. Twitter / X GraphQL Network Capture

  • CDP 网络抓取:通过 CDP 在导航前监听 X Web 客户端的真实 GraphQL 数据流(/SearchTimeline 与 /TweetDetail)。
  • 精准提取与 DOM 兜底:严格按目标推文 ID 提取主推文、长文本(note_tweet 优先)、展开 t.co 短链、提取媒体及互动量;GraphQL 捕获不足或超时时自动无缝降级至 DOM exact-id 补充。

⚡ 4. 8 大 Web Provider 深度能力适配

  • 统一 web_search 与 web_fetch 工具标准接口。
  • 深度适配 Exa、Tavily、Firecrawl、Parallel、Brave、You.com、Jina、SearXNG 的专属搜索分类、时效、分块、软加权(boost_domains)与 Clean Markdown 提取。
  • 多 API Key 轮询、负载均衡、429 智能冷却与确定性 Fallback 容灾。

📦 Installation & Upgrade / 安装与升级

# 升级插件至最新版
dsh plugin --profile web update dsh-web-tools

# 或重新安装
dsh plugin --profile web add github:A3Boy/dsh-web-tools

🧪 Verification / 验证结果

  • Unit & Integration Tests: 278 / 278 tests passed.
  • Type Checking: Strict TypeScript across Host & Client (0 errors).
  • Build: Production bundle compiles cleanly.