关键词

网页研究深度搜索内容提取ClaudeLLM信息检索

使用说明

项目简介

Deep Web Research Server 是一个基于 Model Context Protocol (MCP) 构建的应用后端，旨在为 Claude 等大型语言模型 (LLM) 客户端提供强大的网络研究能力。它通过集成 Google 搜索、网页内容提取和智能会话管理，使 LLM 能够访问和利用实时网络信息，从而提升其在信息检索和深度研究方面的性能。

主要功能点

  • 智能搜索队列系统：支持批量搜索操作，具备速率限制、队列管理、错误恢复和结果去重等功能，确保高效稳定的搜索体验。
  • 增强内容提取：采用 TF-IDF 算法进行相关性评分，结合关键词邻近度分析、内容分段权重和可读性评分等技术，实现更精准、结构化的网页内容提取。
  • 深度网页研究工具：提供 'deep_research' 工具，支持自定义研究深度和分支，进行全面的主题研究和内容分析。
  • 并行搜索工具：提供 'parallel_search' 工具，支持并行执行多个 Google 搜索查询，加速信息收集过程。
  • 网页访问工具：提供 'visit_page' 工具，支持访问指定网页并提取其内容，方便 LLM 获取特定页面的信息。
  • Prompt 模板支持：内置 'agentic-research' Prompt 模板，引导 Claude 进行深入的网络研究和互动式探索。
  • 会话管理：支持研究会话跟踪和资源管理，方便用户管理和回顾研究结果。

安装步骤

本仓库提供了多种安装方式，以下是推荐的全局安装方式（需要 Node.js 环境）：

  1. 全局安装 (推荐)： 打开终端或命令提示符，执行以下命令进行全局安装：

    npm install -g mcp-deepwebresearch

    或者使用 yarn：

    yarn global add mcp-deepwebresearch

    或者使用 pnpm:

    pnpm add -g mcp-deepwebresearch

  2. 安装浏览器依赖： 首次安装后，需要运行以下命令安装 Playwright 浏览器依赖：

    npx playwright install chromium

服务器配置

要将 Deep Web Research Server 集成到 MCP 客户端（如 Claude Desktop），您需要配置客户端的配置文件。以下是 'claude_desktop_config.json' 文件的配置示例：

{
  "mcpServers": {
    "deepwebresearch": {
      "command": "mcp-deepwebresearch",
      "args": []
    }
  }
}

配置参数说明：

  • 'server name': 'deepwebresearch' (服务器名称，在客户端中用于标识和选择该服务器)
  • 'command': 'mcp-deepwebresearch' (启动 MCP 服务器的命令，通常是已安装的包名或可执行文件路径)
  • 'args': '[]' (启动命令的参数，本服务器无需额外参数)

配置文件位置：

  • Windows: '%APPDATA%\Claude\claude_desktop_config.json'
  • macOS: '~/Library/Application Support/Claude/claude_desktop_config.json'

请根据您的操作系统，将以上配置添加到对应的 'claude_desktop_config.json' 文件中。

基本使用方法

  1. 启动 Claude Desktop 应用。
  2. 开始与 Claude 的对话。
  3. 在对话中输入需要进行网页研究的 Prompt。例如，您可以直接提问需要研究的主题，或者使用预置的 'agentic-research' Prompt 模板（通过点击聊天输入框的 Paperclip 图标 -> "Choose an integration" -> "deepwebresearch" -> "agentic-research" 选择）。
  4. Deep Web Research Server 将自动响应 Claude 的请求，执行网络搜索、内容提取等操作，并将结果以结构化的形式返回给 Claude，辅助 Claude 生成更准确、更全面的回复。

工具使用示例： 您可以在 Prompt 中指示 Claude 使用以下工具：

  • 'deep_research': 进行深度研究，例如：'工具: deep_research, 参数: {topic: "量子计算的应用"}'
  • 'parallel_search': 并行搜索多个关键词，例如：'工具: parallel_search, 参数: {queries: ["量子计算 优势", "量子计算 挑战"]}'
  • 'visit_page': 访问网页并提取内容，例如：'工具: visit_page, 参数: {url: "https://example.com"}'
  • 'take_screenshot': 截取当前页面的屏幕截图，例如： '工具: take_screenshot, 参数: {}'

Prompt 模板使用示例： 使用 'agentic-research' Prompt 模板，可以引导 Claude 进行更智能、更具互动性的研究，例如，您可以让 Claude "使用 agentic-research prompt 模板研究人工智能的未来发展趋势"。

信息

分类

网页与API

访问项目