关键词

网页浏览内容提取信息检索CSS选择器AI工具

使用说明

项目简介

'web-browser-mcp-server' 是一个基于 Model Context Protocol (MCP) 构建的服务器，旨在为大型语言模型 (LLM) 应用提供强大的网页浏览功能。通过该服务器，LLM 可以访问互联网内容，并根据用户的需求提取网页上的信息，例如文本、标题、链接以及使用 CSS 选择器定位的特定元素。

主要功能点

  • 网页内容获取: 根据提供的 URL 抓取网页的 HTML 内容。
  • 智能内容提取: 支持使用 CSS 选择器精确提取网页中的特定内容，例如文章段落、标题、列表等。
  • 结构化数据: 返回网页的标题、纯文本内容和链接等基本信息，并支持自定义提取结构化数据。
  • 可配置性: 允许通过环境变量配置请求超时时间、用户代理等参数，以适应不同的网络环境和需求。
  • 易于集成: 遵循 MCP 协议，可以方便地与支持 MCP 协议的 LLM 客户端集成，例如 Claude Desktop。

安装步骤

  1. 确保已安装 Python 3.8 或更高版本。 推荐使用 'uv' 包管理器以获得更快的安装速度。

  2. 使用 'pip' 或 'uv' 安装 'web-browser-mcp-server' 包：

    # 使用 pip
pip install web-browser-mcp-server

# 使用 uv (推荐)
uv pip install web-browser-mcp-server

服务器配置

对于 MCP 客户端（例如 Claude Desktop），您需要配置 MCP 服务器的启动命令和参数。以下是一个典型的配置示例，您需要根据您的实际安装路径进行调整。

{
    "mcpServers": {
        "web-browser-mcp-server": {
            "command": "uv",  // 或者 "pipenv" / "python" 等，取决于您的环境和启动方式
            "args": [
                "--directory",
                "<installation_path>", //  请替换为 web-browser-mcp-server 的安装路径，例如：/Users/yourname/.local/lib/python3.10/site-packages/web_browser_mcp_server
                "run",
                "web-browser-mcp-server"
            ],
            "env": {
                "REQUEST_TIMEOUT": "30" // 可选，设置请求超时时间，单位为秒
            }
        }
    }
}

配置说明:

  • '"server name"': '"web-browser-mcp-server"' - 服务器的名称，用于在客户端中标识和引用。
  • '"command"': 启动服务器的命令。 通常为 'uv', 'pipenv run', 'python -m' 等。 如果直接使用 'python' 启动，则需要指定入口脚本的路径。
  • '"args"': 启动命令的参数列表。
    • '--directory <installation_path>': 指定 'web-browser-mcp-server' 包的安装路径。 请务必替换 '<installation_path>' 为实际路径。 您可以通过 'pip show web-browser-mcp-server' 或 'uv pip show web-browser-mcp-server' 命令查看安装路径。 如果使用 'python -m web_browser_mcp_server.server' 启动，则可能不需要 '--directory' 参数。
    • '"run"': 指示运行该 MCP 服务器。
    • '"web-browser-mcp-server"': 服务器的入口点，通常是包名或模块名。
  • '"env"': 可选的环境变量配置。
    • '"REQUEST_TIMEOUT"': 设置网页请求的超时时间，单位为秒。 可以根据网络状况和需求进行调整。

查找安装路径的示例命令:

pip show web-browser-mcp-server | grep Location
# 或者
uv pip show web-browser-mcp-server | grep Location

根据输出的 'Location:' 行后面的路径，替换配置中的 '<installation_path>'。

基本使用方法

一旦服务器配置完成并在 MCP 客户端中启动，您就可以通过客户端调用 'browse_webpage' 工具来浏览网页并提取内容。

工具名称: 'browse_webpage'

工具描述: 从网页中提取内容，可以指定 CSS 选择器来获取特定元素的内容。

输入参数:

  • 'url' (string, 必填): 要浏览的网页 URL。
  • 'selectors' (object, 可选): CSS 选择器字典，用于提取网页中的特定内容。 键为自定义的字段名，值为 CSS 选择器字符串。

示例:

假设您想从 'https://example.com' 网页中获取标题和文章内容，您可以在 MCP 客户端中调用 'browse_webpage' 工具，并提供以下参数：

{
  "tool_call": {
    "tool_name": "browse_webpage",
    "tool_arguments": {
      "url": "https://example.com",
      "selectors": {
        "page_title": "title",
        "article_content": "article.content"
      }
    }
  }
}

服务器将返回包含网页标题、纯文本内容、链接以及根据 CSS 选择器提取的内容的结构化数据。

请参考 MCP 客户端的文档，了解如何在您的客户端中配置和使用 MCP 服务器以及如何调用工具。

信息

分类

网页与API

访问项目