Oxylabs MCP 服务器使用说明

项目简介

Oxylabs MCP 服务器是一个实现了 Model Context Protocol (MCP) 的应用后端，专注于为大型语言模型 (LLM) 客户端提供网页数据抓取功能。它集成了 Oxylabs 强大的 Web Scraper API 和 Web Unblocker，使得 LLM 能够安全、高效地访问和处理来自互联网的实时信息。

主要功能点

网页抓取: 提供 'oxylabs_scraper' 和 'oxylabs_web_unblocker' 两个核心工具，支持根据 URL 抓取网页内容。
灵活的渲染选项: 支持无头浏览器渲染，可以抓取 JavaScript 动态加载的内容，并提供 HTML 渲染和无渲染两种模式。
HTML 解析与转换: 支持 HTML 解析，可以将抓取的内容转换为 Markdown 格式，方便 LLM 理解和处理。
智能内容提取: 具备智能内容解析能力，优化抓取结果，使其更易于 LLM 使用。
便捷的集成: 可以通过 Smithery 或手动配置集成到 Claude Desktop 和 Cursor 等 MCP 客户端。

安装步骤

前提条件

确保已安装 'uv' 包管理器。安装指南请参考 uv installation。

安装方法

通过 Smithery 自动安装 (推荐 Claude Desktop 用户): 打开终端，运行以下命令，将自动安装 Oxylabs MCP 服务器并配置 Claude 客户端：

npx -y @smithery/cli install @oxylabs/oxylabs-mcp --client claude

手动安装 (适用于 Cursor 等客户端): a. 克隆仓库:

git clone https://github.com/oxylabs/oxylabs-mcp.git
cd oxylabs-mcp

b. 创建并激活虚拟环境:

uv venv
source .venv/bin/activate  # macOS/Linux
# 或
.venv/Scripts/activate  # Windows

c. 安装依赖:

uv sync

服务器配置

MCP 客户端配置信息 (JSON 格式示例)

以下是在 MCP 客户端 (如 Cursor) 中配置 Oxylabs MCP 服务器的 JSON 格式示例。您需要根据您的实际使用环境进行配置。

Cursor 配置示例:

在 Cursor 设置中，添加新的 MCP 服务器，配置信息如下：

{
  "name": "oxylabs",  // MCP 服务器名称，可以自定义
  "type": "command",
  "command": "npx",  // 启动命令，这里使用 npx
  "args": [
    "-y",
    "@smithery/cli@latest",
    "run",
    "@oxylabs/oxylabs-mcp",
    "--config",
    "{\"oxylabsUsername\":\"YOUR_USERNAME\",\"oxylabsPassword\":\"YOUR_PASSWORD\"}" // 传递 Oxylabs 用户名和密码
  ]
}

参数说明:

'"name"': 服务器名称，在 MCP 客户端中用于标识该服务器，可以自定义。
'"type"': 服务器类型，固定为 '"command"'。
'"command"': 启动服务器的命令，通常为 'npx' 或 'uv' (如果本地运行)。
'"args"': 启动命令的参数列表。
- '"-y"': 'npx' 参数，表示自动确认安装包。
- '"@smithery/cli@latest"': 指定使用的 Smithery CLI 工具和版本。
- '"run"': Smithery CLI 的 'run' 命令，用于运行 MCP 服务器。
- '"@oxylabs/oxylabs-mcp"': 指定要运行的 MCP 服务器包。
- '"--config"': 用于传递配置信息的参数。
- '"{"oxylabsUsername":"YOUR_USERNAME","oxylabsPassword":"YOUR_PASSWORD"}"': JSON 格式的配置字符串，用于设置 Oxylabs API 的用户名和密码。请务必替换 'YOUR_USERNAME' 和 'YOUR_PASSWORD' 为您实际的 Oxylabs 账户凭据。

Claude Desktop 配置示例:

修改 Claude Desktop 的配置文件 'claude_desktop_config.json' (可通过 Claude 设置 -> 开发者 -> 编辑配置找到文件位置)，在 '"mcpServers"' 字段下添加如下配置：

{
  "mcpServers": {
    "oxylabs_scraper": { // 服务器名称，可以自定义
      "command": "uv",   // 启动命令，这里使用 uv
      "args": [
        "--directory",
        "/<Absolute-path-to-folder>/oxylabs-mcp", // Oxylabs MCP 服务器代码的绝对路径，请替换为实际路径
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME_HERE", // Oxylabs 用户名，请替换为您实际的用户名
        "OXYLABS_PASSWORD": "YOUR_PASSWORD_HERE"  // Oxylabs 密码，请替换为您实际的密码
      }
    }
  }
}

参数说明:

'"oxylabs_scraper"': 服务器名称，在 Claude Desktop 中用于标识该服务器，可以自定义。
'"command"': 启动服务器的命令，这里使用 'uv'，假设您在本地运行服务器。
'"args"': 启动命令的参数列表。
- '"--directory"': 指定 MCP 服务器代码所在的目录。 请将 '"/<Absolute-path-to-folder>/oxylabs-mcp"' 替换为 Oxylabs MCP 服务器代码在您本地机器上的绝对路径。
- '"run"': 'uv' 命令的 'run' 子命令，用于运行 Python 模块。
- '"oxylabs-mcp"': 指定要运行的 Python 模块名称。
'"env"': 环境变量配置。
- '"OXYLABS_USERNAME"': Oxylabs API 用户名。 请将 '"YOUR_USERNAME_HERE"' 替换为您实际的 Oxylabs 用户名。
- '"OXYLABS_PASSWORD"': Oxylabs API 密码。 请将 '"YOUR_PASSWORD_HERE"' 替换为您实际的 Oxylabs 密码。

基本使用方法

配置完成后，在支持 MCP 的客户端 (如 Claude Desktop 或 Cursor) 中，您可以通过自然语言指令调用 Oxylabs MCP 服务器提供的工具。

例如，在 Claude 中，您可以这样提问：

"Could you scrape https://oxylabs.io page?" (抓取 Oxylabs 官网首页)
"Scrape https://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651V with parse enabled." (抓取亚马逊商品页面并解析内容)
"Scrape https://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0 with parse and render enabled." (抓取亚马逊畅销榜单页面，解析内容并使用渲染)
"Use web unblocker with render to scrape https://oxylabs.io/" (使用 Web Unblocker 和渲染功能抓取 Oxylabs 官网)

客户端会自动识别并调用 Oxylabs MCP 服务器提供的 'oxylabs_scraper' 或 'oxylabs_web_unblocker' 工具来完成网页抓取任务，并将结果返回给 LLM。您可以通过描述您的网页抓取需求来隐式调用，或者在某些客户端中可以显式指定使用 "oxylabs" 服务器的工具。

注意: 使用 Oxylabs MCP 服务器需要有效的 Oxylabs 账户和 API 凭据。请确保您已拥有 Oxylabs 账户并在配置中正确填写了用户名和密码。

关键词