使用说明

项目简介

ScrAPI MCP Server 是一个基于 Model Context Protocol (MCP) 的服务器实现，它利用 ScrAPI 提供的网页抓取服务，向支持 MCP 协议的 LLM 客户端提供网页内容抓取功能。通过该服务器，LLM 应用可以方便地获取指定 URL 的网页 HTML 或 Markdown 格式的内容，从而增强 LLM 的信息获取和处理能力。

主要功能点

网页抓取工具: 提供了 'scrape_url_html' 和 'scrape_url_markdown' 两个工具，分别用于抓取指定 URL 的网页内容，并以 HTML 或 Markdown 格式返回。
易于集成: 可以通过 Docker 或 NPX 快速部署和运行，并提供了 Claude Desktop 的集成配置示例，方便用户快速上手。
可选API Key: 支持配置 ScrAPI API Key，配置后可提升并发请求数和每日免费调用次数限制。

安装步骤

环境准备: 确保已安装 Docker 或 Node.js (和 npm)。
选择部署方式: 可以选择 Docker 部署或 NPX 部署。
- Docker 部署 (推荐):
  - 确保已安装 Docker。
  - 无需额外安装，直接使用 Docker 命令运行。
- NPX 部署:
  - 确保已安装 Node.js 和 npm。
  - 无需额外安装，使用 NPX 命令即可运行。

服务器配置 (MCP客户端配置)

MCP 客户端需要配置 MCP 服务器的启动命令才能连接并使用 ScrAPI MCP Server 提供的工具。以下是针对不同部署方式的 MCP 客户端配置示例 (以 'claude_desktop_config.json' 为例):

1. Docker 部署配置

{
  "mcpServers": {
    "scrapi": {  // 服务器名称，可以自定义
      "command": "docker",  // 启动命令为 docker
      "args": [  // 启动参数
        "run",
        "-i",  // 保持STDIN打开，即使未附加
        "--rm", // 容器退出时自动删除容器
        "-e",  // 设置环境变量
        "SCRAPI_API_KEY", // 环境变量名，用于传递 ScrAPI API Key
        "deventerprisesoftware/scrapi-mcp" // Docker 镜像名称
      ],
      "env": {  // 环境变量配置
        "SCRAPI_API_KEY": "<YOUR_API_KEY>"  // 此处替换为您的 ScrAPI API Key，可选，没有API Key有调用次数限制
      }
    }
  }
}

2. NPX 部署配置

{
  "mcpServers": {
    "scrapi": {  // 服务器名称，可以自定义
      "command": "npx",  // 启动命令为 npx
      "args": [  // 启动参数
        "-y",  // 自动确认所有提示
        "@deventerprisesoftware/scrapi-mcp" // NPX 包名
      ],
      "env": {  // 环境变量配置
        "SCRAPI_API_KEY": "<YOUR_API_KEY>"  // 此处替换为您的 ScrAPI API Key，可选，没有API Key有调用次数限制
      }
    }
  }
}

注意:

'<YOUR_API_KEY>' 处可以替换为您的 ScrAPI API Key。如果不需要更高的并发和调用量，可以不配置 API Key。
'"scrapi"' 是服务器名称，可以根据您的需要自定义，在 LLM 客户端调用工具时会用到。

基本使用方法

启动 MCP 服务器: 根据选择的部署方式 (Docker 或 NPX) 启动 ScrAPI MCP Server。
配置 MCP 客户端: 将上述相应的 JSON 配置添加到您的 MCP 客户端配置文件中 (例如 Claude Desktop 的 'claude_desktop_config.json')，并确保配置中的服务器名称 ('"scrapi"' 或您自定义的名称) 与客户端调用工具时使用的服务器名称一致。
在 LLM 应用中使用工具: 在支持 MCP 协议的 LLM 应用中，可以使用配置的服务器名称和工具名称来调用网页抓取功能。

例如，在 Claude Desktop 中，您可以使用 '@scrapi.scrape_url_html(url='https://example.com')' 或 '@scrapi.scrape_url_markdown(url='https://example.com')' 来抓取指定网页的内容。

通过以上步骤，您就可以在支持 MCP 协议的 LLM 应用中使用 ScrAPI MCP Server 提供的网页抓取工具，方便快捷地获取网络信息。

关键词