关键词

网页抓取网络访问数据提取HTTP请求内容获取

使用说明

项目简介

'mcp-node-fetch' 是一个基于 Model Context Protocol (MCP) 的服务器，旨在为大型语言模型（LLM）提供访问和处理网络内容的能力。它通过提供一系列工具，使得 LLM 能够从互联网上获取信息，进行更丰富的上下文交互。

主要功能点

  • 网页内容获取: 通过 'fetch-url' 工具，可以从指定的 URL 获取网页内容，支持多种内容格式 (text, json, binary, html-fragment) 和 HTTP 方法 (GET, POST, PUT, DELETE 等)，并可自定义请求头和请求体。
  • HTML 片段提取: 'extract-html-fragment' 工具允许用户通过 CSS 选择器从网页中精确提取 HTML 片段，方便 LLM 专注于网页的特定部分。
  • 网址状态检查: 'check-status' 工具可以快速检测 URL 的可访问性，返回 URL 的 HTTP 状态码，无需下载完整网页内容。

安装步骤

  1. 安装 Node.js: 确保你的电脑上已经安装了 Node.js 运行环境。
  2. 克隆仓库: 打开终端，执行命令 'git clone https://github.com/mcollina/mcp-node-fetch.git' 克隆代码仓库到本地。
  3. 进入目录: 使用 'cd mcp-node-fetch' 命令切换到项目目录。
  4. 安装依赖: 运行 'npm install --omit=dev' 命令安装项目运行所需的依赖包（省略开发依赖）。
  5. 构建项目: 执行 'npm run build' 命令编译 TypeScript 代码为 JavaScript 代码。

服务器配置

要将 'mcp-node-fetch' 服务器配置到 MCP 客户端（例如 Claude for Desktop），您需要在客户端的配置文件中指定服务器的启动方式。以下是一个典型的配置示例，通常添加到客户端的 'claude_desktop_config.json' 文件中。

{
  "mcpServers": {
    "node-fetch": {
      "command": "node",
      "args": ["dist/index.js"] // 指定服务器启动入口文件为编译后的 index.js
    }
  }
}

基本使用方法

  1. 启动服务器: 在项目根目录下，运行命令 'npm start' 启动 MCP 服务器。服务器将监听标准输入输出，等待 MCP 客户端的连接和请求。
  2. 配置 MCP 客户端: 根据您使用的 MCP 客户端的指引，配置客户端连接到名为 'node-fetch' 的 MCP 服务器，并应用上述提供的服务器配置信息。
  3. 客户端调用工具: 当客户端成功连接到 'mcp-node-fetch' 服务器后，您就可以在客户端中调用服务器提供的工具，例如 'fetch-url'、'extract-html-fragment' 和 'check-status'，以实现网页内容获取、HTML 提取和状态检查等功能。具体工具的使用参数和返回结果请参考仓库的 README.md 文件中 "MCP Tools" 部分的详细说明。

信息

分类

网页与API

访问项目