关键词

网页分析URL分析Claude Desktop集成网页内容提取工具调用

使用说明

项目简介

mcp_fetch 是一个基于 Model Context Protocol (MCP) 的服务器实现，专注于网页分析功能。它作为一个 MCP 服务器，可以被配置到支持 MCP 协议的 LLM 客户端（如 Claude Desktop）中使用，为其提供分析网页内容的能力。

主要功能点

  • 网页内容抓取与分析: 能够根据提供的 URL 抓取网页内容，并使用 BeautifulSoup 库解析 HTML。
  • 结构化信息提取: 从网页中提取关键信息，包括网页标题、链接数量、段落数量和图片数量。
  • 工具注册与调用: 通过 MCP 协议向客户端暴露 'analyze_url' 工具，允许客户端请求分析指定 URL 的网页。
  • 标准 MCP 服务器实现: 遵循 MCP 协议规范，使用 JSON-RPC 通信，并通过标准输入/输出 (stdio) 作为传输协议。

安装步骤

  1. 创建项目目录并进入:

    mkdir web_analyzer
cd web_analyzer

  2. 创建并激活虚拟环境:

    # 创建虚拟环境
python -m venv venv

# 激活虚拟环境
# 在 Windows 上:
venv\Scripts\activate
# 在 Unix/MacOS 上:
source venv/bin/activate

  3. 创建 'requirements.txt' 文件: 在项目目录下创建名为 'requirements.txt' 的文件，并复制以下内容：

    mcp>=1.0.0
httpx>=0.27.0
beautifulsoup4>=4.12.0

  4. 创建 'web_analyzer.py' 文件: 在项目目录下创建名为 'web_analyzer.py' 的文件，并将仓库提供的 'web_analyzer.py' 代码复制到该文件中。

  5. 安装依赖: 在激活的虚拟环境中，运行以下命令安装所需的 Python 库：

    pip install -r requirements.txt

服务器配置

要将 'web_analyzer' MCP 服务器配置到 Claude Desktop，您需要编辑 Claude Desktop 的配置文件 'claude_desktop_config.json'。

  • 找到配置文件路径:

    • macOS: '~/Library/Application Support/Claude/claude_desktop_config.json'
    • Windows: '%APPDATA%\Claude\claude_desktop_config.json'

  • 编辑配置文件: 打开 'claude_desktop_config.json' 文件，并在 'mcpServers' 字段中添加以下配置。 请务必根据您的实际路径修改 'command' 和 'args' 中的路径。

    {
  "mcpServers": {
    "web-analyzer": {  // 服务器名称，在 Claude Desktop 中显示的名称
      "command": "/full/path/to/your/venv/bin/python", // Python 解释器路径，指向您虚拟环境中的 Python
      "args": ["/full/path/to/your/web_analyzer.py"], // 服务器脚本路径，指向您项目目录下的 web_analyzer.py 文件
      "env": {} // 环境变量，如果需要可以设置，此处为空
    }
  }
}

    注意:

    • '/full/path/to/your/venv/bin/python' 需要替换为您实际的虚拟环境 Python 解释器路径。例如，在 macOS 上可能是 '/Users/your_username/web_analyzer/venv/bin/python'。
    • '/full/path/to/your/web_analyzer.py' 需要替换为您实际的 'web_analyzer.py' 文件路径。例如，可能是 '/Users/your_username/web_analyzer/web_analyzer.py'。
    • 您可以使用 'which python' (在激活虚拟环境后) 命令来查找虚拟环境 Python 解释器的路径。

  • 重启 Claude Desktop: 完成配置后，重启 Claude Desktop 使配置生效。

基本使用方法

  1. 确保虚拟环境已激活: 在终端中，确保您的 'web_analyzer' 项目的虚拟环境处于激活状态。
  2. 打开 Claude Desktop: 启动 Claude Desktop 应用程序。
  3. 检查服务器连接: 在 Claude Desktop 界面中，点击插件 (🔌) 图标，确认 'web-analyzer' 服务器已连接并显示在线状态。
  4. 使用 'analyze_url' 工具: 在 Claude Desktop 的聊天界面中，您可以指示 Claude 使用 'analyze_url' 工具来分析网页。例如，您可以提问类似 "分析一下 [网页URL]" 或 "使用 analyze_url 工具分析 [网页URL]" 的问题。Claude 应该能够识别并调用 'analyze_url' 工具，并将分析结果返回给您。

信息

分类

网页与API

访问项目