项目简介

Fetch Browser 是一个强大的无头浏览器 MCP 服务器，旨在为 AI 智能体提供便捷的网络内容获取和 Google 搜索能力。它无需 API 密钥，直接通过模拟浏览器行为抓取网页内容，并能智能解析 Google 搜索结果，支持多种数据格式输出，便于集成到各类 AI 平台。

主要功能点

• 免 API 密钥的网页内容抓取: 利用无头浏览器技术，直接抓取网页内容，无需 Google Search API 或其他付费服务。
• 智能 Google 搜索:
  • 从 Google 搜索结果中提取结构化数据。
  • 支持网页和新闻搜索。
  • 可配置搜索结果数量（1-100条）。
  • 抓取搜索结果页面的完整内容。
  • 具备自动重试和错误处理机制。
• 通用内容抓取:
  • 支持抓取任何网页或 API 接口的数据。
  • 支持多种输出格式：HTML, JSON, 文本, Markdown。
  • 自动检测内容类型。
  • 具备响应大小限制和超时保护。
  • 速率限制保护。
• 格式转换:
  • 将 HTML 清理并转换为 Markdown 格式。
  • 格式化 JSON 输出。
  • 结构化的 HTML 输出。
  • 纯文本输出，保留格式。

安装步骤

1. 克隆仓库:

   git clone https://github.com/TheSethRose/Fetch-Browser.git
   cd Fetch-Browser
   

2. 安装依赖:

   npm install
   

3. 构建项目:

   npm run build
   

4. 启动服务器:

   npm start
   

服务器配置

MCP 客户端需要配置以下信息以连接 Fetch Browser 服务器：

{
  "serverName": "fetch-browser",
  "command": "node",
  "args": [
    "dist/index.js"
  ]
}

配置参数说明:

• 'serverName': 服务器名称，可以自定义，用于在客户端识别和管理连接。例如 "fetch-browser"。
• 'command': 启动服务器的命令。由于 Fetch Browser 是 Node.js 应用，这里设置为 "node"。
• 'args': 命令参数，指向编译后的服务器入口文件。'dist/index.js' 是项目构建后生成的 JavaScript 文件路径。

基本使用方法

启动 Fetch Browser MCP 服务器后，您可以在 MCP 客户端中使用 'google_search' 和 'fetch_url' 两个工具来获取网络信息。

工具示例:

1. 'google_search' 工具: 执行 Google 搜索并返回结果。

   • 工具名称: 'google_search'
   • 参数示例:

     {
       "query": "人工智能最新进展",
       "responseType": "markdown",
       "maxResults": 3,
       "topic": "news"
     }
     

   • 功能描述: 搜索 "人工智能最新进展" 的新闻，并以 Markdown 格式返回最多 3 条结果。

2. 'fetch_url' 工具: 抓取指定 URL 的网页内容。

   • 工具名称: 'fetch_url'
   • 参数示例:

     {
       "url": "https://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD",
       "responseType": "text"
     }
     

   • 功能描述: 抓取 维基百科 "人工智能" 页面，并返回纯文本格式的内容。