项目简介

FireCrawl MCP Server 是一个实现了 Model Context Protocol (MCP) 的服务器，它将 Firecrawl 的网络爬取和数据提取功能以标准化的 MCP 协议提供给 LLM 客户端。通过这个服务器，LLM 应用可以方便地调用各种网页数据抓取工具，例如网页内容抓取、网站爬虫、网页搜索和数据批量处理等，从而增强 LLM 在处理需要网络信息场景下的能力。

主要功能点

网页抓取 (Scrape): 从单个 URL 抓取网页内容，支持多种格式（Markdown, HTML, 纯文本等），并可配置只抓取主要内容、等待动态内容加载等高级选项。
批量抓取 (Batch Scrape): 高效地批量抓取多个 URL 的内容，内置速率限制和并行处理机制，支持异步任务和状态查询。
网页搜索 (Search): 执行网页搜索并提取搜索结果，可以配置抓取搜索结果页面的内容，支持多种搜索参数和地区语言设置。
网站爬取 (Crawl): 启动异步网站爬取任务，可配置爬取深度、URL 限制、外部链接处理和重复 URL 过滤等，支持爬取状态查询。
数据提取 (Extract): 利用 LLM 从网页中提取结构化信息，支持自定义 Prompt 和 JSON Schema，可用于从网页中抽取特定数据字段。
深度研究 (Deep Research): 结合网页爬取、搜索和 AI 分析，对特定查询进行深度研究，提供最终分析报告和相关来源。
全面的日志记录: 详细记录操作状态、性能指标、信用使用情况和错误信息，方便监控和问题排查。
灵活的配置: 支持云端 FireCrawl API 和自托管 FireCrawl 实例，可配置重试策略、信用额度监控等。

安装步骤

安装 Node.js 和 npm: 确保你的系统已安装 Node.js 和 npm (Node Package Manager)。

安装 FireCrawl MCP Server: 可以通过 npm 全局安装 'firecrawl-mcp' 包：

npm install -g firecrawl-mcp

或者使用 'npx' 直接运行，无需全局安装：

npx -y firecrawl-mcp

配置 FireCrawl API 密钥: 如果使用云端 FireCrawl API (默认)，需要设置环境变量 'FIRECRAWL_API_KEY' 为你的 FireCrawl API 密钥。你可以在 FireCrawl 官网获取 API 密钥。

export FIRECRAWL_API_KEY=fc-YOUR_API_KEY  # Linux/macOS
set FIRECRAWL_API_KEY=fc-YOUR_API_KEY     # Windows 命令提示符
$env:FIRECRAWL_API_KEY="fc-YOUR_API_KEY"  # Windows PowerShell

如果使用自托管 FireCrawl 实例，则需要设置环境变量 'FIRECRAWL_API_URL' 为你的实例地址。

服务器配置

MCP 客户端需要配置 MCP 服务器的启动命令才能连接 FireCrawl MCP Server。以下是 JSON 格式的配置信息示例，你需要将其添加到 MCP 客户端的配置文件中（例如 Cursor, Windsurf, Claude Desktop 等）。

Cursor 配置

在 Cursor 的 MCP Server 设置中，添加一个新的 MCP Server，配置如下：

{
  "name": "firecrawl-mcp",  // MCP 服务器名称，可以自定义
  "type": "command",
  "command": "env FIRECRAWL_API_KEY=your-api-key npx -y firecrawl-mcp" // 启动命令，请替换 your-api-key 为你的 FireCrawl API 密钥
}

参数说明:

'name': MCP 服务器的名称，可以自定义，例如 "firecrawl-mcp"。
'type': 服务器类型，设置为 "command" 表示通过命令行启动。
'command': 启动服务器的完整命令。
- 'env FIRECRAWL_API_KEY=your-api-key': 设置环境变量 'FIRECRAWL_API_KEY'，用于传递 FireCrawl API 密钥。请将 'your-api-key' 替换为你的实际 API 密钥。
- 'npx -y firecrawl-mcp': 使用 'npx' 运行 'firecrawl-mcp' 命令。'-y' 参数表示自动确认安装 'firecrawl-mcp' 包。

Windows 用户注意事项: 如果在 Windows 上遇到问题，可以尝试使用 'cmd /c' 命令：

{
  "name": "firecrawl-mcp",
  "type": "command",
  "command": "cmd /c \"set FIRECRAWL_API_KEY=your-api-key && npx -y firecrawl-mcp\"" // Windows 启动命令，请替换 your-api-key
}

Windsurf 配置

在 Windsurf 的 'model_config.json' 文件中，添加如下 'mcpServers' 配置：

{
  "mcpServers": {
    "mcp-server-firecrawl": {  // MCP 服务器配置的键名，可以自定义
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "YOUR_API_KEY_HERE"  // 请将 YOUR_API_KEY_HERE 替换为你的 FireCrawl API 密钥
      }
    }
  }
}

参数说明:

'"mcp-server-firecrawl"': MCP 服务器配置的键名，可以自定义。
'"command": "npx"': 指定执行的命令为 'npx'。
'"args": ["-y", "firecrawl-mcp"]': 'npx' 命令的参数，'-y' 表示自动确认安装，'firecrawl-mcp' 是要执行的包名。
'"env"': 环境变量配置。
- '"FIRECRAWL_API_KEY": "YOUR_API_KEY_HERE"': 设置环境变量 'FIRECRAWL_API_KEY'。请将 '"YOUR_API_KEY_HERE"' 替换为你的实际 API 密钥。

Claude Desktop 配置

在 Claude Desktop 的 'claude_desktop_config.json' 文件中，添加类似的 'mcpServers' 配置，与 Windsurf 配置类似。

基本使用方法

启动 MCP 服务器: 根据你的 MCP 客户端配置，启动 FireCrawl MCP Server。
在 LLM 应用中使用工具: 在支持 MCP 协议的 LLM 应用中（如 Cursor, Claude Desktop 等），你可以通过自然语言描述来调用 FireCrawl 提供的各种工具。例如，你可以告诉 LLM "使用 firecrawl_scrape 工具抓取 [URL]", 或者 "使用 firecrawl_search 工具搜索 [关键词]"。
查看工具列表: 在 MCP 客户端中，通常可以查看已注册的工具列表，确认 FireCrawl 提供的工具是否成功加载。
配置工具参数: 根据具体的工具和你的需求，配置相应的参数，例如要抓取的 URL, 搜索关键词，抓取格式等。

具体工具的使用方法和参数说明请参考仓库 README.md 文件中 "Available Tools" 章节的详细描述。

关键词