关键词

网络搜索趋势分析内容发现AI工具集成文档生成

项目简介

RivalSearchMCP 是一个基于 Model Context Protocol (MCP) 构建的先进服务器，专注于提供全面的网络研究、内容发现和趋势分析能力。它通过标准化的 JSON-RPC 接口，让大型语言模型 (LLM) 客户端能够安全、高效地访问网页内容、执行多引擎搜索、分析网站结构、开展研究工作流以及分析趋势数据。

主要功能点

  • 多引擎搜索与内容检索: 支持高级网络搜索，具备Cloudflare绕过和反检测机制，能够检测富文本片段，并支持多搜索引擎自动回退。可从URL高效检索和实时流式处理内容。
  • 网站与内容分析: 提供智能网站遍历功能，支持研究、文档和地图模式，可分析网站结构。AI驱动的内容分析工具能够提取洞察，并支持从网页中提取和分析链接。
  • 趋势数据分析: 集成Google Trends API，允许搜索关键词趋势、获取相关查询、按地区查看兴趣度，并能导出数据或创建SQLite数据库表进行管理。
  • 研究工作流与文档生成: 支持端到端的研究工作流，用于主题的全面分析。能为网站生成符合llmstxt.org规范的LLMs.txt文档文件。
  • AI助手集成友好: 专为与AI助手和LLM客户端无缝集成而设计，提供结构化数据和可调用的工具。

安装步骤

  1. 前置条件: 确保您的系统已安装 Python 3.8 或更高版本。
  2. 克隆仓库: 从 GitHub 克隆 RivalSearchMCP 仓库到您的本地机器。 
    git clone https://github.com/damionrashford/RivalSearchMCP.git
cd RivalSearchMCP
  3. 安装依赖: 使用 'pip' 安装项目所需的 Python 依赖。具体依赖列表请参考项目文档或'requirements.txt'文件。 例如：'pip install fastmcp pytrends beautifulsoup4 httpx cloudscraper pydantic'
  4. 运行服务器: 在项目根目录，通过 Python 运行 'server.py' 文件。 
    python server.py
    服务器默认将以开发模式运行，通过标准输入输出 (stdio) 协议连接。如果要在生产模式下以 HTTP 协议运行，请设置环境变量 'ENVIRONMENT=production' 和 'PORT'。

服务器配置 (MCP客户端使用)

要将 RivalSearchMCP 服务器连接到您的 MCP 客户端（如 Cursor、Claude Desktop 或 VS Code），您需要提供服务器的连接信息。以下是通用 JSON 配置示例，请根据您的客户端类型进行调整：

{
  "mcpServers": {
    "RivalSearchMCP": {
      "url": "https://RivalSearchMCP.fastmcp.app/mcp", // 官方托管服务器的访问URL（如果可用）
      "command": "python",                             // 启动本地服务器的命令
      "args": ["server.py"]                            // 启动本地服务器的参数
    }
  }
}
  • 'url': 如果项目提供官方托管的公共服务器，此字段用于连接到该服务器。
  • 'command': 如果您在本地运行 RivalSearchMCP 服务器，这是启动 Python 解释器的命令。
  • 'args': 如果您在本地运行服务器，这是启动 'server.py' 脚本所需的参数列表。

基本使用方法

连接服务器后，您可以通过 MCP 客户端调用 RivalSearchMCP 提供的各种工具来执行以下操作：

  1. 执行高级网页搜索: 调用 'google_search' 工具，提供搜索查询和结果数量。 例如：查询 "AI agents" 并获取10个结果。
  2. 分析Google趋势: 调用 'search_trends' 工具，提供关键词列表、时间范围和地理区域。 例如：分析 "Python", "JavaScript" 在 "US" 地区过去12个月的趋势。
  3. 检索网页内容: 调用 'retrieve_content' 工具，提供一个或多个URL。 例如：获取 "https://example.com" 网页的干净内容。
  4. 遍历和分析网站: 调用 'traverse_website' 工具，提供一个网站URL和遍历模式（如 "research", "docs", "map"）。 例如：以 "research" 模式遍历 "https://docs.github.com" 网站。
  5. 生成LLMs.txt文档: 调用 'generate_llms_txt' 工具，提供一个网站URL，生成符合 llmstxt.org 规范的文档。 例如：为 "https://www.openai.com" 生成 LLMs.txt 文件。

所有工具都将返回结构化的 JSON-RPC 响应，供您的 LLM 客户端进一步处理和利用。

信息

分类

网页与API

访问项目