使用说明

项目简介

Root Signals MCP Server 是一个实现了 Model Context Protocol (MCP) 的服务器，它将 Root Signals 平台的 AI 模型评估能力以工具的形式暴露出来，供任何兼容 MCP 协议的客户端（如 AI 助手）调用。该服务器充当桥梁，连接了 Root Signals API 和 MCP 客户端应用，使得 AI 助手能够利用 Root Signals 强大的评估工具来衡量模型回复的质量。

主要功能点

暴露 Root Signals 评估器为 MCP 工具: 将 Root Signals 平台上的各种模型评估工具集成到 MCP 服务器中，方便 AI 助手调用。
支持标准和 RAG 评估: 提供两种评估模式，标准评估用于评估模型在一般场景下的回复质量，RAG 评估则针对检索增强生成 (RAG) 系统，可以结合上下文信息进行更精准的评估。
SSE 网络部署: 采用 Server-Sent Events (SSE) 技术实现网络部署，支持通过 Docker 快速部署和运行。
兼容多种 MCP 客户端: 能够与任何遵循 MCP 协议并支持工具调用的客户端应用集成。
提供以下工具：
1. 'list_evaluators': 列出 Root Signals 平台所有可用的评估器。
2. 'run_evaluation': 使用指定的评估器运行标准评估。
3. 'run_rag_evaluation': 使用指定的评估器和上下文信息运行 RAG 评估。

安装步骤

获取 Root Signals API Key: 访问 Root Signals 平台注册并创建 API 密钥，或者使用临时 API 密钥进行测试。

运行 MCP 服务器: 使用 Docker 命令快速启动 Root Signals MCP Server。

docker run -e ROOT_SIGNALS_API_KEY=<your_key> -p 0.0.0.0:9090:9090 --name=rs-mcp -d ghcr.io/root-signals/root-signals-mcp:latest

请将 '<your_key>' 替换为你获取的 Root Signals API Key。

运行成功后，你可以通过 'docker logs rs-mcp' 命令查看服务器日志，确认服务器是否正常启动。

服务器配置

对于 MCP 客户端，你需要配置连接到 Root Signals MCP 服务器的信息。以下是一个 JSON 格式的配置示例，通常在 MCP 客户端的配置文件中进行设置：

{
    "mcpServers": {
        "root-signals": {  // 服务器名称，可以自定义
            "url": "http://localhost:9090/sse" // Root Signals MCP 服务器的 SSE 端口 URL
        }
    }
}

配置参数说明:

'"root-signals"': 服务器名称，客户端用此名称来引用该服务器配置。
'"url"': Root Signals MCP 服务器的 SSE (Server-Sent Events) 端点 URL。默认情况下，服务器运行在 'http://localhost:9090/sse'。如果服务器部署在远程机器或不同的端口，请相应地修改 'localhost' 和 '9090'。

注意: MCP 客户端的具体配置方法可能因客户端软件而异，请参考你使用的 MCP 客户端的官方文档。

基本使用方法

Root Signals MCP Server 兼容任何支持 MCP 协议工具调用的客户端。你可以参考 MCP 官方客户端列表选择合适的客户端进行集成。

该仓库也提供了一个 Python 示例客户端，演示了如何通过代码调用 'list_evaluators' 和 'run_evaluation' 等工具。你可以参考该示例客户端代码，了解如何在程序中与 Root Signals MCP Server 进行交互。

主要工具调用示例:

列出评估器: 客户端调用 'list_evaluators' 工具，服务器返回可用的评估器列表。
运行评估: 客户端调用 'run_evaluation' 或 'run_rag_evaluation' 工具，并传入评估器 ID、用户请求、模型回复等参数，服务器将调用 Root Signals API 进行评估，并返回评估结果（如评分、理由等）。

详细的工具参数和返回结果请参考仓库中的 'src/root_mcp_server/schema.py' 文件，该文件定义了各种请求和响应的数据结构。

关键词