关键词

LLM评估模型评估实验管理AI工具后端服务

项目简介

Patronus MCP Server 是一个基于 Model Context Protocol (MCP) 构建的后端服务，专为 LLM (大型语言模型) 应用设计。它提供了一个标准化的接口，用于运行强大的 LLM 系统优化、评估和实验。通过 Patronus MCP Server，您可以轻松地对 LLM 的性能进行评估，并进行各种实验以优化模型效果。

主要功能点

  • 远程评估器: 支持使用 Patronus 平台的远程评估服务，对 LLM 的输出质量进行多维度评估。
  • 批量评估: 支持一次性提交多个评估任务，高效评估 LLM 在不同场景下的表现。
  • 实验管理: 支持创建和运行实验，通过数据集和评估指标来系统地优化 LLM 应用。
  • 自定义评估: 允许用户集成自定义的评估函数，灵活扩展评估能力。
  • API 接口: 提供清晰的 API 接口，方便客户端调用各项评估和实验功能。
  • API Key 认证: 通过 API Key 进行身份验证，保障服务安全。

安装步骤

  1. 克隆仓库

    git clone https://github.com/patronus-ai/patronus-mcp-server.git
cd patronus-mcp-server

  2. 创建并激活虚拟环境

    python -m venv .venv
source .venv/bin/activate   # Linux/macOS
.venv\Scripts\activate  # Windows

  3. 安装依赖

    uv pip install -e .
uv pip install -e ".[dev]"

服务器配置

MCP 客户端需要配置以下信息以连接 Patronus MCP Server：

{
  "serverName": "patronus-mcp-server",
  "command": "python",
  "args": [
    "src/patronus_mcp/server.py",
    "--api-key",
    "YOUR_PATRONUS_API_KEY"  # 替换为您的 Patronus API Key，或者使用环境变量 PATRONUS_API_KEY
  ]
}

参数说明:

  • 'serverName': 服务器名称，可以自定义。
  • 'command': 启动服务器的命令，这里使用 'python'。
  • 'args': 启动命令的参数列表：
    • '"src/patronus_mcp/server.py"': 服务器脚本的路径。
    • '"--api-key"': 指定 API Key 的命令行参数。
    • '"YOUR_PATRONUS_API_KEY"': 请替换为您的 Patronus API Key。您也可以将 API Key 设置为环境变量 'PATRONUS_API_KEY'，这样可以省略 '--api-key' 参数。

基本使用方法

  1. 启动服务器

    根据服务器配置中的 'command' 和 'args' 启动 Patronus MCP Server。例如，在终端中执行以下命令：

    python src/patronus_mcp/server.py --api-key YOUR_PATRONUS_API_KEY

    或者设置环境变量 'PATRONUS_API_KEY' 后直接运行：

    python src/patronus_mcp/server.py

  2. 使用 MCP 客户端调用 API

    使用 MCP 客户端 (例如 'mcp-client-py')，根据 README.md 中的 "API Usage" 示例，调用服务器提供的工具 (Tools) 进行 LLM 评估和实验。例如，可以使用 'initialize', 'evaluate', 'batch_evaluate', 'run_experiment' 等工具。

    具体 API 调用方法请参考仓库的 'README.md' 文档和示例代码。

信息

分类

开发者工具

访问项目