MCP IntelliBench - Model Context Protocol 服务器实现

关键词

Model Context ProtocolAI benchmarkJSON-RPCSSE transportTypeScript

使用说明（Markdown 格式）

  • 项目简介

    • MCP IntelliBench 是一个基于 Model Context Protocol 的后端服务器，负责托管和管理资源（Resources）、注册和执行工具（Tools）、以及定义与渲染提示模板（Prompts），并通过 JSON-RPC 协议与客户端进行交互。服务器端实现了会话管理、能力声明，以及多传输协议的支持，旨在为 LLM 应用提供可扩展、安全的上下文服务。

  • 主要功能点

    • MCP 核心能力
      • 资源管理：提供可读取的资源集合及按会话查询的资源读取接口。
      • 工具注册与执行：支持注册多种工具，客户端可通过 JSON-RPC 调用执行外部功能，如启动会话、获取挑战、提交解答、查询结果等。
      • 提示模板：定义和渲染提示模板，帮助 LLM 客户端在对话中获取上下文与引导。
    • 会话与评测
      • 会话管理：创建、跟踪与结束 Benchmark 会话，管理挑战序列、结果与进度。
      • 评测引擎：对提交的解决方案进行评分、给出分解、反馈与改进建议。
      • 数据分析：分析结果、生成统计、导出报告、对接 leaderboard。
    • 数据与导出
      • 数据库与持久化（示例实现包含数据库层，便于扩展为实际持久化存储）。
      • 报告导出：JSON/Markdown/HTML 格式报告，包含综合分析与标准合规性评估。
    • 传输与健康
      • 支持 SSE 传输管道、HTTP Health 端点等，用于监控与集成。

  • 安装步骤

    • 依赖安装与构建
        1. 克隆仓库并进入项目目录
        1. 安装依赖并构建
        1. 启动 MCP 服务器服务
    • 运行方式（示例，与仓库 README 一致的通用做法）
      • 使用 pnpm 安装和构建后启动服务器：pnpm install、pnpm build、pnpm start:server
      • 如需可视化仪表板：pnpm start:dashboard（可选）

  • 服务器配置（MCP 客户端需要配置，不属于服务器端代码）

    • MCP 客户端连接该 MCP 服务器时，通常通过一个配置对象指定服务器信息（名称、启动命令、参数等），以便客户端能够启动并连接到 MCP 服务器。
    • 下面给出一个示例配置，描述服务器名称、启动命令及参数（请按实际部署路径进行替换）。此示例为客户端配置用的 JSON 结构，非服务器端运行代码。

    { "server": "intellibench", "command": "node", "args": ["path/to/MCP_IntelliBench/dist/server/index.js"], "env": { "MCP_SERVER_PORT": "3000", "MCP_SERVER_HOST": "localhost" } // 注释：环境变量用于指示服务器监听端口及主机地址，具体以实际部署为准 }

  • 基本使用方法

    • 第一步：启动服务器
      • 按仓库提供的命令运行，例如 pnpm start:server，确保服务器正常启动并监听端口。
    • 第二步：客户端接入
      • 在 MCP 客户端配置中指定 server 的名称、启动命令和参数，使客户端能够启动服务器进程并建立连接。
    • 第三步：通过 MCP JSON-RPC 调用交互
      • 客户端可通过标准的 JSON-RPC 调用读取资源、执行工具、获取 Prompts、以及查询 Prompts/Prompts 结果。
    • 第四步：查看健康与仪表盘（可选）
      • 使用健康端点获得健康状态，或通过仪表盘查看实时分析和结果。

  • 备注

    • 本实现包含服务器端逻辑、工具、资源、Prompts 的注册与处理，以及多种辅助服务（健康接口、统计、报告导出等），可作为 MCP 服务端的完整实现基础。若要正式投产，请在真实环境中替换为持久化数据库、完善的错误处理与安全策略，并结合实际部署方案进行容器化与 scalable 部署。

服务器信息

访问项目