HyperPod InstantStart MCP 服务端

关键词

LLM Context Service资源管理工具注册JSON-RPCPrompts

使用说明

  • 项目简介
    • 本仓库实现了一个 MCP（Model Context Protocol）服务器，用于 HyperPod InstantStart 场景下对上下文资源、工具和 Prompts 的标准化暴露与管理。LLM 客户端可通过 JSON-RPC 请求向服务器读取资源、注册和执行工具、获取并渲染 Prompt 模板等，从而实现对集群管理、推理服务、模型下载等功能的上下文支撑和外部能力接入。
  • 主要功能点
    • 资源托管与访问：提供对资源、对象存储、模型下载等相关数据的读取与管理。
    • 工具注册与执行：暴露集群管理、资源操作、推理调用等工具，LLM 可以通过调用工具实现外部功能的执行。
    • Prompt 模板定义与渲染：支持以统一接口获取并渲染 Prompts，用于与LLM的交互模式自定义。
    • 服务器与传输：通过 MCP 服务器实现 JSON-RPC 风格请求-响应，支持标准的传输方式（stdio 等）。
    • 会话与能力声明：在服务端对会话、能力进行声明与管理，提供扩展点以支持多种传输协议和安全控制。
  • 安装步骤
    • 准备环境：需要有 Python3 及运行依赖（MCP 相关库，具体依赖请查看项目要求或安装脚本）。
    • 运行服务器：在仓库根目录执行相应的启动命令
      • 直接运行示例文件：python3 hypd-inst-mcp/server.py
      • 或按需通过容器/环境变量部署，确保能访问后端 HyperPod InstantStart 的 API。
    • 依赖安装：若仓库提供了 requirements.txt 或 setup.py，请按项目文档执行 pip install -r requirements.txt 安装依赖。
  • 服务器配置（用于 MCP 客户端连接） 注：以下配置用于 MCP 客户端在连接服务器时的启动配置，包含服务器名称、启动命令与参数。客户端不需要本仓库的 UI 组件，仅需正确配置服务器信息即可建立连接。 { "serverName": "hyperpod-manager", "command": ["python3"], "args": ["hypd-inst-mcp/server.py"] } 注释：
    • serverName：MCP 服务器的唯一标识名称，建议与实际部署中的服务名称保持一致，便于区分不同 MCP 服务。
    • command：启动服务器的可执行程序，此处为 Python3。
    • args：启动服务器所需的参数，这里指向服务器入口脚本路径。
    • 以上配置信息仅用于 MCP 客户端连接，不涉及前端 UI 逻辑。
  • 基本使用方法
    • 向 MCP 服务器发送 JSON-RPC 请求，调用注册的工具函数（如 cluster_get_status、model_download_enhanced、inference_call_model 等），获取服务器返回的数据或执行结果。
    • 使用服务器提供的工具完成集群管理、资源下载、推理服务调用等操作，并由服务器聚合响应返回给客户端。
    • 如需扩展，请在 MCP 服务器端新增工具装饰器 @mcp.tool() 的异步函数，服务器将自动暴露到客户端。

服务器信息

访问项目