关键词

LLM上下文管理智能代理工具Prompt模板API编排服务器托管

项目简介

Gram平台旨在简化Model Context Protocol (MCP) 服务器的构建和运维。它为LLM应用提供了一个统一的控制平面，帮助开发者将现有API转化为可供LLM调用的工具，高效管理数据资源，并灵活定义Prompt模板。通过Gram，您可以轻松部署和维护多个符合MCP规范的服务器实例，赋能更智能、更动态的LLM代理和聊天应用。

主要功能点

  • MCP服务器托管与部署： Gram提供一站式服务，允许您轻松部署和托管符合MCP规范的服务器实例，这些服务器能够为LLM客户端提供上下文和功能。
  • 工具创建与管理： 支持从OpenAPI 3.0.X和3.1.X规范自动生成LLM可用的工具。您可以组合多个API端点，创建功能更丰富的工具集，供LLM在需要时调用。
  • Prompt模板定义与渲染： 平台提供完善的Prompt模板管理功能，您可以创建、编辑和渲染各种Prompt模板，以实现高度定制化的LLM交互模式。
  • 上下文数据资源管理： 帮助您托管和管理LLM所需的各种上下文数据资源，确保LLM在执行任务时能获取准确和及时的信息。
  • 安全与认证： 内置OAuth支持，包括动态客户端注册（DCR）、自带授权（BYO Authorization）和标准认证流程，确保您的MCP服务器和工具的安全访问。
  • 统一控制平面： 提供直观的仪表盘，方便您通过统一界面管理组织内的所有MCP服务器、工具、模板和部署。

安装步骤

Gram平台本身是为托管和管理MCP服务器而设计的云端服务。若您想在本地进行开发或运行Gram的控制平面服务，您需要准备以下环境：

  1. 安装依赖： 确保您的开发环境中已安装 Docker (用于容器化服务) 和 Mise (一个版本管理器)。
  2. 启动本地服务： 克隆本项目后，在项目根目录下运行 './zero' 脚本。此脚本将自动化处理所有必要的依赖安装、数据库迁移，并启动包括本地仪表盘在内的所有相关服务。 
    ./zero
    一旦脚本成功运行，您就可以通过Web浏览器访问Gram的本地仪表盘，开始配置您的MCP服务器。

服务器配置（MCP客户端连接Gram托管服务器的示例）

当您在Gram平台部署了一个MCP服务器实例后，您的LLM客户端需要一些配置信息才能连接并与其通信。以下是一个MCP客户端可能需要配置的JSON格式信息示例：

{
  "server_name": "MyAgentContextServer",
  "description": "连接到Gram平台托管的我的LLM代理上下文服务器",
  "command": "mcp-client-cli",
  "args": [
    "--server-url", "https://mcp.your-company.com/your-toolset-slug/your-environment-slug",
    "--api-key", "your-generated-api-key"
  ],
  "notes": "请将'https://mcp.your-company.com/your-toolset-slug/your-environment-slug'替换为Gram平台为您分配的MCP服务器URL，并将'your-generated-api-key'替换为您在Gram平台创建的API密钥。"
}
  • server_name: 您在MCP客户端中为此MCP服务器实例设定的名称。
  • description: 对此MCP服务器功能的简要描述。
  • command: 您的MCP客户端用于启动与MCP服务器连接的命令行工具名称（例如，'mcp-client-cli'）。
  • args: 传递给MCP客户端命令的参数列表，用于建立与Gram托管MCP服务器的连接。
    • '--server-url': Gram平台为您的MCP服务器实例分配的唯一访问URL。
    • '--api-key': 用于验证MCP客户端请求的API密钥，请确保在Gram平台生成并安全保管此密钥。
  • notes: 重要的用户提示，指导您如何正确替换配置中的占位符信息。

基本使用方法

  1. 在Gram平台定义工具： 登录Gram仪表盘，导入您的API的OpenAPI规范，或手动配置API端点，将其转换为LLM可用的工具。
  2. 创建和组织工具集： 将不同的工具组合成逻辑上的工具集，并为您的LLM应用创建和管理Prompt模板，以指导LLM如何使用这些工具和上下文。
  3. 部署MCP服务器实例： 选择您希望部署的工具集和目标环境，Gram平台将自动为您配置并启动一个专属的MCP服务器实例。
  4. 连接LLM客户端： 获取部署后Gram平台提供的MCP服务器URL和API密钥。在您的LLM客户端（如LangChain、OpenAI SDK等）中配置这些信息，使其能够通过JSON-RPC协议连接到您的MCP服务器。
  5. LLM应用交互： 您的LLM应用现在可以通过MCP服务器访问您定义的工具和上下文资源，执行复杂的代理任务、进行智能问答或实现其他高级交互。
  6. 监控与优化： 利用Gram平台提供的监控和日志功能，跟踪MCP服务器的性能、工具调用情况和LLM交互模式，以便持续优化您的应用。

信息

分类

AI与计算

访问项目