OmniRoute MCP Server

关键词

AI网关多模型路由协议转换工具执行审计与监控

使用说明

  • 项目简介
    • OmniRoute 为面向 LLM 客户端的后端网关，提供 MCP 服务器、工具执行、资源/模型管理，以及 A2A 协作能力。核心目标是以标准化的 MCP 协议向客户端提供上下文、资源、工具和提示模板等能力，并通过 JSON-RPC 进行通信，支持多传输通道与安全的访问控制。
  • 主要功能点
    • MCP 服务器：实现 Model Context Protocol 的请求/响应处理，包含健康检查、组合路由、工具执行、配额与预算控制、以及工具的审计追踪等能力。
    • MCP 工具与审计：内置多类 MCP 工具，支持工具调用、路由模拟、成本报告、模型能力查询等，具备审计日志与悬挂式任务管理。
    • A2A/多协议支持：内置 A2A 服务，支持 JSON-RPC 2.0、SSE 实时流等，并提供端到端的协议转换能力（OpenAI/Claude/Gemini 等格式之间的互转）。
    • 运维与观测：运行心跳、审计、健康和端点状态等监控接口，便于运维追踪与故障排查。
    • 本地化与安全性：提供多语言文档、命名空间级权限、以及对敏感数据的审计与日志策略。
  • 安装步骤
    • 需要的运行环境：Node.js 18–22 LTS（官方说明中不支持 Node 24+），请确保环境符合要求。
    • 全局安装并启动 MCP/接口服务：
      • 安装并启动 OmniRoute（默认会提供 MCP、API、Dashboard 等一体化能力）。
      • 建议使用 MCP 启动参数：omniroute --mcp 以在标准输入/输出传输下启动 MCP 服务器。
    • 参考快速启动：
      • 启动命令示例（在终端执行，按需调整端口）：
        • omniroute
        • 或 omniroute --mcp
    • 端口与仪表盘配置（可选分离端口：API/V1 与 Dashboard 不同端口）：
      • API 基础 URL: http://localhost:20128/v1
      • Dashboard URL: http://localhost:20128
  • 服务器配置（MCP 客户端需要的配置信息）
    • 服务器配置（JSON 格式，包含 serverName、command、args 等信息，客户端无需额外修改即可与 MCP 服务器对接）
    • 示例配置要点（文字描述，不直接展示代码块）：
      • serverName: omniroute
      • command: omniroute
      • args: --mcp
      • env（可选）: PORT=20128、DASHBOARD_PORT=20129
      • 说明：该配置用于 MCP 客户端通过标准输入/输出连接到 MCP 服务器进行工具调用与会话管理。客户端在连接时无需包含实现细节，仅需要知道服务器的名称、启动命令和参数即可发起 MCP 会话。
  • 基本使用方法
    • 启动后，MCP 服务器将暴露可通过客户端连接的接口，MCP 客户端（IDE、CLI 工具等）可对接 Omniroute 的 MCP 端点，执行健康查询、组合列表、模型查询、以及工具调用等操作。
    • 客户端工作流通常包括：
      • 连接 MCP 服务，获取健康与工具信息
      • 通过工具执行与路由策略进行编码/模拟
      • 使用 A2A/代理能力开展跨代理协作
      • 查询审计、性能以及预算状态等运维信息
    • 常见操作包括：测试健康、列出组合、执行路由、获取会话快照、以及在 MCP UI 进行配置和监控。

服务器信息

访问项目