关键词

LLM上下文语义路由AI工具集成ARM优化多模型推理

项目简介

Capibara6 MCP 服务器是 Capibara6 多模型对话式 AI 平台的核心后端服务，专门为在 Google Cloud 的 ARM-Axion 架构上高效运行而设计。它整合了多个优化过的 AI 模型、智能语义路由器、RAG（检索增强生成）系统以及 E2B 沙盒，以标准化的方式向 LLM 客户端提供上下文信息和功能。MCP 服务器通过 Model Context Protocol（模型上下文协议）与客户端通信，是 LLM 应用获取所需上下文和调用外部功能的关键枢纽。

主要功能点

  • 模型上下文协议 (MCP)：遵循 MCP 标准，与 LLM 客户端进行通信，处理资源请求（如模型调用、状态查询）、工具调用（如 RAG 检索、代码执行）和 Prompt 获取。
  • 智能语义路由：根据用户查询的意图、领域和复杂性，智能选择最合适的 AI 模型（如 phi4_fast、mistral_balanced、qwen_coder 等5个专用模型）进行响应，确保高效且精准的推理。
  • 工具集成：支持 RAG（检索增强生成）以提供外部知识，并集成 E2B 沙盒用于代码执行和复杂任务处理，扩展 LLM 的能力边界。
  • 上下文管理与资源监控：收集并提供系统资源使用情况（如 CPU、内存、磁盘）和模型状态等上下文信息，辅助系统做出智能调度决策，例如在资源紧张时进行任务排队或回退。
  • 分布式架构：MCP 服务器作为独立服务运行在 Capibara6 系统的“services”虚拟机上，与承载大型 AI 模型的“models-europe”虚拟机协同工作，实现高性能和可扩展性。

安装步骤

Capibara6 MCP 服务器是分布式系统的一部分，通常部署在专门的虚拟机上。以下是启动 MCP 服务器的典型步骤，假设代码库已克隆到'/home/elect/capibara6'目录下，且必要的依赖已安装：

  1. SSH 连接到“services”虚拟机： MCP 服务器通常部署在 Capibara6 架构中名为“services”的虚拟机上。您需要通过 SSH 连接到该虚拟机。
  2. 导航到 MCP 服务器目录： 
    cd /home/elect/capibara6/backend
  3. 启动 MCP 服务器： 执行以下命令启动 MCP 服务器，它将在指定端口监听来自客户端的请求。 
    python3 mcp_server.py
    请注意：'mcp_server.py' 是 MCP 服务器的实现文件。在生产环境中，它通常会作为后台服务（例如使用 systemd）启动并运行，以确保稳定性和持久性。

服务器配置

MCP 客户端需要配置连接信息才能与 Capibara6 MCP 服务器建立连接。以下是一个示例 JSON 配置，展示了客户端如何指定 MCP 服务器的连接细节：

{
  "server_name": "Capibara6_MCP_Server",
  "connection_type": "json_rpc",
  "endpoint": "http://34.175.136.104:5003/api/mcp",
  "description": "Capibara6 Model Context Protocol (MCP) 服务器，提供LLM上下文、模型路由和工具集成。",
  "meta_info": {
    "server_process_command": "python3",
    "server_process_args": [
      "/home/elect/capibara6/backend/mcp_server.py",
      "--host", "0.0.0.0",  // MCP服务器监听所有网络接口
      "--port", "5003"       // MCP服务器监听的端口
    ]
  }
}
  • 'server_name'：MCP 服务器的名称。
  • 'connection_type'：指示连接类型，此处为 JSON-RPC。
  • 'endpoint'：MCP 服务器的访问地址。请将 '34.175.136.104' 替换为您的 MCP 服务器实际部署的公共 IP 地址。
  • 'description'：服务器的功能描述。
  • 'meta_info'：提供关于服务器进程启动的辅助信息，帮助理解其运行方式，但客户端通常直接使用 'endpoint' 进行连接。

基本使用方法

一旦 Capibara6 MCP 服务器启动并运行，MCP 客户端就可以通过其暴露的端点与其进行通信。以下是一些基本的使用示例：

  1. 检查 MCP 服务器的健康状态： 您可以使用 'curl' 命令向 MCP 服务器的健康检查端点发送请求，以确认服务器是否正常运行。

    curl http://34.175.136.104:5003/api/mcp/health

    如果服务器正常运行，您将收到一个成功的响应，其中包含服务器的健康状态信息。

  2. 通过 MCP 客户端调用功能： MCP 客户端将通过 JSON-RPC 协议发送包含方法名称和参数的请求体。例如，请求获取某个资源的状态，或者请求调用一个注册的工具（如语义路由或 RAG）。具体的 JSON-RPC 请求结构将取决于 MCP 协议的实现和服务器提供的 API。

    提示：MCP 服务器的核心交互是通过 JSON-RPC 实现的。请参考 Capibara6 的 MCP 客户端文档以了解如何构建和发送具体的 JSON-RPC 请求。

信息

分类

AI与计算

访问项目