关键词

AI聊天应用RAG语言模型集成MCP代理智能助手

项目简介

c4 GenAI Suite 是一个全面的AI聊天应用，旨在提供一个模块化、可扩展的平台，支持集成多种大型语言模型（LLM）和嵌入模型。它允许管理员创建和配置具有不同功能的智能助手，例如结合检索增强生成（RAG）服务或连接外部Model Context Protocol (MCP) 服务器。用户可以通过友好的界面与这些助手进行互动，执行问答、文件上传等操作。此套件尤其包含了一个MCP服务器代理模块，用于将使用'stdio'协议的MCP服务转换为'SSE'协议，方便其主应用程序进行集成。

主要功能点

  • 多LLM支持： 原生支持与多种主流LLM（如OpenAI兼容模型、Azure OpenAI、Amazon Bedrock、Google GenAI、Ollama等）进行集成，轻松扩展更多模型。
  • 检索增强生成 (RAG)： 内置REI-S服务，用于处理文件、建立向量存储（支持pgvector和Azure AI Search）及管理嵌入模型，有效实现基于文档的上下文检索与生成。
  • 强大的扩展性： 平台设计高度模块化，允许通过多种扩展来定制助手功能，包括自定义系统提示、Bing搜索、计算器等。
  • MCP服务器代理： 提供'mcp-tool-as-server'模块，作为一个Model Context Protocol（MCP）服务器代理，能够将任何通过'stdio'协议通信的MCP服务器转换为'SSE'协议，从而使主应用程序或其他MCP客户端能够通过标准的'SSE'接口与其通信。
  • 用户友好的界面： 提供直观的管理和聊天界面，方便管理员配置助手，并让用户轻松进行AI互动。

安装步骤

  1. 准备环境： 确保您的系统已安装 Docker 和 Docker Compose。
  2. 启动服务： 在克隆的'c4-genai-suite'项目根目录下，打开终端并运行以下命令： 
    docker compose up
    此命令将启动所有必要的服务，包括前端应用、NestJS后端、Python FastAPI实现的REI-S RAG服务、以及可选的本地Ollama实例和本仓库提供的MCP服务器代理。
  3. 访问应用： 服务启动后，在您的浏览器中访问 'http://localhost:3333'。
  4. 登录： 使用默认管理员凭据登录：用户名 '[email protected]'，密码 'secret'。

服务器配置（MCP 服务器代理）

'c4 GenAI Suite' 主应用程序中的“MCP Tools”扩展（作为MCP客户端）连接到'mcp-tool-as-server'（MCP服务器代理）时，需要以下配置信息：

{
  "serverName": "您的MCP服务名称",
  "endpoint": "http://localhost:9999/sse",
  "transport": "sse",
  "headers": ""
}
  • serverName： 为您的MCP服务器代理实例指定一个易于识别的名称，例如“内部工具MCP”或“文件服务MCP”。
  • endpoint： MCP服务器代理（'mcp-tool-as-server'）默认通过SSE协议在'http://localhost:9999/sse'上监听。如果您的部署更改了代理服务器的端口或路径，请相应调整。
  • transport： 指定客户端与代理服务器之间的通信协议。对于'mcp-tool-as-server'，请设置为'sse'。
  • headers： 如果您的MCP服务器代理需要额外的HTTP头部信息（例如API密钥、认证令牌等），您可以在此以'Key=Value'的形式填写，每行一个。例如：'Authorization=Bearer your_token'。

基本使用方法（在c4 GenAI Suite中集成MCP服务器代理）

  1. 确认服务运行： 确保'c4 GenAI Suite'及其'mcp-tool-as-server'模块已通过 'docker compose up' 成功启动。
  2. 登录应用程序： 以管理员身份登录 'c4 GenAI Suite'。
  3. 创建或选择助手： 在应用程序的左侧导航栏，点击您的用户名进入管理员区域，然后选择“助手”部分。您可以创建一个新助手或编辑现有助手。
  4. 添加MCP Tools扩展： 选择一个助手后，点击“+ 添加扩展”按钮。在可用扩展列表中，找到并选择“MCP Tools”扩展。
  5. 配置MCP Tools扩展：
    • 根据上方“服务器配置”部分提供的指南，在弹出的表单中填写'serverName'、'endpoint'、'transport'和'headers'等信息。
    • 配置完成后，点击“测试”按钮以验证连接是否成功。
    • 点击“保存”以应用扩展配置。
  6. 开始互动： 返回聊天页面，选择您刚刚配置的助手，现在它已能够通过MCP服务器代理访问和利用底层MCP服务提供的工具和资源。

信息

分类

AI与计算

访问项目