关键词

LLM后端gRPC服务资源管理上下文服务对话系统

使用说明

项目简介

Chat-AI 是一个基于 gRPC 构建的 LLM 应用后端，旨在为 LLM 客户端提供上下文信息和功能支持。它集成了资源管理、模型服务和对话管理等核心能力，可以作为 MCP 服务器使用，为 LLM 应用提供安全、可扩展的后端服务框架。

主要功能点

  • 资源管理: 支持文件、目录和网页等多种资源类型的托管和管理，并能自动更新本地文件资源。
  • 数据访问能力: 通过 gRPC 接口向客户端提供资源内容访问能力，支持全文检索和 RAG (Retrieval-Augmented Generation) 检索。
  • 工具注册和执行: 虽然仓库描述中提到 MCP 工具和 DSPy，但从代码看，工具功能可能还在开发中，目前主要聚焦于资源和模型服务。
  • Prompt 模板: 支持预定义的 Prompt 和指令，以及上下文相关的 Prompt 构建，但 Prompt 模板管理功能在当前仓库中可能不完善。
  • 会话管理: 支持多轮对话管理和会话历史记录。
  • 多模型支持: 支持 OpenAI、Anthropic 和本地模型，并允许在同一对话中切换模型。

安装步骤

  1. 安装 brew (如果尚未安装): 
    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  2. 安装 Node.js: 
    brew install node
  3. 安装 uv: 
    brew install uv
  4. 在项目根目录下创建 '.env' 文件，并配置 OpenAI API 密钥和 Anthropic API 密钥: 
    OPENAI_API_KEY=YOUR_OPENAI_API_KEY
ATHROPIC_API_KEY=YOUR_ANTHROPIC_API_KEY
  5. 运行 'make electron-setup' 初始化环境。
  6. 运行 'make run-server' 启动服务器。

服务器配置

MCP 客户端需要配置 MCP 服务器的启动命令才能连接，以下是 'chat-ai' 服务器的配置示例 (JSON 格式):

{
  "server name": "chat-ai-server",
  "command": "make",
  "args": ["run-server"]
}

参数注释:

  • 'server name': MCP 服务器的名称，可以自定义。
  • 'command': 启动 MCP 服务器的命令，这里使用 'make' 命令。
  • 'args': 传递给 'make' 命令的参数，'run-server' 目标会启动 gRPC 服务器。

基本使用方法

  1. 启动 MCP 服务器后，需要开发或配置 MCP 客户端以连接到该服务器。
  2. MCP 客户端需要实现 MCP 协议，并通过 gRPC 与服务器进行通信。
  3. 客户端可以使用服务器提供的资源管理、模型服务和对话管理等功能，构建基于 LLM 的应用。

信息

分类

AI与计算

访问项目