使用说明

项目简介

LiteLLM MCP Server 是一个基于 Model Context Protocol (MCP) 构建的服务器，它集成了 LiteLLM 库，旨在通过标准化的 MCP 协议向 LLM 客户端提供对 OpenAI 模型的文本补全功能。该服务器允许 LLM 应用通过 MCP 协议调用 OpenAI 的语言模型，实现文本生成等任务。

主要功能点

文本补全服务: 提供通过 OpenAI 模型（如 gpt-3.5-turbo, gpt-4 等）进行文本补全的功能。
工具注册与调用: 注册名为 'complete' 的工具，LLM 客户端可以通过调用此工具来请求文本补全。
MCP 协议支持: 完全兼容 MCP 协议，使用 JSON-RPC 进行通信，支持标准的 MCP 请求和响应格式。
灵活的模型选择: 支持 LiteLLM 兼容的多种语言模型，可以通过配置轻松切换使用的模型。
标准输入/输出 (stdio) 通信: 使用标准输入/输出流作为默认的 MCP 通信通道，易于集成和部署。

安装步骤

安装软件包: 打开终端，运行以下命令安装 'mcp-server-litellm' 软件包：

pip install mcp-server-litellm

配置 OpenAI API 密钥:
- 确保你已经拥有 OpenAI API 密钥。
- 设置环境变量 'OPENAI_API_KEY' 为你的 OpenAI API 密钥。你可以将密钥添加到 '.env' 文件中（与运行服务器的目录同级），或者直接设置为系统环境变量。例如，在 '.env' 文件中添加：
```
OPENAI_API_KEY=你的_OpenAI_API_密钥
```
  注意: 请替换 '你的_OpenAI_API_密钥' 为你实际的 OpenAI API 密钥。

服务器配置

MCP 客户端需要配置以下信息才能连接到 LiteLLM MCP Server。配置信息通常以 JSON 格式提供给 MCP 客户端：

{
  "serverName": "litellm-server",
  "command": "python",
  "args": ["-m", "server_litellm"]
  // "serverName":  服务器的名称，用于在客户端标识和管理连接。
  // "command": 启动服务器的命令，这里使用 python 解释器来运行模块。
  // "args":  命令参数，指定运行 'server_litellm' 模块作为服务器入口。
}

基本使用方法

启动服务器: 在安装好 'mcp-server-litellm' 和配置好 OpenAI API 密钥后，MCP 客户端根据上述服务器配置信息启动 LiteLLM MCP Server。服务器将在后台运行，并通过标准输入/输出与客户端通信。
客户端发起请求: LLM 客户端需要根据 MCP 协议规范，向服务器发送 JSON-RPC 请求。例如，要调用 'complete' 工具进行文本补全，客户端需要构造符合工具 'inputSchema' 定义的请求，包含 'model' 和 'messages' 参数。
接收响应: 服务器处理客户端的请求后，会将结果封装成 MCP 响应返回给客户端。对于 'complete' 工具，响应会包含模型生成的文本内容。

注意: 详细的 MCP 协议规范和 JSON-RPC 请求格式请参考 Model Context Protocol 的官方文档。

关键词