关键词

AI网关LLM代理API路由多租户AIOpenAI兼容

项目简介

AI Proxy 是一个功能强大的、生产就绪的下一代AI网关。它提供与 OpenAI 兼容的 API 协议，通过智能请求路由、全面的监控和无缝的多租户管理，为 AI 应用提供了可靠、可扩展且具备高级特性的中间件服务。除了作为传统的AI API代理外，AI Proxy 原生支持 Model Context Protocol (MCP)，可以托管和管理 MCP 资源，注册和执行 MCP 工具，并提供 Prompt 模板能力，从而增强 LLM 应用的功能和上下文处理能力。

主要功能点

  • AI网关核心： 提供兼容 OpenAI 标准的 API 接口，作为所有 AI 请求的统一入口，方便应用从直接调用各种 AI 模型切换到通过网关调用。
  • 智能路由与负载均衡： 根据渠道优先级、错误率、负载情况智能分配请求，支持多渠道负载均衡和故障转移。
  • 全面的监控与分析： 提供实时告警、详细请求/响应日志、审计追踪、请求量、错误率、RPM/TPM 指标、成本分析等数据监控和报表。
  • 多租户管理： 支持组织（Group）隔离、基于 Token 的灵活访问控制（可限制IP子网、模型、配额等）、资源配额限制、定制化定价。
  • MCP支持：
    • 托管和集成公共 MCP 服务器（第三方服务）。
    • 为组织（Group）提供私有 MCP 服务器能力。
    • 支持内置的 MCP 服务器及配置模板。
    • 可以将 OpenAPI 规范自动转换为 MCP 工具，供 LLM 调用。
  • 插件系统： 通过内置或自定义插件扩展功能，如请求缓存、网页搜索、思维链内容处理等。
  • 多种模型与格式支持： 支持文本、图像、音频、文档处理等多种模态和数据格式。

安装步骤

推荐使用 Docker 进行快速安装：

  1. 拉取并运行 Docker 镜像：

    # 使用最新稳定版
docker run -d \
  --name aiproxy \
  -p 3000:3000 \
  -v $(pwd)/aiproxy_data:/aiproxy \
  ghcr.io/labring/aiproxy:latest

# 或使用 nightly 构建版本
docker run -d \
  --name aiproxy \
  -p 3000:3000 \
  -v $(pwd)/aiproxy_data:/aiproxy \
  ghcr.io/labring/aiproxy:main

    这将以后台模式运行 AI Proxy，并将数据存储在本地的 'aiproxy_data' 目录中。默认监听端口为 '3000'。

  2. 配置（可选）： 可以通过环境变量进行更多配置，例如数据库连接、Redis 连接、管理员密钥等。具体请参考项目文档中的配置说明。

服务器配置（MCP客户端连接）

AI Proxy 作为 MCP 服务器，主要通过网络协议（如 HTTP/SSE/Streamable）提供服务。MCP 客户端需要配置连接到 AI Proxy 的网络地址（例如 'http://<aiproxy_host>:3000'）以及相应的 MCP 接口路径（例如 '/mcp/public/{id}/sse' 或 '/mcp/group/{id}/streamable'）。

请注意：根据 MCP 协议定义，某些传输方式（如 Stdio）可能需要客户端配置启动服务器进程的命令及参数。然而，AI Proxy 的典型部署方式是作为一个独立运行的网络服务。以下 JSON 结构仅用于满足 MCP 客户端配置的示例格式要求，其中 'command' 和 'args' 表示运行 AI Proxy 服务器时可能使用的启动命令和参数，而不是 MCP 客户端连接到网络服务时直接使用的配置。客户端连接通常需要配置服务器的网络地址和协议类型。

{
  "server name": "AI Proxy MCP Server",
  "command": "aiproxy",
  "args": ["--listen", ":3000"],
  "description": "AI Proxy作为MCP服务器，通常运行为一个网络服务。客户端连接需要指定服务器地址（例如 http://<aiproxy_host>:3000）和相应的MCP接口路径，此处command/args仅作为示例结构。"
}

客户端实际连接到 AI Proxy 提供服务的 MCP 接口时，通常会使用类似于以下伪代码（具体取决于客户端库实现）：

{
  "name": "我的AI Proxy MCP服务",
  "type": "network_mcp", // 客户端库可能定义的类型
  "url": "http://<aiproxy_host>:3000/mcp/public/my-public-mcp-id/sse", // 或 /mcp/group/.../streamable
  "auth": "Bearer <您的Token>" // 使用AI Proxy的Token进行认证
  // ... 其他MCP客户端可能需要的配置，如 protocol (sse, streamable) 等
}

基本使用方法

  1. 访问 Web UI： 默认部署后，可以通过浏览器访问 'http://<aiproxy_host>:3000' 访问管理界面（如果未禁用 Web UI）。
  2. 使用 OpenAI 兼容 API： 配置您的 AI 应用将 OpenAI API 的 Base URL 修改为 'http://<aiproxy_host>:3000/v1'，并使用通过 AI Proxy 管理界面创建的 Token 作为认证凭证。
  3. MCP 客户端集成： 根据您使用的 MCP 客户端库，配置其连接到 AI Proxy 提供的 MCP 接口（例如 'http://<aiproxy_host>:3000/mcp/...'），并提供相应的认证 Token。然后即可通过 MCP 协议调用 AI Proxy 集成的 MCP 能力（如工具、资源）。

信息

分类

AI与计算

访问项目