关键词

AI路由多提供商聚合工具执行脚本环境

项目简介

LLM Router 是一个多功能AI服务路由系统，它不仅兼容标准的OpenAI API协议，还实现了完整的Model Context Protocol (MCP) 服务器功能。该项目能够将多个LLM提供商的服务进行智能聚合，根据负载情况自动路由到最佳提供商，同时提供强大的脚本工具执行环境。

主要功能

  • 智能路由：支持多个OpenAI兼容的LLM提供商，根据活跃完成数进行负载均衡
  • MCP服务器：完整的MCP协议实现，支持工具发现、执行和代码运行
  • 动态工具加载：无需重启服务器即可添加、修改或删除工具脚本
  • 脚本执行环境：提供Python风格的脚本执行能力，支持自定义工具
  • 工具管理：支持工具搜索、执行，以及远程MCP服务器连接
  • 健康监控：自动检测提供商状态，支持故障转移和自动恢复

安装步骤

  1. 下载构建：

    # 从源码构建
go build -o llmrouter .

# 或使用任务工具构建多平台版本
task build-all

  2. 配置设置： 创建 'config.toml' 文件，配置服务器端口、LLM提供商信息和工具路径。

  3. 运行服务器：

    ./llmrouter server

服务器配置

在MCP客户端中配置以下信息来连接该MCP服务器：

{
  "server": "LLM Router MCP Server",
  "command": "./llmrouter",
  "args": ["server", "-config", "config.toml"]

配置说明：

  • 'command'：可执行文件路径
  • 'args'：启动参数，包括配置文件路径

基本使用

  1. 启动服务：运行服务器后，可通过HTTP端点访问MCP功能
  2. 工具发现：使用 '/mcp' 端点搜索和执行可用工具
  3. 脚本执行：支持运行自定义Python脚本，实现复杂逻辑

工具管理

  • 工具脚本存放在指定目录，支持实时编辑生效
  • 可通过CLI直接执行工具或脚本
  • 支持AI自动工具调用，实现多轮对话中的工具执行

信息

分类

网页与API

访问项目