关键词

本地部署LLM应用上下文服务工具集成Web界面

使用说明

项目简介

LocalMCP 是一个全面的 Model Context Protocol (MCP) 服务器的本地部署实现，它允许用户在本地 Linux 服务器上搭建 MCP 服务，以便为本地运行的 LLM 应用提供上下文信息和功能。该项目专注于易用性和可扩展性，通过 Web 界面提供监控和管理功能，并支持集成多种服务和模型。

主要功能点

  • 自托管服务: 完全掌控数据和基础设施，所有服务均本地部署。
  • Web 界面: 提供友好的 Web 界面，用于监控服务状态、测试工具、管理模型和查看日志。
  • 服务集成: 支持多种常用服务，如 Gmail, Google Drive, Discord, Slack, Twitter, Bluesky, Telegram, Signal, Reddit, Notion 等，方便 LLM 应用访问和利用这些服务的数据和功能。
  • 模型集成: 内置对 Gemma3-27B 和 QWQ-32B 等先进模型的支持，并进行了优化，使其能在消费级硬件上高效运行。
  • 工具注册: 每个服务都实现了动态工具注册机制，允许 LLM 客户端发现和调用各种功能。
  • 模块化架构: 采用模块化设计，易于扩展新的服务和工具。
  • VRAM 优化: 针对多模型运行场景进行了 VRAM 优化，包括模型量化、卸载等技术。

安装步骤

  1. 环境准备: 确保已安装 Linux 服务器环境 (推荐 Ubuntu)，NVIDIA GPU 及驱动，Conda 和 Python 3.8+。
  2. 克隆仓库: 使用 'git clone https://github.com/jhacksman/LocalMCP' 命令克隆仓库到本地。
  3. 配置环境: 根据 README.md 文件中的指引，设置 Conda 环境，并安装服务和模型所需的依赖。
  4. 配置认证: 根据需要配置各个 MCP 服务的认证信息，例如 Gmail/Google Drive 的 OAuth2 凭据，社交平台的 API 密钥等，具体参考 README.md 和各个服务目录下的说明。
  5. 启动 Web 界面: 根据 README.md 中的指引启动 Web 监控界面。
  6. 访问仪表盘: 通过浏览器访问 Web 界面地址，监控和管理 LocalMCP 服务。

服务器配置 (MCP 客户端配置)

LocalMCP 实际上是由多个独立的 MCP 服务构成，每个服务监听不同的端口。MCP 客户端需要配置连接到这些服务才能使用其提供的工具。以下是一个 MCP 客户端可能的配置示例，用于连接到 LocalMCP 提供的 Gmail 服务：

{
  "servers": [
    {
      "name": "LocalMCP Gmail Service",
      "command": "http://localhost:8000",
      "args": [],
      "description": "LocalMCP 提供的 Gmail 服务，用于邮件收发和管理",
      "capabilities": [
        "tools", "resources", "prompts"
      ],
      "transports": [
        "http-json-rpc"
      ]
    }
    // 可以继续添加其他 LocalMCP 服务，例如 Discord, Twitter 等，只需修改 "name" 和 "command" (端口)
  ]
}

配置说明:

  • '"name"': MCP 服务器的名称，客户端显示用，可以自定义。
  • '"command"': LocalMCP 服务的 URL 地址，对于 Gmail 服务，默认是 'http://localhost:8000'。 请注意，这里填写的是服务的根 URL，而不是启动命令。 MCP 客户端会通过这个 URL 与 MCP 服务器建立连接。
  • '"args"': 通常为空数组 '[]'，因为对于基于 HTTP 的 MCP 服务，启动参数通常在服务器端配置，客户端无需指定。
  • '"description"': 对该 MCP 服务器的描述，方便客户端用户理解其用途。
  • '"capabilities"': 声明该 MCP 服务器支持的功能，例如 '"tools"', '"resources"', '"prompts"'。根据 LocalMCP 的功能，这里可以包含 '"tools"'。
  • '"transports"': 声明客户端与服务器通信的传输协议，对于 LocalMCP 采用 HTTP JSON-RPC，这里填写 '"http-json-rpc"'。

重要提示: 以上配置示例仅为演示如何连接到 LocalMCP 的 Gmail 服务。如果要使用其他服务（如 Discord, Twitter 等），您需要根据 LocalMCP 的实际部署情况，配置对应服务的 URL 地址 (端口)。 每个服务都相当于一个独立的 MCP 服务器端点。

基本使用方法

  1. 启动 LocalMCP: 按照安装步骤启动 LocalMCP 的 Web 界面和各个 MCP 服务。
  2. 配置 MCP 客户端: 在您的 MCP 客户端中，根据上述 "服务器配置" 示例，添加 LocalMCP 提供的各个服务连接配置。
  3. 连接并使用: 在 MCP 客户端中连接到已配置的 LocalMCP 服务。客户端将能够发现并调用 LocalMCP 提供的各种工具，例如发送邮件、查询 Google Drive 文件、发送 Discord 消息等。
  4. 通过 Web 界面管理: 使用浏览器访问 LocalMCP Web 界面，监控服务状态，测试工具，查看日志等。

信息

分类

AI与计算

访问项目