关键词

缓存Token节省性能优化数据加速上下文管理

使用说明

项目简介

本项目是一个内存缓存MCP服务器，旨在通过在MCP客户端和语言模型之间缓存数据，减少重复数据传输，从而降低Token消耗，提升性能。它作为一个独立的MCP服务器运行，可以与任何兼容MCP协议的客户端配合使用。

主要功能点

  • 数据缓存: 自动缓存从资源读取或工具调用返回的数据，避免重复请求，节省Token。
  • 可配置缓存策略: 支持通过配置文件或环境变量设置缓存的最大条目数、最大内存使用量、默认过期时间（TTL）等。
  • 自动缓存管理: 根据配置自动清理过期或最少使用的数据，维持缓存效率。
  • 实时缓存统计: 提供资源接口，可以获取缓存的实时统计信息（如命中率、缓存条目数、内存使用量等），方便监控缓存效果。
  • 工具接口: 提供工具用于手动存储、检索、清除缓存数据，以及获取缓存状态。

安装步骤

  1. 克隆仓库 
    git clone https://github.com/MCP-Mirror/ibproduct_ib-mcp-cache-server
cd ibproduct_ib-mcp-cache-server
  2. 安装依赖 
    npm install
  3. 构建项目 
    npm run build

服务器配置

为了让MCP客户端能够连接到内存缓存服务器，您需要在MCP客户端的配置文件中添加服务器配置信息。以下是一个配置示例，您需要根据实际情况修改 'command' 和 'args' 中的路径。

{
  "mcpServers": {
    "memory-cache": {  // 服务器名称，可以自定义
      "command": "node",  // 启动服务器的命令，这里使用Node.js
      "args": ["/path/to/ib-mcp-cache-server/build/index.js"] // 服务器启动参数，指向构建后的index.js文件路径
    }
  }
}

配置参数说明：

  • 'server name': 服务器名称，例如 "memory-cache"，在MCP客户端中用于标识和引用该服务器。
  • 'command': 启动服务器的可执行命令，通常为 Node.js 的 'node' 命令。
  • 'args': 传递给 'command' 的参数，用于指定服务器脚本的路径。请将 '/path/to/ib-mcp-cache-server/build/index.js' 替换为 实际的 'ib-mcp-cache-server/build/index.js' 文件在您系统中的绝对路径。

高级配置 (可选)： 您可以通过修改 'config.json' 文件或设置环境变量来调整服务器的缓存策略，例如最大缓存条目数、内存限制、默认TTL等。 详细配置项请参考仓库的 'README.md' 文件。

基本使用方法

  1. 确保已按照安装步骤完成服务器的安装和构建。
  2. 将上述服务器配置信息添加到您的MCP客户端配置文件中。
  3. 启动您的MCP客户端。内存缓存服务器会在客户端需要时自动启动。
  4. 正常使用您的MCP客户端与LLM进行交互。当客户端请求读取资源或调用工具时，内存缓存服务器会自动缓存响应数据。对于重复的请求，服务器会尝试从缓存中返回数据，从而减少Token消耗并提高响应速度。
  5. 您可以通过读取 'cache://stats' 资源来查看缓存服务器的运行状态和统计信息，或者使用 'store_data', 'retrieve_data', 'clear_cache', 'get_cache_stats' 等工具进行更细致的缓存管理和状态查询。

验证服务器是否工作

  • 查看终端输出：启动MCP客户端后，如果服务器成功启动，您应该能在运行服务器的终端看到 "Memory Cache MCP server running on stdio" 的消息。
  • 性能提升：在多次访问相同数据后，您应该能感受到性能的提升，例如，重复读取同一个文件会更快。
  • 缓存统计：通过MCP客户端读取 'cache://stats' 资源，查看缓存的统计信息，例如命中率等。

信息

分类

AI与计算

访问项目