关键词

认知记忆上下文理解模型后端扩散模型图形界面

使用说明

项目简介

llada_gui_new仓库是LLaDA GUI图形界面的一个增强版本，核心功能是集成了 MCP Titan Memory服务器，为LLaDA模型提供认知记忆能力。该内存服务器允许模型在对话过程中保持上下文，从而生成更连贯和情境化的文本。

主要功能点

  • 资源 (Resources) 管理: 通过内建的内存服务器 (server.py, server.js) 托管和管理模型的记忆状态，虽然资源类型较为单一，但实现了资源的存储和访问。
  • 工具 (Tools) 执行: 提供训练记忆模型的能力，例如通过GUI界面上的“Train on Last Generation”按钮触发，允许LLM（通过GUI间接调用）训练和更新外部记忆模型。
  • Prompt 模板 (Prompts) 渲染: 虽然仓库本身不直接定义Prompt模板，但GUI界面允许用户自定义Prompt，并通过内存服务器提供的上下文增强LLM的交互体验。
  • JSON-RPC 协议通信: 内存服务器通过简单的基于HTTP的JSON API与GUI客户端进行通信，实现了请求和响应的标准化交互。
  • 会话管理: 内存服务器通过 'memory_state' 变量在服务器端维护会话状态，并在请求处理过程中更新和使用。

安装步骤

  1. 克隆仓库: 
    git clone https://github.com/angrysky56/llada_gui_new.git
cd llada_gui_new
  2. 运行安装脚本: 
    chmod +x install.sh
./install.sh
    该脚本会自动创建虚拟环境并安装所有依赖。

服务器配置 (MCP客户端配置)

对于 MCP 客户端（例如，假设的LLM客户端或更通用的MCP客户端），需要配置以下信息以连接到此 MCP 服务器。请注意，此处的 "服务器配置" 是指 MCP 客户端 需要的配置信息，而不是修改 MCP 服务器本身。

{
  "serverName": "LLaDA GUI Memory Server",
  "command": "./run_memory.sh",
  "args": [],
  "description": "LLaDA GUI 集成的 MCP Titan Memory 服务器，用于提供认知记忆功能。",
  "protocol": "json-rpc",
  "transport": "http",
  "baseUrl": "http://localhost:3000/api"
}

配置参数说明:

  • 'serverName': MCP 服务器的名称，可以自定义。
  • 'command': MCP 服务器的启动命令。由于此 MCP 服务器集成在 LLaDA GUI 内部，客户端需要配置启动 GUI 应用程序的命令，并确保 GUI 启动时内存服务器也随之启动。这里使用了仓库提供的 'run_memory.sh' 脚本，该脚本会启动包含内存服务器的GUI应用。
  • 'args': 启动命令的参数。'run_memory.sh' 脚本无需额外参数即可启动内存服务器，因此参数列表为空。
  • 'description': 对该 MCP 服务器的简要描述。
  • 'protocol': 通信协议，此处为 'json-rpc'，虽然实际实现是基于HTTP的JSON API，但符合JSON-RPC over HTTP的思想。
  • 'transport': 传输协议，此处为 'http'。
  • 'baseUrl': MCP 服务器的 API 基础 URL，用于客户端构建请求 URL。

注意:

  • 实际使用中，MCP客户端可能需要根据 'baseUrl' 构建完整的请求 URL，例如访问 '/api/status'、'/api/forward_pass' 等端点。
  • 此配置假设 MCP 客户端和 MCP 服务器（LLaDA GUI）运行在同一台机器上，服务器地址为 'localhost:3000'。如果客户端和服务器分离部署，需要相应修改 'baseUrl' 和 'command' 等配置。

基本使用方法

  1. 启动 LLaDA GUI 应用 ('./run_memory.sh')，内存服务器将随 GUI 一起启动。
  2. 在 GUI 界面中，启用 "Memory Integration" 选项。
  3. 在 "Memory Visualization" 选项卡中，可以查看内存状态、训练记忆模型、保存和加载模型等。
  4. 在 "Standard" 或 "Memory-Enhanced" 模式下，输入 Prompt 并生成文本，体验具备上下文记忆的LLM交互。

更详细的使用方法请参考仓库的 README.md 文档和 GUI 界面的帮助说明。

信息

分类

AI与计算

访问项目