项目简介

ComfyUI LLM Party 是一个 ComfyUI 节点的集合,旨在简化和增强在 ComfyUI 中构建 LLM 工作流的过程。它不仅集成了多种 LLM API 和本地模型,还通过实现 Model Context Protocol (MCP) 服务器功能,为用户提供了一个可扩展的上下文服务框架,方便 LLM 应用调用外部资源和工具。

主要功能点

  • LLM 工作流集成: 提供 ComfyUI 节点,用于构建复杂的 LLM 驱动的工作流,无缝结合图像处理流程。
  • 多模型支持: 兼容 OpenAI API、Ollama 等多种 LLM 服务,并支持加载本地 Transformer 模型和 GGUF 格式模型。
  • MCP 服务器功能: 内置 MCP 服务器实现,允许 ComfyUI 作为上下文服务提供者,管理资源、工具和 Prompt 模板。
  • 工具注册与执行: 支持注册和执行外部工具,使 LLM 具备调用外部功能的能力。
  • Prompt 模板: 支持定义和渲染 Prompt 模板,实现可定制的 LLM 交互模式。
  • 多种协议支持: 通过 FastAPI 实现,支持 JSON-RPC 协议以及 Stdio, SSE, WebSocket 等传输协议。
  • 工作流示例: 提供多种预设工作流,如 API 调用 LLM、本地 LLM 管理、VLM 应用等,方便用户快速上手。

安装步骤

  1. 安装 ComfyUI-Manager: 确保你的 ComfyUI 安装了 ComfyUI-Manager 插件。
  2. 使用 ComfyUI-Manager 安装: 在 ComfyUI 界面,通过 ComfyUI-Manager 搜索 'comfyui_LLM_party' 并进行安装。
  3. 重启 ComfyUI: 安装完成后,重启 ComfyUI 以加载插件。
  4. (可选)安装依赖: 如果需要使用本地模型或 GGUF 格式模型,请根据项目 README 中的环境部署指南,安装 'requirements.txt' 中的依赖。

服务器配置 (MCP 客户端视角)

  • ComfyUI LLM Party 作为一个 MCP 服务器,主要服务于 ComfyUI 内部的工作流。其服务器配置主要体现在 ComfyUI 节点的使用上,无需额外的独立服务器启动步骤。
  • MCP 客户端配置 (针对 ComfyUI 内部):
    • 在 ComfyUI 工作流中,使用 MCP Tool 节点来连接和使用 MCP 服务器提供的功能。
    • 你可以通过修改 'comfyui_LLM_party' 目录下的 'mcp_config.json' 文件来配置 MCP 客户端连接的外部 MCP 服务器信息。
    • 示例 'mcp_config.json' 配置 (用于连接外部 MCP 服务器,例如 Everything server):
      {
        "mcpServers": {
          "Everything": {
            "command": "python",
            "args": ["path/to/your/everything_server.py", "--port", "8080"],
            "env": {"SERVER_PORT": "8080"},
            "server name": "Everything"
          }
        }
      }
      • 'server name': MCP 服务器连接的自定义名称,例如 "Everything"。
      • 'command': 外部 MCP 服务器的启动命令,例如 '"python"'。
      • 'args': 启动命令的参数列表,例如 '["path/to/your/everything_server.py", "--port", "8080"]'。注意: 你需要将 '"path/to/your/everything_server.py"' 替换为你实际的外部 MCP 服务器脚本路径。
      • 'env': 环境变量配置,例如 '{"SERVER_PORT": "8080"}'。

基本使用方法

  1. 加载工作流: 在 ComfyUI 中加载 'workflow' 文件夹下的 'start_with_MCP.json' 工作流示例,体验 MCP 功能。
  2. 配置 MCP Tool 节点: 在工作流中找到 MCP Tool 节点,根据需要配置连接的 MCP 服务器(在 'mcp_config.json' 中定义)。
  3. 使用 MCP 工具: 利用 MCP Tool 节点,在 ComfyUI 工作流中调用和执行 MCP 服务器上注册的工具,实现更丰富的 LLM 应用场景。

信息

分类

AI与计算