Flyworks 唇形同步 MCP 服务器使用说明

项目简介

Flyworks 唇形同步 MCP 服务器是一个基于 Model Context Protocol (MCP) 构建的应用后端,它利用 Flyworks API 提供的唇形同步技术,为 LLM 客户端(如 Claude、Cursor 等)提供便捷的数字人唇形同步视频生成服务。用户可以通过 MCP 客户端向该服务器发送请求,上传数字人视频和音频文件,即可快速生成高质量的唇形同步视频。

主要功能点

  • 唇形同步视频生成: 基于数字人视频和音频文件,快速生成唇形同步的视频。
  • API 驱动: 通过 Flyworks API 提供稳定可靠的唇形同步服务。
  • MCP 标准协议: 遵循 Model Context Protocol 标准,易于集成到各种支持 MCP 协议的 LLM 客户端。
  • 工具化接口: 提供 'create_lipsync_video' 和 'inspect_job_status' 两个工具,分别用于创建唇形同步任务和查询任务状态。

安装步骤

  1. 克隆仓库:

    git clone https://github.com/Flyworks-AI/lipsync-mcp.git
    cd lipsync-mcp
  2. 安装依赖: 推荐使用 'pip' 或 'uv' 安装,确保 'mcp' 工具版本大于等于 1.6.0。

    pip install httpx "mcp[cli]>=1.6.0"

    或者使用 'uv':

    uv pip install httpx "mcp[cli]>=1.6.0"

    为避免服务器启动超时问题,建议预先安装所有依赖:

    pip install pygments pydantic-core httpx "mcp[cli]>=1.6.0"

服务器配置

MCP 服务器需要配置 Flyworks API Token 才能正常工作。您可以通过以下两种方式配置:

方式一:设置环境变量

根据您的操作系统,设置 'FLYWORKS_API_TOKEN' 环境变量。

  • Linux/macOS:
    export FLYWORKS_API_TOKEN="your_token_here"
  • Windows (命令提示符):
    set FLYWORKS_API_TOKEN=your_token_here
  • Windows (PowerShell):
    $env:FLYWORKS_API_TOKEN="your_token_here"

方式二:创建 '.env' 文件

在仓库根目录下创建 '.env' 文件,并添加以下内容:

FLYWORKS_API_TOKEN="your_token_here"

注意: 仓库提供了一个免费试用 Token '2aeda3bcefac46a3',但有每日配额和水印限制,正式使用请联系 [email protected] 获取正式 Token。

MCP 客户端配置

以下是在 Claude Desktop 和 Cursor 中配置 Flyworks Lipsync MCP 服务器的 JSON 格式配置信息。您需要将这些配置添加到对应 MCP 客户端的配置文件中。

Claude Desktop 配置 (claude_desktop_config.json):

{
  "mcpServers": {
    "flyworks_lipsync": {  // 服务器名称,可以自定义,例如 "flyworks_lipsync"
      "command": "python",  // 启动服务器的命令,这里使用 python
      "args": ["/path/to/server.py"], // 启动服务器的参数,指向 server.py 脚本的路径,请替换为实际路径
      "env": {
        "FLYWORKS_API_TOKEN": "your_api_token_here" // Flyworks API Token,如果已设置环境变量,这里可以省略
      }
    }
  }
}

Cursor 配置 (Cursor MCP configuration):

{
  "mcpServers": {
    "flyworks_lipsync": {  // 服务器名称,可以自定义,例如 "flyworks_lipsync"
      "command": "python",  // 启动服务器的命令,这里使用 python
      "args": ["/path/to/server.py"], // 启动服务器的参数,指向 server.py 脚本的路径,请替换为实际路径
      "env": {
        "FLYWORKS_API_TOKEN": "your_api_token_here" // Flyworks API Token,如果已设置环境变量,这里可以省略
      }
    }
  }
}

注意: 请将上述配置中的 '/path/to/server.py' 替换为 'server.py' 脚本在您本地文件系统中的实际路径。'your_api_token_here' 替换为您自己的 Flyworks API Token。

基本使用方法

  1. 启动服务器: 在仓库根目录下,运行以下命令启动 Flyworks Lipsync MCP 服务器:

    python server.py

    服务器成功启动后,会在终端输出 "Starting Flyworks MCP server..." 提示信息。

  2. 在 MCP 客户端中使用:

    • 确保您的 MCP 客户端(如 Claude 或 Cursor)已正确配置 Flyworks Lipsync MCP 服务器。

    • 在 MCP 客户端中,您可以使用以下两个工具:

      • create_lipsync_video: 用于创建唇形同步视频。需要提供 'video_url'(数字人视频 URL)和 'audio_url'(音频文件 URL)作为参数。
      • inspect_job_status: 用于查询唇形同步任务的状态。需要提供 'job_id'(任务 ID)作为参数,该 ID 在创建任务时返回。
    • 使用示例 (假设在 Claude 或 Cursor 等客户端中):

    用户在客户端中输入自然语言指令,例如:

    请使用 flyworks_lipsync 服务器,工具 create_lipsync_video,参数 video_url="https://example.com/avatar.mp4", audio_url="https://example.com/audio.mp3" 生成唇形同步视频。

    客户端会将指令转换为 MCP 请求发送给 Flyworks Lipsync MCP 服务器,服务器调用 Flyworks API 生成视频,并将结果返回给客户端。用户可以使用 'inspect_job_status' 工具和返回的 'job_id' 查询视频生成进度和下载链接。

注意事项

  • 视频生成任务可能需要一些时间,请耐心等待。
  • 生成的视频文件 URL 是临时链接,请及时下载保存。
  • 免费试用 Token 存在配额和水印限制,建议获取正式 Token 以获得完整功能。

信息

分类

AI与计算