关键词

LLM安全测试红队测试自动化测试漏洞检测模型评估

项目简介

LLAMATOR MCP 服务器是一个基于 Model Context Protocol (MCP) 的自动化 LLM 红队测试平台。它将 LLAMATOR 红队测试框架封装为MCP工具，让AI助手能够通过标准化的协议调用LLM安全测试功能。

主要功能点

  • 红队测试自动化：通过预设测试方案或自定义测试配置，对目标LLM模型进行安全漏洞检测
  • 双接口支持：同时提供 HTTP REST API 和 MCP 协议接口
  • 作业队列管理：使用 Redis 和 ARQ 工作进程来管理测试任务
  • 多模型支持：支持攻击模型、测试模型和裁判模型的独立配置
  • 结果追踪与报告：实时监控测试状态，生成详细测试报告和日志
  • 安全机制：支持 API 密钥认证，自动过滤敏感信息

安装步骤

  1. 克隆仓库

    git clone https://github.com/CSU-ITMO-2025-2/team11-llamator-mcp

  2. 使用 Docker Compose 快速启动

    docker compose up --build

  3. 配置环境变量

    • 设置 Redis 连接地址
    • 配置 OpenAI 兼容的模型端点（如 LM Studio、vLLM等）
    # 示例配置
LLAMATOR_MCP_ATTACK_OPENAI_BASE_URL=http://localhost:1234/v1
- 配置攻击模型、测试模型和裁判模型
- 设置 API 密钥（可选）

MCP客户端配置

将以下配置添加到您的MCP客户端设置中：

{
  "mcpServers": {
    "llamator": {
      "command": "docker",
      "args": [
        "compose",
        "run",
        "--rm",
        "api"
    }
  }
}

配置说明：

  • command: 使用 Docker 命令启动服务
  • args: 通过 Docker Compose 运行 API 容器
  • 服务器默认运行在端口 8000，可通过环境变量调整
  • MCP 接口默认挂载在 '/mcp' 路径下
  • 如果启用了 API 密钥认证，需要在请求头中添加 'X-API-Key'

基本使用方法

  1. 通过HTTP API提交测试

    • 发送 POST 请求到 '/v1/tests/runs' 创建测试任务
    • 轮询任务状态，查看测试结果
    • 下载生成的测试报告和日志文件

  2. 通过MCP工具调用

    • 使用 'create_llamator_run' 工具提交测试请求并等待完成
    • 使用 'get_llamator_run' 工具获取已完成任务的测试结果

服务器会自动执行LLAMATOR测试框架，生成详细的漏洞评估报告。

信息

分类

AI与计算

访问项目