项目简介

AI Development Monitor 是一个全面的系统,用于监控和评估 AI 代码助手(如 GitHub Copilot)的代码建议,旨在检测潜在的幻觉、递归行为和其他问题。本仓库包含系统的后端组件,实现了一个基于 Model Context Protocol (MCP) 的服务器,用于与客户端(如 VS Code 扩展)进行结构化通信,并集成大型语言模型 (LLM) 进行代码评估和测试生成。

主要功能点

  • 结构化通信 (MCP): 作为核心通信网关,接收和处理来自客户端的结构化消息(如代码建议、继续请求、TDD请求)。
  • 代码建议评估: 利用集成的 LLM 分析代码建议,评估其幻觉风险、递归风险、与任务的对齐程度,并提供问题检测和改进建议。
  • TDD 工作流支持: 根据代码和任务描述,自动生成不同迭代阶段的单元测试代码,辅助实现测试驱动开发。
  • 实时日志可视化: 提供一个独立的 Web 界面,实时显示 MCP 服务器的通信日志,便于监控和调试。
  • LLM 集成: 与 Ollama 等本地或远程 LLM 服务集成,执行代码分析和测试生成任务。

安装步骤

  1. 克隆仓库:
    git clone https://github.com/ebarczynski/ai-development-monitor.git
    cd ai-development-monitor
  2. 设置 Python 环境 (后端):
    python -m venv venv
    source venv/bin/activate
    pip install -r requirements.txt
  3. 设置 Node.js 环境 (VS Code 扩展 - 客户端):
    cd vscode-extension
    npm install
    vsce package
    # 安装生成的 .vsix 文件到 VS Code
    # 例如: code --install-extension ai-development-monitor-X.Y.Z.vsix
  4. 确保 Ollama 正在运行: 该服务器依赖 Ollama 提供 LLM 功能。请确保 Ollama 已安装并在后台运行,通常在 'http://localhost:11434' 上可用。

服务器配置 (供 MCP 客户端使用)

MCP 客户端需要知道如何启动和连接到此服务器。以下是典型的 MCP 客户端所需的 JSON 格式配置信息:

// 示例 MCP 客户端配置
{
  "server_name": "AI Development Monitor MCP Server",
  "command": "python", // 执行服务器脚本的命令
  "args": [
    "src/mcp_server.py", // 服务器脚本路径,位于项目根目录下的src文件夹中
    "--port", "5001",     // 服务器监听端口 (默认 5001)
    "--host", "0.0.0.0"   // 服务器绑定地址 (默认 0.0.0.0 允许外部连接)
    // 根据需要添加其他启动参数
  ],
  "url": "ws://localhost:5001/ws", // 客户端连接的 WebSocket URL
  "protocol": "mcp", // 指明协议类型为MCP
  "enabled": true // 是否启用该服务器
}

请注意,'command' 和 'args' 需要根据您的实际环境和项目文件结构进行调整。上面的示例假设您在项目根目录执行此命令。'url' 中的主机名和端口应与 MCP 服务器实际运行的地址和端口匹配。

基本使用方法

  1. 启动 MCP 服务器: 在项目根目录执行以下脚本。
    ./start_mcp_server.sh
  2. (可选)启动 Web 界面服务器: 在项目根目录执行以下脚本,用于查看实时日志。
    ./start_web_server.sh
    启动后访问 'http://localhost:5002' 查看日志。
  3. 使用 VS Code 扩展: 打开配置好的 VS Code 扩展,它将作为 MCP 客户端连接到 MCP 服务器,并开始监控和评估 GitHub Copilot 等 AI 助手的建议。

信息

分类

开发者工具