项目简介
AI Development Monitor 是一个全面的系统,用于监控和评估 AI 代码助手(如 GitHub Copilot)的代码建议,旨在检测潜在的幻觉、递归行为和其他问题。本仓库包含系统的后端组件,实现了一个基于 Model Context Protocol (MCP) 的服务器,用于与客户端(如 VS Code 扩展)进行结构化通信,并集成大型语言模型 (LLM) 进行代码评估和测试生成。
主要功能点
- 结构化通信 (MCP): 作为核心通信网关,接收和处理来自客户端的结构化消息(如代码建议、继续请求、TDD请求)。
- 代码建议评估: 利用集成的 LLM 分析代码建议,评估其幻觉风险、递归风险、与任务的对齐程度,并提供问题检测和改进建议。
- TDD 工作流支持: 根据代码和任务描述,自动生成不同迭代阶段的单元测试代码,辅助实现测试驱动开发。
- 实时日志可视化: 提供一个独立的 Web 界面,实时显示 MCP 服务器的通信日志,便于监控和调试。
- LLM 集成: 与 Ollama 等本地或远程 LLM 服务集成,执行代码分析和测试生成任务。
安装步骤
- 克隆仓库:
git clone https://github.com/ebarczynski/ai-development-monitor.git cd ai-development-monitor - 设置 Python 环境 (后端):
python -m venv venv source venv/bin/activate pip install -r requirements.txt - 设置 Node.js 环境 (VS Code 扩展 - 客户端):
cd vscode-extension npm install vsce package # 安装生成的 .vsix 文件到 VS Code # 例如: code --install-extension ai-development-monitor-X.Y.Z.vsix - 确保 Ollama 正在运行: 该服务器依赖 Ollama 提供 LLM 功能。请确保 Ollama 已安装并在后台运行,通常在 'http://localhost:11434' 上可用。
服务器配置 (供 MCP 客户端使用)
MCP 客户端需要知道如何启动和连接到此服务器。以下是典型的 MCP 客户端所需的 JSON 格式配置信息:
// 示例 MCP 客户端配置 { "server_name": "AI Development Monitor MCP Server", "command": "python", // 执行服务器脚本的命令 "args": [ "src/mcp_server.py", // 服务器脚本路径,位于项目根目录下的src文件夹中 "--port", "5001", // 服务器监听端口 (默认 5001) "--host", "0.0.0.0" // 服务器绑定地址 (默认 0.0.0.0 允许外部连接) // 根据需要添加其他启动参数 ], "url": "ws://localhost:5001/ws", // 客户端连接的 WebSocket URL "protocol": "mcp", // 指明协议类型为MCP "enabled": true // 是否启用该服务器 }
请注意,'command' 和 'args' 需要根据您的实际环境和项目文件结构进行调整。上面的示例假设您在项目根目录执行此命令。'url' 中的主机名和端口应与 MCP 服务器实际运行的地址和端口匹配。
基本使用方法
- 启动 MCP 服务器: 在项目根目录执行以下脚本。
./start_mcp_server.sh - (可选)启动 Web 界面服务器: 在项目根目录执行以下脚本,用于查看实时日志。
启动后访问 'http://localhost:5002' 查看日志。./start_web_server.sh - 使用 VS Code 扩展: 打开配置好的 VS Code 扩展,它将作为 MCP 客户端连接到 MCP 服务器,并开始监控和评估 GitHub Copilot 等 AI 助手的建议。
信息
分类
开发者工具