项目简介

Atla MCP 服务端是一个实现 Model Context Protocol (MCP) 的应用后端，它使得支持 MCP 协议的 LLM 客户端（如各种 AI 开发工具、Agent 框架等）能够以标准化的方式调用 Atla API 提供的能力，特别是其强大的 LLM 评估功能。

主要功能点

该服务器主要通过 MCP 协议暴露以下两个工具（Tools）：

• 评估 LLM 回复 ('evaluate_llm_response'): 根据用户定义的评估标准，调用 Atla 模型的评估能力，对 LLM 生成的回复进行打分和提供文本反馈（Critique）。这对于自动化评估模型输出的质量非常有用。
• 按多项标准评估 LLM 回复 ('evaluate_llm_response_on_multiple_criteria'): 支持同时使用多个评估标准来评估同一个 LLM 回复，返回每个标准的评估结果列表。这适用于需要从不同维度（如事实准确性、相关性、风格等）全面评估模型性能的场景。

安装步骤

该项目推荐使用 'uv' 或 'pip' 进行安装和运行。

1. 安装 Python: 确保您的系统安装了 Python。
2. 安装 uv (推荐): 按照 uv 官方文档 安装 'uv'。'uv' 包含 'uvx' 工具，可以直接运行 Python 包而无需提前安装。
3. 获取 Atla API 密钥: 您需要一个 Atla API 密钥才能使用服务器的功能。请访问 Atla 官网 获取或登录查看您的密钥。

服务器配置 (针对 MCP 客户端)

Atla MCP 服务器本身是一个后台进程。要使用它，您需要通过支持 MCP 的客户端应用程序（如 Claude Desktop, Cursor 等）进行配置。客户端需要知道如何启动这个 MCP 服务器进程。

配置信息通常以 JSON 格式提供，包含以下关键项：

• 'server name': 您为这个服务器实例指定的名称（例如: '"atla-mcp-server"'），用于在客户端界面中识别。
• 'command': 用于启动服务器进程的可执行命令（例如: '"uvx"'）。
• 'args': 传递给启动命令的参数列表（例如: '["atla-mcp-server"]'）。
• 'env': 一个包含环境变量的 JSON 对象，用于向服务器传递配置信息。您必须在此处提供您的 Atla API 密钥。示例: '{"ATLA_API_KEY": "<您的 Atla API 密钥>"}'。

请将 '<您的 Atla API 密钥>' 替换为您实际的 Atla API 密钥。具体的配置界面和文件位置（如 'claude_desktop_config.json' 或 '.cursor/mcp.json'）请参考您使用的 MCP 客户端的官方文档。

基本使用方法

配置完成后，启动您的 MCP 客户端。客户端会自动发现并连接到配置的 Atla MCP 服务器。在客户端中，您应该能看到由 Atla MCP 服务器提供的评估工具。您可以在客户端界面中选择或通过客户端的 Agent/SDK 调用这些工具，并按提示提供相应的输入（如要评估的 Prompt、LLM 回复、评估标准等），服务器将返回评估结果。