项目简介

Trustwise MCP 服务器是基于 Model Context Protocol (MCP) 构建的后端服务,它将 Trustwise 的先进 AI 评估能力封装为标准的 MCP 工具。通过与支持 MCP 的 LLM 客户端(如 Claude Desktop, Cursor 等)集成,用户或 LLM 可以直接调用这些评估工具来分析和验证模型生成的文本。

主要功能点

该服务器通过 MCP 协议暴露了一系列功能强大的评估工具,主要涵盖以下几个方面:

  • 安全性评估: 包括评估模型回复的忠实度(Faithfulness)、答案相关性(Answer Relevancy)、上下文相关性(Context Relevancy)、个人身份信息(PII)检测、提示注入风险(Prompt Injection)以及总结质量(Summarization)。
  • 对齐性评估: 测量模型回复的清晰度(Clarity)、正式度(Formality)、帮助性(Helpfulness)、敏感度(Sensitivity)、简洁度(Simplicity)、语气(Tone)和毒性(Toxicity)。
  • 性能评估: 估算模型推理过程的碳足迹(Carbon Footprint)和成本(Cost)。

这些评估工具使得将自动化、标准化的 AI 安全与性能检测集成到 LLM 应用或工作流中成为可能。

安装步骤

该服务器主要通过 Docker 容器提供。您需要先安装 Docker。

  1. 获取 Trustwise API 密钥:访问 https://trustwise.ai 获取您的 Trustwise API Key。
  2. 确保已安装 Docker。

服务器配置

Trustwise MCP 服务器是供 MCP 客户端(如某些桌面 AI 应用或代理框架)使用的。客户端需要知道如何启动这个服务器进程并与之通信。典型的配置方式是在客户端设置中指定启动服务器的命令及其参数。

主要的配置信息包括:

  • 服务器名称: 例如 'trustwise'。
  • 启动命令 (command): 执行服务器的命令。对于 Trustwise MCP 服务器,这通常是一个 'docker run' 命令,用于启动 Docker 容器。
  • 启动参数 (args): 传递给启动命令的参数。例如,用于在 Docker 容器中运行指定的镜像。
  • 环境变量 (env): 在启动服务器进程时需要设置的环境变量。最重要的是需要通过环境变量(例如 'TW_API_KEY')将您的 Trustwise API Key 传递给服务器,以便服务器能够调用 Trustwise 服务。您可能还需要设置 'TW_BASE_URL' 如果您使用私有化部署的 Trustwise 实例。

具体的配置格式和位置取决于您使用的 MCP 客户端。请参考您的 MCP 客户端的文档,根据上述信息进行配置。例如,对于支持 Docker 的客户端,您需要配置一个 Docker 容器的启动命令,并将 API Key 作为环境变量传入。

基本使用方法

一旦 Trustwise MCP 服务器在您的 MCP 客户端中配置并成功连接,您就可以在客户端界面或通过 LLM 调用注册的工具。具体的使用方式取决于客户端的设计:

  • 通过 LLM 调用: LLM 可能会自动识别并使用这些评估工具来分析其自身的回复或提供的文本。
  • 通过客户端界面: 客户端界面可能提供直接调用这些工具的选项,让用户输入需要评估的文本(如模型的回复、上下文、查询等参数),然后显示评估结果。

例如,您可以让 LLM 评估某个回复的“毒性”或“忠实度”,或者手动触发一个成本评估工具来估算模型推理的费用。

信息

分类

AI与计算