"LLM评估"标签的搜索结果

基于 Model Context Protocol (MCP) 的后端服务器实现，向 LLM 客户端提供资源、工具及提示模板的托管、注册与执行，采用 JSON-RPC 进行通信，并具备会话管理与能力声明。该服务器封装了指标计算工具集的对接入口，允许通过 MCP 客户端灵活读取工具信息、执行单/多项指标、获取指标详情等能力。

开源LLM工程平台，用于开发、监控、评估和调试AI应用，提供上下文管理、Prompt模板及评估工具。

提供AI安全、对齐和性能评估工具，用于评估大型语言模型输出质量。

基于 Model Context Protocol (MCP)，提供与 Atla API 交互的标准接口，用于 LLM 性能评估。

Root Signals MCP Server是一个基于MCP协议的服务端实现，旨在将Root Signals的评估器作为工具提供给AI助手，用于评估AI模型的输出质量。

该项目实现了一个MCP服务器，将 vLLM 基准测试功能作为工具对外提供，允许LLM客户端通过MCP协议调用以评估 vLLM 服务的性能。

Patronus MCP Server为LLM应用提供标准化的评估和实验后端服务，支持远程评估器、批量评估和自定义评估流程。