"inference"标签的搜索结果

基于 Model Context Protocol (MCP) 的本地化上下文服务后端，实现对资源、工具和提示模板的托管与管理，供 LLM 客户端通过 JSON-RPC 调用以获取上下文、执行工具与渲染提示模板。

Ollama 是一个轻量级的、可扩展的框架，用于在本地运行和管理大型语言模型，并提供REST API接口。