项目简介

该仓库包含 Local(o)llama Chat 应用程序及其内置的 MCP (Model Context Protocol) 服务器实现。该 MCP 服务器是一个轻量级后端,专注于提供记忆(知识库)的持久化存储、检索和管理功能。它通过标准的 MCP 协议(具体使用 SSE 传输)暴露这些功能,主要作为 Local(o)llama Chat 应用程序本身的后端组件运行,也可理论上供其他兼容的 MCP 客户端连接使用。

主要功能点

  • 记忆存储与管理: 支持将文本信息作为“记忆”进行添加、编辑、删除和持久化保存到本地文件系统。
  • 记忆搜索与检索: 能够根据查询内容搜索相关的记忆,提供给 LLM 作为生成响应时的上下文补充。
  • MCP 协议支持: 实现 MCP 协议,通过 SSE (Server-Sent Events) 机制与客户端进行通信。
  • 工具注册: 将记忆相关的操作(如添加、搜索、获取记忆)注册为 MCP 工具,可被兼容的 MCP 客户端调用。
  • 集成于 GUI 应用: 作为 Local(o)llama Chat 图形界面应用的一部分启动和运行。

安装步骤

  1. 克隆仓库:
    git clone https://github.com/micahamd/localllama.git
    cd localllama
  2. 安装依赖: 确保您的系统已安装 Python 3.8 或更高版本。然后安装项目所需的依赖:
    pip install -r requirements.txt
  3. 安装可选依赖 (推荐): 为了支持更多文件类型导入记忆,建议安装 MarkItDown 的可选依赖:
    pip install "markitdown[pdf,docx,pptx,xlsx,xls,audio-transcription,youtube-transcription]"
  4. 安装 Ollama (可选): 如果您计划使用本地模型,请根据 Ollama 官方文档安装 Ollama (https://ollama.ai/)。

服务器配置

该 MCP 服务器是 Local(o)llama Chat GUI 应用程序的一个内嵌组件,没有独立的命令行启动方式。它通过应用程序的用户界面启动。默认情况下,如果通过 Local(o)llama Chat GUI 启动,服务器会监听 '127.0.0.1:8000'。

标准的 MCP 客户端需要知道服务器的地址和端口才能连接。以下是兼容 MCP 客户端可能需要配置的信息示例(JSON 格式,仅供参考,具体参数和连接方式取决于客户端实现):

{
  "server_name": "localllama-mcp-memory",
  "description": "Local(o)llama built-in MCP Memory Server providing memory/knowledge base access.",
  "protocol": "sse",
  "url": "http://127.0.0.1:8000"
  // 注意:此服务器通过 Local(o)llama GUI 应用程序启动。
  // 兼容的 MCP 客户端需要连接到 Local(o)llama 应用运行其 MCP 服务器的地址和端口。
  // 没有直接的命令行参数来独立运行服务器组件。
}

基本使用方法

  1. 启动 Local(o)llama Chat 应用: 运行以下命令启动应用程序:
    python main.py
  2. 启动 MCP 服务器: 在 Local(o)llama Chat 应用程序界面中,导航到“Tools”菜单,选择“Memory Control Program”。这将打开 MCP 面板。在 MCP 面板中,点击“Start Server”按钮。服务器状态将更新显示“Server Status: Running”。
  3. 使用记忆功能: 一旦 MCP 服务器启动并运行,Local(o)llama Chat 应用会自动利用它进行记忆的存储和检索。您可以在 MCP 面板中手动添加、编辑、删除和搜索记忆,或通过文件导入。当您与 LLM 进行聊天时,如果启用了记忆功能(由应用内部逻辑控制),LLM 的响应可能会参考相关的记忆内容。 其他兼容的 MCP 客户端也可以通过配置连接到这个运行中的服务(默认地址 '127.0.0.1:8000'),并调用其暴露的记忆管理工具。

信息

分类

AI与计算