Final项目构建了一个全面的AI代理基础设施,其中包含一个符合Model Context Protocol (MCP) 标准的服务器实现。该MCP服务器专注于与本地运行的Ollama大模型进行深度集成,为外部LLM客户端提供强大的上下文服务和工具调用能力。

主要功能点

  • Ollama模型管理: 自动检测本地Ollama环境中可用的模型,并允许客户端动态选择活跃模型,便于管理和使用不同的大模型。
  • 代码智能辅助: 提供高级的代码自动补全功能,并支持对代码进行深度分析以识别潜在问题、优化建议,甚至提供代码重构方案,极大地提升开发效率。
  • 多轮对话代理: 支持上下文感知的智能聊天模式,能够保留会话历史,实现更自然、连贯的多轮对话交互,适用于智能客服或技术问答场景。
  • 可扩展工具: 通过标准化的MCP协议,将上述功能封装为可供LLM调用的工具,实现LLM客户端与本地大模型和代码环境的无缝互动。

安装步骤

  1. 克隆仓库: 首先,使用Git命令将Final项目克隆到您的本地计算机:
    git clone https://github.com/Scarmonit/Final.git
    cd Final
  2. 安装依赖: 进入项目目录后,安装所有必要的Node.js依赖:
    npm install
  3. 安装并运行Ollama: 该MCP服务器依赖Ollama在本地运行大模型。请根据Ollama官方指南安装并启动Ollama服务。确保您已下载并拉取了至少一个模型(例如 'llama3' 或 'codellama'),并通过 'ollama serve' 命令在后台运行Ollama服务。

服务器配置

要使MCP客户端(例如VS Code的Continue扩展或其他支持MCP协议的LLM应用)能够连接到此MCP服务器,您需要配置服务器的启动命令和参数。典型的MCP客户端配置文件(通常为JSON格式)会包含以下关键信息:

  • 服务器名称 (name): 一个描述性的名称,例如 "Continue-Ollama MCP Server"。
  • 启动命令 (command): 用于启动MCP服务器进程的命令,通常是 'node'。
  • 启动参数 (args): 传递给启动命令的参数,指定MCP服务器的入口文件路径。对于此项目,您需要指定 'src/mcp/continue-ollama-server.js' 的相对或绝对路径。例如:'["src/mcp/continue-ollama-server.js"]'。
  • 环境变量 (env): 您可以通过环境变量自定义Ollama的连接设置和默认模型。常用的环境变量包括:
    • 'OLLAMA_ENDPOINT': 指定您的Ollama服务地址(默认为 'http://localhost:11434')。
    • 'OLLAMA_DEFAULT_MODEL': 指定MCP服务器默认加载的Ollama模型名称(默认为 'llama3')。
    • 'LOG_LEVEL': 设置日志级别,如 'info' 或 'debug'。

基本使用方法

  1. 确保Ollama服务运行: 在启动MCP服务器之前,请确认您的Ollama服务已经在本地运行,并且您已下载了所需的大模型。
  2. 启动MCP服务器: MCP服务器通常由MCP客户端根据上述配置自动启动。例如,在VS Code的Continue扩展中,当您配置好MCP服务器后,扩展会在需要时自动启动它。您也可以通过运行以下命令手动启动服务器进行测试:
    node src/mcp/continue-ollama-server.js
    服务器启动后,会在标准输入/输出流上监听MCP客户端请求。
  3. 通过MCP客户端交互: 连接后,您的LLM客户端将能够调用MCP服务器提供的各种工具。例如,您可以请求列出Ollama模型、进行代码补全、分析代码,或与LLM进行上下文感知的聊天。具体操作取决于您使用的MCP客户端界面。

信息

分类

AI与计算