关键词

知识管理多源知识集成向量检索知识图谱文档爬取

使用说明

项目简介

统一知识管理系统 (Unified Knowledge Management System) 是一个旨在整合多种知识来源，构建统一、可搜索知识库的综合系统。该系统通过标准化的 MCP (Model Context Protocol) 服务器层，向 LLM 客户端提供来自不同知识源（如文档、网页、知识图谱等）的结构化知识访问能力，并支持高级检索功能。

主要功能点

  • 多源知识整合: 支持从多种来源（如网站、文档、知识库等）采集和整合知识。
  • 结构化知识存储: 将知识存储为结构化文档、向量数据库和知识图谱，方便不同类型的检索和利用。
  • MCP 服务器层: 通过多个独立的 MCP 服务器（DevDocs MCP, Firecrawl MCP, Qdrant MCP, Knowledge Graph MCP）暴露不同知识源的访问能力，符合 MCP 协议标准。
  • 统一检索接口: 提供统一的检索入口，可以跨多个知识源进行检索，并对结果进行整合和排序。
  • 多种传输协议支持: MCP 服务器支持 Stdio 和 HTTP+SSE 等多种传输协议，满足不同客户端的需求。

安装步骤

  1. 克隆仓库 
    git clone https://github.com/BjornMelin/unified-knowledge-system.git
cd unified-knowledge-system
  2. 安装 Node.js 和 Python 依赖 根据项目 README.md 的指引，分别进入各个组件目录（例如 'mcp-servers/devdocs', 'mcp-servers/firecrawl' 等），执行 'npm install' 安装 Node.js 依赖。确保已安装 Python 3.9+ 和 Docker。
  3. 配置和启动 Docker (可选) 部分组件（如 Qdrant 向量数据库）需要 Docker 运行。根据 README.md 指引，配置并启动 Docker Compose。
  4. 配置 MCP 服务器 进入各个 MCP 服务器的目录（例如 'mcp-servers/devdocs', 'mcp-servers/firecrawl' 等），根据其 README.md 和 'config.example.json' 示例文件配置服务器参数，例如 API 密钥、数据库连接信息等。
  5. 启动 MCP 服务器 在各个 MCP 服务器目录下，根据其 README.md 的说明，执行启动命令（例如 'npm start' 或 './setup.sh'）。

服务器配置

以下是 MCP 客户端连接到 'unified-knowledge-system' 提供的 MCP 服务器所需的配置信息 (JSON 格式)。 请根据您实际需要访问的知识源选择配置相应的服务器。

[
  {
    "server_name": "devdocs-mcp",
    "command": "node",
    "args": ["index.js"],
    "cwd": "/path/to/unified-knowledge-system/mcp-servers/devdocs"  // 修改为 devdocs-mcp 服务器的实际目录
    // DevDocs MCP 服务器，暴露技术文档知识，使用 stdio 传输协议
  },
  {
    "server_name": "firecrawl-mcp",
    "command": "node",
    "args": ["index.js"],
    "cwd": "/path/to/unified-knowledge-system/mcp-servers/firecrawl" // 修改为 firecrawl-mcp 服务器的实际目录
    // Firecrawl MCP 服务器，暴露网页内容知识，使用 HTTP+SSE 传输协议，可能需要配置 API 密钥等
  },
  {
    "server_name": "qdrant-mcp",
    "command": "node",
    "args": ["index.js"],
    "cwd": "/path/to/unified-knowledge-system/mcp-servers/qdrant"   // 修改为 qdrant-mcp 服务器的实际目录
    // Qdrant MCP 服务器，提供向量检索能力，使用 stdio 传输协议，连接到 Qdrant 向量数据库
  },
  {
    "server_name": "knowledge-graph-mcp",
    "command": "node",
    "args": ["index.js"],
    "cwd": "/path/to/unified-knowledge-system/mcp-servers/knowledge-graph" // 修改为 knowledge-graph-mcp 服务器的实际目录
    // Knowledge Graph MCP 服务器，提供知识图谱查询能力，使用 stdio 传输协议，连接到知识图谱数据库
  }
]

注意:

  • 请将 '"/path/to/unified-knowledge-system"' 替换为你的 'unified-knowledge-system' 仓库的实际本地路径。
  • 上述 'server_config.json' 仅为示例，实际使用时可能需要根据各个 MCP 服务器的配置需求进行调整，例如添加环境变量配置、修改启动参数等。 请仔细阅读各个 MCP 服务器目录下的 'README.md' 文件获取更详细的配置信息。
  • 客户端需要根据实际使用的 MCP 服务器类型 (例如 DevDocs MCP, Firecrawl MCP 等) 选择对应的服务器配置。

基本使用方法

  1. 启动选择的 MCP 服务器。
  2. 在 LLM 客户端中，配置上述 'server_config.json' 中的服务器信息。
  3. LLM 客户端即可通过 MCP 协议与 'unified-knowledge-system' 提供的 MCP 服务器进行通信，访问和检索集成的知识。 具体操作方式请参考 LLM 客户端的 MCP 功能使用说明。

信息

分类

AI与计算

访问项目