关键词

公共知识库AI工具集成任务缓存LLM上下文智能搜索

项目简介 OpenWebWiki 是一个由 Cloudflare Workers 驱动的公共任务结果缓存服务，其核心理念是将由 AI 代理完成的任务结果建立成一个可公开搜索的知识库。它通过集成 Model Context Protocol (MCP) 标准，允许大型语言模型 (LLM) 客户端以标准化的方式调用其搜索功能，获取高质量的任务数据。用户可以提交任务（如网络研究、分析、摘要），系统将处理任务、生成智能元数据，并将结果公开，同时支持使用 X (Twitter) OAuth 进行用户认证和计费。

主要功能点

  • 公共任务结果缓存: 收集并索引通过 Parallel API 等服务执行的任务结果，构建一个可公开访问的知识库。
  • 智能元数据生成: 利用大型语言模型（如 Groq API）自动为任务结果生成标题、关键词、分类和友好链接（slug），提升内容的可发现性。
  • MCP 工具集成: 提供基于 MCP 协议的 'searchTasks' 工具，允许 LLM 客户端调用该工具来搜索公共任务索引。
  • 用户认证与计费: 通过 Stripeflare 的 X (Twitter) OAuth 实现用户身份验证，并支持基于任务处理器的按需计费。
  • 双格式响应: 所有公共 API 端点支持 HTML 和 JSON 两种响应格式，方便人类用户浏览和机器客户端集成。
  • 任务处理流程: 从用户创建任务、费用预留、异步执行 Parallel API 任务、SSE 事件跟踪、结果存储到元数据生成，形成完整的任务生命周期管理。
  • 可搜索的知识库: 提供关键词、标题、分类和结果内容匹配的公共搜索功能，仅返回高置信度的已完成任务。

安装步骤 OpenWebWiki 作为一个 Cloudflare Workers 应用，部署步骤相对简单：

  1. 克隆仓库:

    git clone https://github.com/janwilmake/openwebwiki.git
cd openwebwiki

  2. 安装依赖:

    npm install

  3. 配置环境变量: 复制示例配置文件，并填写你的 API 密钥：

    cp .dev.vars.example .dev.vars

    编辑 '.dev.vars' 文件，填入 'PARALLEL_API_KEY' (Parallel AI API 密钥) 和 'LLM_API_KEY' (Groq API 密钥)。

    请注意：对于生产环境部署，这些环境变量应通过 Cloudflare Workers 控制台或 Wrangler CLI 进行配置。

  4. 本地运行（开发模式）:

    npx wrangler dev

    这将在本地启动一个开发服务器，通常在 'http://127.0.0.1:8787'。

  5. 部署到 Cloudflare Workers:

    npx wrangler deploy

    此命令会将你的 Worker 部署到 Cloudflare。你需要一个 Cloudflare 账户并配置 Wrangler CLI。

服务器配置 OpenWebWiki MCP 服务器部署后，其 MCP 端点通常在 '/mcp' 路径下可用。MCP 客户端可以通过以下信息连接到该服务器：

{
  "serverName": "OpenWebWiki-MCP-Server",
  "command": "npx",
  "args": [
    "@modelcontextprotocol/inspector",
    "https://openwebwiki.com/mcp"
  ],
  "description": "连接到 OpenWebWiki 的 MCP 服务器，该服务器提供访问公共任务搜索的工具。",
  "capabilities": {
    "tools": {
      "searchTasks": {
        "description": "通过关键词搜索 OpenWebWiki 公共任务索引中的已完成任务。",
        "input": {
          "type": "object",
          "properties": {
            "query": {
              "type": "string",
              "description": "要搜索的关键词或短语。"
            }
          },
          "required": ["query"]
        }
      }
    }
  },
  "note": "请将 'https://openwebwiki.com/mcp' 替换为你的实际部署地址。"
}

基本使用方法

  1. 访问网站: 部署后，访问你的 Worker URL（例如 'https://openwebwiki.com'）。你将看到一个主页，可以进行 X 账户登录、充值和任务创建。
  2. 创建任务:
    • 登录你的 X 账户并确保有足够的余额。
    • 在网页上选择处理器和输入任务描述，然后点击“Create Task”。
    • 系统将异步处理任务，完成后结果会存储并公开。
  3. 搜索公共任务:
    • 直接通过 URL 访问 '/search/{query}'，例如 'https://openwebwiki.com/search/web%20research'。
    • 或者通过网页上的搜索框输入关键词进行搜索。
  4. MCP 客户端集成:
    • 配置你的 MCP 客户端，使其连接到 OpenWebWiki 的 MCP 端点（例如 'https://your-worker-url/mcp'）。
    • LLM 客户端可以通过调用 'searchTasks' 工具，并提供 'query' 参数来搜索任务，例如： 
      {
  "jsonrpc": "2.0",
  "id": 1,
  "method": "tools/call",
  "params": {
    "name": "searchTasks",
    "arguments": {
      "query": "latest AI trends"
    }
  }
}
    • 服务器将返回匹配的任务结果，供 LLM 进一步处理或总结。

信息

分类

AI与计算

访问项目