关键词

网页搜索内容抓取AI工具大语言模型上下文

项目简介

这是一个基于 Model Context Protocol (MCP) 实现的后端服务器，专门为AI助手（大型语言模型客户端）提供互联网访问能力。它通过标准化的MCP协议向AI提供工具，让AI能够执行网页搜索和内容读取任务。

主要功能点

  • 网页搜索 (search_duckduckgo)：允许AI根据查询词进行网页搜索，并返回匹配结果的URL列表。这对于AI查找最新信息或相关资源非常有用。
  • 网页内容读取 (read_url)：允许AI抓取指定URL的网页内容，自动去除HTML标签，只保留纯文本。支持使用Readability算法提取主要文章内容，并可限制返回文本的长度，以便适应AI的输入窗口大小。

安装步骤

  1. 确保安装 Node.js：该服务器基于Node.js环境运行。

  2. 克隆或下载代码：获取该仓库的代码到本地。

  3. 安装依赖：在项目根目录运行命令安装所需的库。

    npm install

  4. 构建项目 (生产环境推荐)：为了在生产环境中运行，建议先进行构建。

    npm run build

服务器配置 (供MCP客户端使用)

MCP客户端（如支持MCP的LLM应用）需要配置如何启动和连接到这个MCP服务器。以下是标准的MCP客户端配置格式示例，您需要根据您的客户端工具填写：

{
  "name": "web-search-server", // 服务器的唯一标识名称
  "command": "npx",              // 启动服务器的可执行命令，这里使用npx直接运行远程包
  "args": ["https://zgagnon.com/webmcp"], // 传递给命令的参数，指定要运行的包
  // 或者如果您已本地安装并构建，可以使用：
  // "command": "node",
  // "args": ["/path/to/your/local/web-mcp/dist/index.js"] // 替换为本地构建后的入口文件路径
  // 其他可选配置项可能包括 transport (如 stdio, websocket等), environment variables等
}

注意： 上述JSON是供MCP客户端配置使用的参考信息，不是您需要在服务器端执行的代码。实际启动服务器通常是按照上面的“安装步骤”完成后，运行 'npm start' 或 'npm run dev' (开发时)。

基本使用方法

作为MCP服务器，它被设计为由MCP客户端（AI助手）调用，而不是由最终用户直接交互。一旦您按照上面的配置信息将此服务器连接到支持MCP的AI客户端，AI助手就能够感知到这两个工具（'search_duckduckgo' 和 'read_url'）的存在。

当AI助手在处理您的请求时，如果判断需要获取网页信息，它将根据其内部逻辑自动通过MCP协议向此服务器发送请求，调用相应的工具。服务器执行任务并将结果（如搜索到的URL列表或网页文本内容）返回给AI助手，AI助手再利用这些信息来完成您的任务或生成回复。

您可以向AI助手提出类似“请帮我搜索关于最新人工智能进展的信息”或“请阅读这篇[URL]文章的主要内容”这样的请求，如果AI助手支持并配置了此MCP服务器，它可能会自动利用提供的工具来完成。

信息

分类

网页与API

访问项目