关键词

网页搜索内容提取DuckDuckGoLLM工具互联网接入

项目简介

Web Scout MCP服务器是一个基于 Model Context Protocol (MCP) 的后端服务，旨在为支持MCP协议的LLM客户端（如Claude Desktop, Cursor等）提供访问互联网进行网页搜索和内容提取的能力。它充当LLM与网络世界之间的桥梁，让LLM能够获取实时的外部信息。

主要功能点

  • 网页搜索 (基于DuckDuckGo): 利用DuckDuckGo搜索引擎执行搜索，返回相关的网页链接和摘要。
  • 网页内容提取: 从指定的网页URL中抓取并提取干净、易读的文本内容，移除导航、脚本、样式等干扰元素。
  • 支持同时处理多个网页: 可以并行处理多个网页的内容提取请求，提高效率。
  • 内存优化: 实现智能内存管理，减少大规模数据处理时的内存占用，提升服务器稳定性。
  • 智能限速: 内置请求限速机制，避免对目标网站或搜索引擎造成过大负担而被封禁。
  • 健壮的错误处理: 提供可靠的错误处理能力，确保服务稳定运行。

安装步骤

  1. 安装Node.js: 确保您的系统已经安装了Node.js运行环境。本服务器要求Node.js版本大于等于 18.0.0。您可以从 Node.js官网 下载安装。

  2. 安装Web Scout MCP服务器: 打开终端或命令提示符，执行以下命令进行全局安装：

    npm install -g @pinkpixel/web-scout-mcp

    或者，如果您希望在特定项目中局部安装，可以使用：

    npm install @pinkpixel/web-scout-mcp

服务器配置 (面向MCP客户端用户)

Web Scout MCP服务器是通过MCP客户端（如支持MCP的AI助手应用）来启动和管理的。您通常需要在您的MCP客户端的配置中添加此服务器的信息。典型的配置信息会包含服务器的名称、启动命令及其参数。

以下是配置时需要了解的关键信息：

  • 服务器名称 (server name): 您可以为这个服务器指定一个易于识别的名称，例如 'web-scout'。
  • 启动命令 (command): 这是客户端用来启动服务器进程的命令。对于通过npm全局安装的包，通常是 'npx'。
  • 启动参数 (args): 这是传递给启动命令的参数。对于npm包，通常包括 '-y' (表示自动确认安装npm包) 和服务器的npm包名称 '@pinkpixel/web-scout-mcp'。

请参考您的MCP客户端的文档，将上述信息添加到其MCP服务器配置中（通常是在一个 'config.json' 文件里），例如：

在客户端的MCP服务器配置列表 ('mcpServers') 中添加一个条目，其 'command' 为 'npx'，'args' 为 '["-y", "@pinkpixel/web-scout-mcp"]'，并给它指定一个名称如 'web-scout'。

配置完成后，重新启动您的MCP客户端，它将能够发现并连接到Web Scout MCP服务器。

基本使用方法

一旦Web Scout MCP服务器在您的MCP客户端中配置并成功连接，您无需直接与其交互。LLM客户端会根据您在对话中提出的需求，自动调用服务器提供的工具。

  • 如果您向LLM提出需要最新信息或需要搜索互联网的问题，LLM客户端可能会自动调用 'DuckDuckGoWebSearch' 工具进行搜索。
  • 如果您提供了某个网页的URL，并要求LLM总结或分析其内容，LLM客户端可能会自动调用 'UrlContentExtractor' 工具来获取网页内容。

您只需像往常一样与LLM对话即可，LLM会智能地决定何时使用这些网络工具来更好地回答您的问题。

信息

分类

网页与API

访问项目