项目简介

MacPilot CLI 是一个开源工具，它实现了 Model Context Protocol (MCP)，允许大型语言模型（LLM）与 macOS 操作系统进行交互。通过它，LLM 可以调用 macOS 系统提供的各种工具来完成任务，从而增强 LLM 在 macOS 环境下的能力。

主要功能点

MacPilot CLI 暴露了一系列可供 LLM 调用的 macOS 系统工具，包括：

• 获取光标位置: 获取当前鼠标指针在屏幕上的坐标。
• 控制鼠标: 允许 LLM 控制鼠标移动和点击。
• 粘贴文本: 将文本内容粘贴到当前活动的应用中。
• 截取屏幕: 捕获当前屏幕的图像。
• 执行Shell命令: 在 macOS 系统上执行任意 Shell 命令。
• 打开应用程序: 启动指定的应用程序。
• 列出已安装应用: 获取系统上已安装的应用程序列表。
• 获取窗口信息: 获取当前可见窗口的详细信息。
• 获取窗口辅助功能信息: 获取窗口的辅助功能树信息，有助于理解窗口内容。

安装步骤

1. 确保你的Mac电脑是Apple Silicon架构，并运行macOS 14 (Sonoma) 或更新版本。
2. 从项目的 Releases 页面 下载适合你系统的最新二进制文件。
3. 将下载的二进制文件存放到一个你选择的目录中，例如用户的 bin 目录或 '/usr/local/bin/'。

服务器配置

MacPilot CLI 是一个 MCP 服务器，需要由兼容的 MCP 客户端应用程序（例如 Cursor、Claude Desktop 等）来启动和管理。配置过程在你的 MCP 客户端应用中完成。

通常，你需要在 MCP 客户端应用的设置或配置文件中添加一个 MCP 服务器的条目。配置信息通常是一个 JSON 对象，包含以下关键项：

• 服务器名称 ('server name'): 一个用于标识该 MCP 服务器的唯一名称，比如 '"macPilotCli"'。
• 启动命令 ('command'): 这是 MacPilot CLI 二进制文件的完整文件路径，例如 '"/path/to/downloaded/binary"'。
• 启动参数 ('args'): 这是一个字符串数组，包含启动服务器时需要传递的任何命令行参数。根据当前项目信息，启动 MacPilot CLI 不需要额外的参数，因此此项可以留空或省略。

请查阅你使用的 MCP 客户端应用程序的文档，以获取详细的 MCP 服务器配置步骤。

基本使用方法

1. 按照上述步骤安装 MacPilot CLI 二进制文件。
2. 在你的 MCP 客户端应用程序中，按照其文档指示，配置 MacPilot CLI MCP 服务器，指定正确的二进制文件路径。
3. 重要： 给予你的 MCP 客户端应用程序必要的系统权限，特别是 屏幕录制 和 辅助功能 权限。MacPilot CLI 依赖这些权限来执行截屏、模拟鼠标/键盘输入等操作。请在 macOS 的“系统设置”->“隐私与安全性”中找到你的 MCP 客户端应用，并启用这些权限。
4. 在 MCP 客户端应用中，选择一个支持工具调用的 LLM 模型。
5. 通过与 LLM 自然语言交互，LLM 将能够识别何时需要调用 MacPilot CLI 提供的工具来完成你的指示，例如“打开日历应用”、“截取当前屏幕”等。