关键词

LLMlarge language modellocalofflineinference

使用说明

项目简介

Ollama 是一个用于在本地机器上快速部署和运行大型语言模型的工具。它旨在简化 LLM 的使用，让用户能够轻松地下载、运行和定制各种模型。Ollama 通过命令行界面和 REST API 提供服务，方便用户在本地进行模型推理和开发 LLM 应用。

主要功能点

  • 本地模型运行: 允许用户在 macOS、Windows 和 Linux 系统上本地运行大型语言模型，无需复杂的配置。
  • 模型库支持: 提供丰富的模型库，用户可以轻松下载和使用各种预训练模型，如 Llama2、Mistral 等。
  • 模型定制: 支持通过 Modelfile 定制模型，包括导入 GGUF/Safetensors 格式的模型、自定义 Prompt 模板、设置模型参数等。
  • REST API 接口: 提供 REST API，允许开发者通过 HTTP 请求与 Ollama 服务器交互，进行文本生成、对话等操作。
  • 命令行工具: 提供简洁易用的命令行工具 'ollama'，用于模型管理、运行和交互。

安装步骤

  1. macOS:

    • 访问 Ollama 官网下载页 下载 macOS 版本安装包 ('Ollama-darwin.zip')。
    • 解压安装包，将 Ollama.app 拖拽到 “Applications” 文件夹。
    • 运行 Ollama.app 启动服务器。

  2. Windows:

    • 访问 Ollama 官网下载页 下载 Windows 版本安装包 ('OllamaSetup.exe')。
    • 运行安装程序 ('OllamaSetup.exe')，按照提示完成安装。
    • 安装完成后，Ollama 应用程序会自动启动。

  3. Linux:

    • 打开终端，运行以下命令安装 Ollama： 
      curl -fsSL https://ollama.com/install.sh | sh
    • 安装完成后，使用 'ollama serve' 命令启动服务器（通常安装脚本会自动启动）。

  4. Docker:

    • 使用 Docker Hub 上的官方 Ollama 镜像 'ollama/ollama'。 
      docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

服务器配置

MCP 客户端可以通过以下 JSON 配置信息连接到 Ollama 服务器：

{
  "server name": "ollama",
  "command": "ollama",
  "args": ["serve"],
  "description": "Ollama 服务器",
  "notes": "Ollama 服务器默认监听 127.0.0.1:11434，可以通过 OLLAMA_HOST 环境变量配置监听地址和端口。"
}

参数注释:

  • 'server name': 服务器名称，可以自定义。
  • 'command': 启动 Ollama 服务器的命令，通常为 'ollama'。
  • 'args': 启动命令的参数，这里使用 'serve' 参数启动服务器模式。
  • 'description': 服务器描述信息，可以自定义。
  • 'notes': 关于服务器配置的补充说明，例如默认地址和端口、环境变量配置等。

基本使用方法

  1. 启动 Ollama 服务器:

    • 按照上述安装步骤启动 Ollama 服务器。对于 macOS 和 Windows，通常是运行应用程序；对于 Linux 和 Docker，使用 'ollama serve' 命令。

  2. 使用命令行工具 'ollama' 与模型交互:

    • 运行模型: 使用 'ollama run <模型名称>' 命令运行模型，例如 'ollama run llama3.2'。
    • 下载模型: 如果本地没有该模型，'ollama run' 命令会自动下载。也可以使用 'ollama pull <模型名称>' 提前下载模型。
    • 自定义 Prompt: 在 'ollama run' 命令后添加文本作为 Prompt，与模型进行对话，例如 'ollama run llama3.2 "你好"'。
    • 多行输入: 使用 '"""' 包裹多行文本作为输入。

  3. 使用 REST API 接口:

    • Ollama 服务器默认监听 'http://localhost:11434'。
    • 生成文本: 发送 POST 请求到 'http://localhost:11434/api/generate'，请求体为 JSON 格式，包含 'model' 和 'prompt' 字段。 
      {
  "model": "llama3.2",
  "prompt": "Why is the sky blue?"
}
    • 对话: 发送 POST 请求到 'http://localhost:11434/api/chat'，请求体为 JSON 格式，包含 'model' 和 'messages' 字段，'messages' 是包含角色和内容的对话历史记录。 
      {
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}
    • 更多 API 端点和参数请参考 API 文档。

信息

分类

AI与计算

访问项目