前言：为什么要拥有一个本地AI大模型？

你是否曾想过拥有一个像ChatGPT一样强大，但完全属于你自己的AI助手？一个不需要联网、不担心数据隐私、完全免费，并且可以根据你的需求进行定制的AI。听起来是不是很酷？

在过去，这可能需要昂贵的硬件和复杂的部署知识。但现在，感谢像Ollama这样的开源项目，这一切变得前所未有的简单。

在本地运行大语言模型（LLM）有几个核心优势：

  1. 数据隐私与安全：所有数据都在你的电脑上处理，无需上传到任何云端服务器。对于处理敏感信息或个人隐私内容，这是最安全的选择。
  2. 完全免费：开源模型本身是免费的，Ollama也是免费的。一旦部署，你可以无限制地使用它，告别API按Token计费的焦虑。
  3. 离线工作：没有网络连接？没问题。你的本地AI随时待命，无论你在飞机上、高铁上，还是在网络不佳的环境中。
  4. 高度可定制：你可以加载不同的开源模型，甚至基于现有模型创建自己的特定版本，打造最适合你工作流的专属AI。

这篇「保姆级」教程将带你一步步完成从安装到使用的全过程，无论你用的是Windows、macOS还是Linux，都能轻松上手。

Ollama是什么？

Ollama 是一个开源工具，它将部署和运行大语言模型的复杂过程打包成一个极其简单的命令。你可以把它想象成一个LLM的“应用商店”和“启动器”。

它的核心优势在于：

  • 极简安装：在macOS和Linux上只需一行命令，在Windows上则提供了图形化的安装包。
  • 丰富的模型库：轻松访问和下载当前最流行的开源模型，如Meta的Llama 3、Google的Gemma、Mistral系列等。
  • 跨平台支持：完美兼容Windows、macOS和Linux三大主流操作系统。
  • 开发者友好：提供REST API，方便你将本地模型集成到自己的应用程序中。

第一步：下载与安装Ollama

首先，我们需要从Ollama的官方网站下载安装程序。

官网地址： https://ollama.com/

访问官网，首页就会有一个大大的“Download”按钮，点击它，并根据你的操作系统选择对应的版本。

Windows 用户

  1. 下载 .exe 安装文件。
  2. 双击运行安装程序，它会自动完成所有配置。
  3. 安装完成后，Ollama会作为一个后台服务在你的系统中运行，你可以在任务栏的系统托盘区看到它的图标。

macOS 和 Linux 用户

安装过程更为简单，只需要在你的终端（Terminal）中运行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

这个脚本会自动检测你的系统并完成所有安装和配置工作。

验证安装

无论使用哪种系统，安装完成后，打开你的命令行工具（Windows用户可以使用CMD或PowerShell，macOS/Linux用户使用Terminal），输入以下命令来验证Ollama是否安装成功：

ollama --version

如果能看到版本号输出，恭喜你，第一步已经成功完成！

第二步：下载并运行你的第一个模型

安装好Ollama后，我们就可以开始下载并运行模型了。这是一个激动人心的时刻！我们将以Meta最新、最强大的开源模型 Llama 3 为例。

打开你的终端，输入以下命令：

ollama run llama3

当你第一次运行这个命令时，Ollama会检查你的电脑上是否已经有 llama3 模型。如果没有，它会自动从模型库开始下载。你会看到一个下载进度条，耐心等待即可（模型文件通常有几个GB大小，下载时间取决于你的网速）。

下载完成后，Ollama会自动加载模型，然后你就会直接进入一个交互式的对话界面。

>>> Send a message (/? for help)

现在，你可以像和ChatGPT对话一样，直接向它提问了！

例如，你可以输入：

>>> 写一首关于夏天的五言绝句

它会立刻为你生成一首诗。

常用命令：

  • 想要退出对话，输入 /bye。
  • 想要查看更多可用命令，输入 /?。

第三步：管理你的本地模型

随着你下载的模型越来越多，学会如何管理它们就变得很重要。

  • 列出所有本地模型： 想看看自己电脑上都下载了哪些宝贝？使用 list 命令。

    ollama list

    它会显示出模型的名称、ID、大小和下载时间等信息。

  • 删除一个本地模型： 如果某个模型不再需要，或者想释放一些硬盘空间，可以使用 rm 命令。

    ollama rm llama3

  • 复制一个模型： 这是一个很有用的功能，允许你基于一个现有模型创建一个自定义名称的新版本，方便后续进行微调或区分。

    ollama cp llama3 my-personal-llama

第四步（进阶）：拥有图形化界面的Ollama

虽然在命令行中使用Ollama已经非常方便，但很多人可能还是更习惯像ChatGPT那样的图形化聊天界面。幸运的是，强大的开源社区已经为我们准备好了一切！

Open WebUI 是一个非常流行、功能强大的Ollama网页客户端。它不仅提供了美观的聊天界面，还支持多模态、RAG（文档对话）等高级功能。

安装它最简单的方式是使用Docker。如果你的电脑上还没有安装Docker，可以先从 Docker官网 下载安装。

安装好Docker后，只需在终端运行一行命令，即可启动Open WebUI服务：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待命令执行完毕，然后在你的浏览器中访问 http://localhost:3000。

第一次访问时，它会提示你注册一个本地账号。注册完成后，你就可以在漂亮的Web界面中选择并使用你所有本地的Ollama模型了！

总结

恭喜你！通过这篇教程，你已经成功在自己的电脑上搭建了一个功能强大的私有AI助理。从现在开始，一个充满无限可能性的AI世界向你敞开了大门。

你可以去Ollama的模型库探索更多有趣的模型，比如专门用于编码的 Codellama，或者其他小巧高效的模型。你也可以尝试将Ollama的API集成到你的自动化脚本或应用程序中，让AI为你的工作流赋能。

尽情探索吧！