如何使用Ollama从外置硬盘运行LLM

想在 Mac 上直接运行生成式人工智能?这就是 Ollama 的用武之地。但有一个问题–现代 LLM 每个可能占用 4GB 到 40GB,很快就会占满你的内置硬盘。

如何使用Ollama从外部硬盘运行LLM

这就是本指南的作用所在–我将向你展示如何在外置硬盘上安装和运行 Ollama,并将你下载的所有 LLM 直接存储在外置硬盘上,这样就不会占用 Mac 内置硬盘的空间了。

在本逐步指南中,我将指导你完成从安装 Ollama 到将其移动到外置硬盘的全部过程。

安装Homebrew

首先,让我们安装 Homebrew(如果你已经安装了,请跳过这一步)。

Homebrew 让安装 Ollama 变得超级简单,而且如果你以后想卸载 Ollama,它也很方便。

  1. 打开终端(点击 Cmd + 空格键,输入“Terminal”,按 Enter 键)
  2. 复制并粘贴此命令:
    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  3. 检查是否成功:
    brew --version

安装Ollama

现在我们已经准备好 Homebrew,安装 Ollama 只需两条命令:

  1. 执行安装命令:
    brew install ollama
  2. 验证是否安装成功:
    ollama --version

注意:如果你看到“Warning: could not connect to a running Ollama instance”(警告:无法连接到正在运行的 Ollama 实例)的信息,请不要担心!这很正常,因为我们还没有启动 Ollama。只要看到类似“client version 0.5.7”的信息,就可以开始了。

验证Ollama版本

在外置硬盘上设置Ollama

默认情况下,Ollama 会将所有内容存储在 Mac 内置硬盘上的 ~/.ollama 文件夹中。让我们把它移到外置硬盘上:

  1. 将外置硬盘连接到 Mac。
  2. 在外置硬盘上创建 Ollama 文件夹:
    mkdir /Volumes/YourDriveName/.ollama

    例如,如果硬盘名为“MyDrive”:

    mkdir /Volumes/MyDrive/.ollama
  3. 将现有 Ollama 文件移动到外置硬盘:
    mv ~/.ollama /Volumes/YourDriveName/.ollama
  4. 创建链接,以便 Ollama 知道在哪里查找:
    ln -s /Volumes/YourDriveName/.ollama ~/.ollama

下载并运行首个LLM

是时候运行你的第一个 LLM 了!打开终端,然后

  1. 启动 Ollama:
    ollama serve
  2. 打开一个新的终端窗口,下载一个 LLM(让我们试试 Llama 2 ):
    ollama pull llama2

    由于 LLM 是相当大的文件,因此下载需要一些时间–根据你的网速,可能需要几分钟或更长时间。

    下载一个 LLM

  3. 下载完成后,使用下面命令运行:
    ollama run llama2

    运行您的第一个LLM

就是这样!现在你就可以通过 Ollama 与 Llama 2 聊天了,一切都在你的外置硬盘上运行。

常见问题

如何查看外置硬盘上的Ollama文件?

所有文件都存储在 /Volumes/YourDriveName/.ollama 文件夹中。模型在 models/blobs 子文件夹中。

在终端中键入 ls /Volumes/YourDriveName/.ollama/models/blobs/ 查看所有下载的模型。

如何卸载Ollama?

由于我们是通过 Homebrew 安装的,因此只需运行

brew uninstall ollama

然后删除外置硬盘中的 .ollama 文件夹。

如何安装更多LLM?

Ollama 的库页面查找更多可以下载的 LLM,然后使用 pull 命令:

ollama pull modelname

例如:ollama pull deepseek-r1ollama pull llama3.3

如何查看已下载的所有LLM?

运行此命令:

ollama list

这将显示所有已安装的模型及其大小。

如何删除不再使用的 LLM?

使用删除命令:

ollama rm modelname

例如:ollama rm llama2

我可以在另一台 Mac 上使用带有 Ollama 的外置硬盘吗?

可以。按照上述步骤在另一台 Mac 上安装 Ollama,然后创建指向外置硬盘.ollama 文件夹的符号链接并连接外置硬盘。您的模型无需再次下载即可使用。

评论留言