AI在树莓派上跑起来了

在树莓派（Raspberry Pi）上部署大语言模型（LLM）听起来像是一项硬核任务，但感谢开源社区的努力，现在通过 Ollama 这种工具，即使是“小白”也能在 10 分钟内完成部署。以下是专为新手准备的详细指南，我们以 树莓派 5 和 DeepSeek-R1 或者是 Llama 3 模型为例进行说明。

1. 硬件准备：你的树莓派行吗？

大模型非常吃“内存（RAM）”。

• 推荐配置：树莓派 5 (8GB 内存)。这是目前体验最好的选择。

• 最低配置：树莓派 4B (4GB 或 8GB 内存)。低于 4GB 内存很难运行像样的模型。

• 散热：运行模型时 CPU 会满载，必须安装风扇或散热片，否则由于过热降频，模型说话会像“树懒”一样慢。

2. 核心神器：Ollama

我们要使用的工具叫 Ollama。它就像是“本地大模型的应用商店+播放器”，它把复杂的配置都打包好了，你只需要输入一行代码就能运行模型。

第一步：更新系统

打开树莓派的终端（那个黑色的命令行窗口），输入以下代码并回车：

Bash

sudo apt update && sudo apt upgrade -y

第二步：安装 Ollama

在终端复制并粘贴这条命令：

Bash

curl -fsSL https://ollama.com/install.sh | sh

等待进度条走完，这就安装好了。

3. 运行你的第一个大模型

现在到了最激动人心的时刻。我们需要选择一个适合树莓派“胃口”的模型。

推荐选择：

• DeepSeek-R1 (1.5b)：目前最火的国产之光，1.5b 版本非常小巧，在树莓派上跑得很顺滑。

• Llama 3.2 (1b/3b)：Meta 公司的模型，逻辑能力很强。

示例操作：部署 DeepSeek-R1

在终端输入：

Bash

ollama run deepseek-r1:1.5b

这时候会发生什么？

1. 下载：它会自动从网上下载模型文件（约 1GB 左右）。

2. 加载：下载完后，它会把模型加载到树莓派的内存里。

3. 对话：当出现 >>> 符号时，你就可以像用 ChatGPT 一样跟它聊天了！

小白提示：如果你想结束对话，输入 /bye 然后回车即可。

4. 进阶：给大模型装个“皮肤”（图形界面）

如果你不喜欢黑乎乎的命令行，可以安装 Page Assist（浏览器插件）或者 Chatbox。

1. 在你的电脑浏览器上搜索并安装 Page Assist 插件。

2. 在插件设置里将地址指向你树莓派的 IP 地址。

3. 这样你就能在精美的网页界面里和你的树莓派 AI 聊天了。

5. 常见问题：为什么它反应这么慢？

如果你觉得模型半天才蹦出一个词，请检查以下几点：

1. 模型太大了：如果你尝试运行 7b 或更高级别的模型，树莓派的内存会溢出，速度会极慢。对于树莓派，建议坚持使用 1.5b 到 3b 规模的模型。

2. 电源不足：确保使用原装 5V 5A 电源，否则 CPU 无法全力工作。

总结：你的操作清单