AI大模型本地部署教程

在开始之前，先了解什么是本地部署以及为什么需要它。

• 本地部署：将AI模型下载到自己的电脑上运行，不需要联网
• 优势：完全免费、数据隐私有保障、无需网络、可离线使用
• 适用场景：学习AI、隐私敏感任务、离线环境、轻度使用
• 限制：模型能力通常弱于云端大模型、需要一定的电脑配置

本地部署对电脑配置有一定要求，请先确认您的电脑是否满足。

• 内存（RAM）：轻量模型 2-4GB 可运行，主流模型建议 8GB，推荐 16GB 或以上
• 存储空间：至少10GB可用空间（用于存放模型文件）
• 显卡（可选）：NVIDIA显卡可加速推理，无显卡也可用CPU运行
• 操作系统：Windows 10/11、macOS、Linux 均支持

# Windows 用户查看内存：
# 右键"此电脑" → 属性 → 查看"已安装的RAM"

# 或者在 PowerShell 中运行：
wmic memorychip get capacity

Ollama 是最简单的本地大模型部署工具，支持一键安装和运行模型。

• 访问 Ollama 官网：ollama.ai
• 点击页面上的 Download 按钮
• 选择对应的操作系统（Windows/macOS/Linux）
• 下载完成后，双击安装包，按默认选项一路安装即可

# 安装完成后，打开终端（Windows用户打开PowerShell或CMD）
# 输入以下命令验证安装是否成功
ollama --version

Ollama 支持多种开源模型，这里推荐适合笔记本的小模型。

• Qwen3 0.6B：超轻量，2GB内存即可运行，入门首选
• Qwen3 1.7B：轻量级，4GB内存可运行，中文能力强
• Gemma 4 1B：轻量多模态，3GB内存可运行
• Qwen3 4B/8B：平衡版，8GB内存可运行
• Gemma 4 4B：支持图片理解，8GB内存可运行
• Qwen3.6 35B-A3B：MoE架构，激活参数仅3B，编程能力强

# 下载并运行 Qwen3 0.6B 模型（最轻量，2GB内存即可）
ollama run qwen3:0.6b

# 或者下载 Qwen3 1.7B（4GB内存，中文能力强）
ollama run qwen3:1.7b

# 或者下载 Gemma 4 1B（3GB内存，支持多模态）
ollama run gemma4:1b

# 或者下载 Qwen3 8B（8GB内存，性能均衡）
ollama run qwen3:8b

# 高配：下载 Qwen3.6 27B（16GB内存，编程能力强）
ollama run qwen3.6:27b

掌握这些常用命令，可以更好地管理本地模型。

• ollama list：查看已下载的所有模型
• ollama pull <模型名>：下载模型但不运行
• ollama rm <模型名>：删除不需要的模型
• ollama show <模型名>：查看模型详细信息

# 查看已下载的模型
ollama list

# 下载模型（不运行）
ollama pull gemma4:4b

# 删除模型（释放空间）
ollama rm gemma4:4b

# 查看模型信息
ollama show gemma4:4b