🖥️ AI本地部署指南

适合：高级用户、极致性能优化

特点：C++实现，支持CPU推理，GGUF量化格式，内存占用最低

# 克隆并编译
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make

# 运行模型
./llama-cli -m models/qwen2.5-7b-q4_k_m.gguf -p "你好" -n 256

优势：纯CPU也能跑，树莓派等低配设备可用

适合：需要API服务、多人使用

特点：高性能推理引擎，支持PagedAttention，吞吐量极高

# 安装
pip install vllm

# 启动API服务（兼容OpenAI格式）
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --port 8000

优势：多人并发访问，适合团队部署

适合：Apple Silicon Mac用户

特点：Apple官方优化，充分利用M系列芯片的统一内存

# 安装
pip install mlx mlx-lm

# 运行模型
python -m mlx_lm.generate \
    --model mlx-community/Qwen2.5-7B-Instruct-4bit \
    --prompt "你好，请介绍一下自己"

优势：MacBook M1/M2/M3 跑7B模型非常流畅，32GB内存可跑14B

适合：有RTX显卡的Windows用户

特点：NVIDIA官方工具，一键安装，支持RAG（本地知识库）

下载：NVIDIA官网

优势：图形界面、本地文件索引、零配置

最推荐的本地方案，提供类似ChatGPT的网页界面：

# 1. 确保Ollama已运行
ollama serve

# 2. 启动Open WebUI
docker run -d -p 3000:8080 \
    --add-host=host.docker.internal:host-gateway \
    -v open-webui:/app/backend/data \
    --name open-webui \
    --restart always \
    ghcr.io/open-webui/open-webui:main

# 3. 访问 http://localhost:3000

功能：多模型切换、对话历史、文件上传、RAG知识库、多用户

在VS Code中使用本地AI编程助手：

1. 安装VS Code插件 Continue
2. 配置指向本地Ollama服务
3. 在编辑器中直接使用AI补全、解释、重构代码

优势：免费版Cursor替代品，代码不出本机

让AI基于你的私有文档回答问题：

# 方案一：Open WebUI自带RAG功能
# 上传PDF/TXT/MD文件即可

# 方案二：AnythingLLM（专业RAG工具）
docker pull mintplexlabs/anythingllm
docker run -d -p 3001:3001 \
    --cap-add SYS_ADMIN \
    -v anythingllm:/app/server/storage \
    mintplexlabs/anythingllm

用途：企业知识库、个人笔记检索、法律/医疗文档问答

1. 选择合适的量化级别
   Q4_K_M 是性价比之王（质量损失<3%，体积减小60%）。Q5_K_M 质量更好但体积更大。Q2/Q3 质量损失明显，不推荐。
2. GPU层数优化
   OLLAMA_NUM_GPU_LAYERS=999 让所有层都在GPU上运行，速度最快。如果显存不够，逐步减少这个数字。
3. 上下文长度控制
   本地模型的上下文越长，占用显存越大、速度越慢。日常使用设置2048-4096就够，不要盲目开最大。
4. 并发请求处理
   Ollama默认串行处理请求。如果需要并发，可以用 OLLAMA_NUM_PARALLEL=4 设置并行数。
5. 模型预加载
   OLLAMA_KEEP_ALIVE=24h 让模型常驻内存，避免每次对话都要重新加载。

📂 私密文档分析

将合同、财务报表等敏感文件通过本地RAG系统进行分析和问答，数据完全不出本机。特别适合律师、财务、医疗等对数据隐私要求极高的行业。

💻 代码助手

配合VS Code + Continue插件，获得免费的Copilot替代方案。代码永远留在本地，适合处理公司核心代码、个人项目和安全敏感的代码库。

✍️ 创意写作

用本地模型进行初稿生成、灵感碰撞。隐私日记、个人博客草稿、未发表的小说等不想上传到云端的内容，都可以安全地在本地处理。

🎓 学习辅导

断网环境下（如飞机上、图书馆、偏远地区）依然可以使用AI辅助学习、解释概念、练习对话。学生党零成本获得AI助手。

🔒 安全测试

安全研究人员可以用本地模型进行红队测试、漏洞分析、恶意代码检测等敏感操作，避免在云端留下痕迹。

🏥 医疗/法律咨询辅助

医疗病历分析、法律文书审查等涉及高度敏感数据的场景，本地部署是唯一合规的选择。患者数据和客户信息绝不能泄露。