为什么选择本地部署DeepSeek

使用云端AI API有三个痛点：数据隐私风险、API费用累积、网络不稳定。DeepSeek V4开源且性能接近闭源模型，用Ollama一行命令拉取模型，配合RAG系统搭建私有化知识库，数据完全自控，无API费用，断网也能用。适合处理合同、财务、客户数据等敏感信息的场景。

第一步：安装Ollama并拉取模型

Ollama是本地大模型运行时，支持一键拉取和运行开源模型。到ollama.ai下载对应系统的安装包。

安装完成后打开终端，执行：

ollama pull deepseek-v4

模型大小约4-20GB取决于量化版本。如果显存充足（16GB以上），拉取完整版效果最好。显存不足可以选量化版本：

ollama pull deepseek-v4:7b（约4GB，适合8GB显存）
ollama pull deepseek-v4:14b（约8GB，适合16GB显存）

拉取完成后验证：

ollama run deepseek-v4

进入交互对话界面，输入测试问题确认模型可以正常对话。

第二步：GPU配置与性能优化

Ollama默认自动检测GPU。验证是否启用GPU加速：

ollama ps

输出中PROCESSOR列显示GPU表示已启用。如果显示CPU，说明显存不足或驱动有问题。

显存不够时的优化策略：

  • 用量化版本——7b模型4GB显存可跑，14b需8GB，70b需多卡
  • 调整上下文长度——在Modelfile中设置num_ctx减小，降低显存占用
  • 关闭后台显存占用程序——浏览器、设计软件等会占显存

创建自定义Modelfile优化参数：

ollama create deepseek-v4-custom -f Modelfile

Modelfile内容示例：

FROM deepseek-v4:7b
PARAMETER num_ctx 4096
PARAMETER temperature 0.7
PARAMETER top_p 0.9

第三步：搭建RAG知识库

本地模型加RAG才能真正回答你的私有数据。推荐用AnythingLLM，免费开源且支持Ollama。

安装AnythingLLM后配置：

  1. LLM提供商选择Ollama，填入模型名deepseek-v4
  2. 向量数据库选择内置的LanceDB
  3. Embedding模型选择nomic-embed-text（Ollama同样支持）

配置完成后创建Workspace，上传你的文档（PDF、Word、TXT、Markdown）。AnythingLLM会自动完成切片、向量化、入库。

进阶配置：调整分块大小和重叠度。默认分块1000字符、重叠200字符。文档较短（如FAQ）可以减小分块到500字符提高精度，长文档（如报告）用默认即可。

第四步：测试私有化问答

在AnythingLLM的对话界面提问：

根据上传的合同文档，总结第三方的违约责任条款。
我们公司2026年Q2的毛利率是多少？
客户A的历史采购金额排名如何？

AnythingLLM会先从知识库检索相关文档片段，然后把片段作为上下文传给DeepSeek V4生成回答。回答下方会标注引用来源，方便核对。

如果回答不准确，检查以下几点：

  • 文档是否成功导入——在Workspace的文档列表确认
  • 问题是否太宽泛——越具体检索越精准
  • Embedding模型是否正确——确保nomic-embed-text已拉取
  • 上下文长度是否够——复杂文档可能需要增大num_ctx

第五步：API接口调用

Ollama启动后默认在11434端口提供API。可以用任何语言调用：

Python调用示例：

import requests
response = requests.post(‘http://localhost:11434/api/chat’, json={‘model’: ‘deepseek-v4’, ‘messages’: [{‘role’: ‘user’, ‘content’: ‘你好’}], ‘stream’: False})
print(response.json()[‘message’][‘content’])

这个API兼容OpenAI格式，可以接入任何支持OpenAI API的应用——本地VS Code的Copilot插件、Dify工作流、自建聊天界面等。

配合RAG的API调用需要通过AnythingLLM的API，它会自动处理知识库检索：

POST http://localhost:3001/api/v1/workspace/{workspace_name}/chat
Body: {‘message’: ‘你的问题’, ‘mode’: ‘chat’}

常见问题与误区

  • 显存不足直接放弃——7b量化版4GB显存可跑，效果已经很不错。先跑起来再优化
  • RAG效果差怪模型——往往是文档分块和检索的问题，不是模型的问题。检查分块大小和Embedding模型
  • 知识库导入后不及时更新——文档更新后需要重新导入并重新向量化，否则回答基于旧数据
  • 安全问题忽视——虽然本地部署，但Ollama默认监听所有网卡。生产环境务必配置防火墙或绑定localhost

效率数据

实测：7b模型在16GB显存GPU上生成速度约30 tokens每秒，回答一个基于文档的问题约5-10秒。相比调用云端API，单次回答时间接近，但无费用且数据不外传。10000次问答场景下，云端API费用约50-100美元，本地部署成本为零（电费除外）。核心建议是：敏感数据场景必须本地部署，非敏感场景可以混合使用——简单任务用免费云端，复杂或敏感任务用本地。