模型家族
部署之前请核对模型权重开放情况和许可条款。
比较模型用途本页整理 DeepSeek 推理模型本地部署的准备过程。阅读时请结合具体模型的权重、许可与硬件要求,再选择运行和对外提供服务的方式。
本地部署可以应对三类需求:数据保留在内网、稳定且大量的调用、离线运行或深度定制。这些需求涉及合规保密、成本、微调、插件与特殊参数;应确认需求后再决定,而非默认本地运行。
轻量日常任务不一定需要自建,直接使用网页版和开放平台往往更经济。
先确定模型规模,再选择量化精度。再据此计算设备的显存和内存条件。较小的量化模型通常可在消费级显卡运行;模型越大,显存和内存需求越高。超过单卡能力后可考虑多卡和更低精度量化,最终配置仍需核对模型卡并自行测试。
实际数值请按官方模型卡并结合测试确认。
| 需评估的资源 | 如何检查 | 调整方式 |
|---|---|---|
| 磁盘存储 | 权重与依赖占用空间通常达到内存的数倍 | 清理旧文件,或通过仓库托管模型 |
| 计算和带宽资源 | 与首字等待、吞吐表现相关 | 采用并发限制及队列,独立部署推理和业务 |
| 图形处理器内存 | 需结合权重体积、并发数判断 | 可采用更低精度、更短上下文及多卡切分 |
| 运行内存 | 除容纳权重外,还应留有加载空间 | 使用低资源的量化版、小规模模型 |
方案一:官方模型加推理框架。有工程能力的团队可获取权重,按照官方仓库选择框架、权重格式及量化方案。之后再暴露为服务,可控性较高,并便于微调及后续开发。
方案二:通过本地工具运行。个人和快速验证可使用社区常见运行工具,按模型名称拉取并启动。本地对话服务可以很快建立,不过可配置参数与同时处理请求的能力较有限。
# 路径二的典型流程(命令名以所用工具的官方文档为准)
1. 安装本地运行工具
2. 拉取目标模型权重
3. 先用默认参数跑通一次对话
4. 再按需调整上下文长度、并发数与量化精度
5. 最后开放给内网调用需要微调、自定义推理策略或长期稳定服务业务时,选官方仓库加框架。第二条路径更适合个人体验及快速验证。
如果只需要 API 调用而非完全离线,API 配置说明 提供成本更低的接入方式。把业务流程验证成功,再考虑自行部署。
资源需求取决于模型规模与量化方式,小模型或量化版可在消费级 GPU 上运行。更大的模型需额外显存、多卡及足够内存,准确配置请按模型卡和自己的测试判断。
权重准备好之后,推理本身可以离线进行。只有搜索、下载新版本或更新等功能需联网,隔离部署前要准备全部权重文件和依赖包。