AI 工作站
1-2 块 RTX 5090 或 RTX 6000 Ada，适合 7B-32B 模型、RAG 开发、Dify/GPUStack 演示和模型调试。
产品中心 / GPU 算力服务器
GPU 算力服务器与大模型私有化部署方案
面向企业本地大模型、RAG 知识库、Coder Agent、多模态文档解析和多模型推理场景，从 Qwen、DeepSeek、Llama、bge、Reranker、VL 模型的任务组合出发，倒推 GPU、CPU、内存、存储、电源、网络与验收指标。
Instruct
7B-70B 通用问答
RAG
Embedding + Reranker + LLM
Coder
代码模型 + Agent 工具链
MoE
总参数与激活参数分开估算
按业务场景快速选型
GPU 服务器不建议只按“几张卡”报价。更稳妥的方式是先确定模型规模、上下文长度、并发请求、是否需要 RAG/多模态/多租户，再落到整机配置。
部门知识库节点
2-4 块 48GB 级 GPU 或 4 块 RTX 5090，面向部门知识库、RAG 服务、多用户问答和轻量生产。
企业生产节点
8 卡节点、512GB-1TB ECC 内存、100/200GbE 网络，支撑 70B、235B/MoE、长上下文和多租户服务。
HGX/DGX 集群
H100/H200/B200、NVLink/NVSwitch、TB 级内存，适合大规模推理、训练、微调和高吞吐 AI 工厂。
模型组合到硬件选型
企业本地部署通常不是只上一套聊天大模型，而是由对话模型、Embedding、Reranker、OCR/解析、Coder 或 Agent 组合成业务链路。模型越多，显存、RAM、NVMe、CPU 预处理和调度复杂度都会上升。
| 业务目标 | 推荐模型组合 | 模型侧关注点 | 硬件选型方向 |
|---|---|---|---|
| 制度问答 / 企业知识库 | OCR/解析 + bge-large-zh-v1.5 + bge-reranker-v2-m3 + 7B-32B Instruct | 文档解析质量、切片、召回命中率、回答可追溯 | 单卡 24GB-32GB 可做验证；部门级建议 2-4 卡、128GB-256GB RAM、NVMe 模型盘 |
| 大型 / 多语言 / 高精度 RAG | Qwen3 Embedding / bge-m3 + Qwen3-Reranker 4B/8B + 32B/70B+ LLM | Embedding 与 Reranker 会额外占 GPU/RAM；长文档会放大 KV Cache | 48GB 专业卡或 80GB 数据中心卡；生产建议 256GB-512GB RAM、25/100GbE |
| 代码助手 / Coder Agent | DeepSeek / Qwen Coder + vLLM/SGLang + Agent 工具、文件、终端、API/MCP | 代码模型负责生成，Agent 负责工具调用、状态、权限和验证闭环 | 开发可用 1-2×RTX 4090/5090；多人使用建议独立推理服务、沙箱和审计日志 |
| 视觉文档 / 多模态 | MinerU/OCR + Qwen-VL / InternVL + 文本 LLM + RAG 组件 | 图片/PDF 解析会提高 CPU、RAM、临时存储和预处理耗时 | 优先 48GB+ GPU、充足 NVMe 缓存和多进程解析资源；数据盘与模型盘分开 |
| MoE / 千亿参数模型 | 按模型卡确认总参数、激活参数、量化方式、上下文和后端兼容 | A3B 不等于 3B 小模型；总权重仍要加载，不能只按激活参数估显存 | 70B 以上优先 A100/H100/H200/H20 等企业节点；235B+ 规划 8 卡和高速网络 |
模型名称怎么转成部署判断
模型名只能做初筛，最终还要看模型卡、许可证、上下文、量化格式、后端兼容和压测结果。下面这张表用于采购前快速沟通，避免把不同层级的东西混在一起。
| 名称线索 | 含义 | 部署影响 | 选型动作 |
|---|---|---|---|
| Qwen / DeepSeek / Llama | 模型家族与代际线索 | 不能直接代表显存需求或业务效果 | 查看模型卡、上下文、许可和推荐推理后端 |
| 7B / 14B / 32B / 70B | 总参数量，B 表示十亿参数 | 参数量越大，权重显存和推理延迟通常越高 | 先按精度估权重，再叠加 KV Cache 和并发余量 |
| A3B / MoE | 总参数与激活参数分离 | 每 token 计算量可能降低，但总权重仍要占显存/内存 | 不要按激活参数采购显卡，必须按总权重和后端实测 |
| Instruct / Coder / VL / Omni | 任务类型：指令、代码、视觉或多模态 | 不同任务需要不同 Prompt、工具权限和预处理链路 | 按问答、代码、图片、音频/视频分别做验收样本 |
| Embedding / Reranker | RAG 检索与重排模型 | 不是聊天模型，但直接影响知识库召回和答案依据 | 小规模可 CPU/GPU 混部，生产建议独立资源与监控 |
整机方案建议
下面的配置用于初步定档，实际方案还需要结合模型精度、上下文长度、并发、网络环境和机房供电散热复核。
| 方案档位 | 推荐配置 | 适用模型与业务 | 交付关注点 |
|---|---|---|---|
| 开发工作站 | 1-2×RTX 5090，Xeon W 或 Threadripper Pro，128GB ECC，2TB 系统盘 + 4TB NVMe 模型盘 | 7B-32B Instruct/Coder，个人助手、代码助手、RAG 开发和演示环境 | 桌面噪声、散热、电源冗余、模型热切换速度 |
| 部门服务器 | 4×RTX 5090 或 2-4×48GB GPU，Xeon Gold，256GB ECC，系统盘 RAID1，25GbE | 32B、70B 量化，Dify 知识库、GPUStack 多模型服务、Embedding/Reranker 混部 | 多卡空间、PCIe 通道、并发压测、日志和监控 |
| 企业私有节点 | 8×RTX 5090 或 8×H20/A100，Xeon Platinum，512GB-1TB ECC，多块 NVMe，100/200GbE | 70B、235B/MoE、长上下文、多租户推理、批处理和高精度 RAG | 供电散热、机柜承重、网络带宽、SLA 和备份恢复 |
| 高密度集群 | 8×H100/H200/B200 SXM，NVLink/NVSwitch，TB 级内存，高速 RoCE/IB 网络 | 大规模训练、复杂微调、超长上下文、高吞吐推理和千亿参数/MoE 集群 | 原厂认证机型、PDU、液冷或高风量制冷、集群调度 |
显存估算：先算清楚，再谈显卡
推理显存不是模型权重一个数字。实际需要同时考虑权重、运行时开销、激活值、KV Cache、通信缓存和安全余量。
权重显存参考
| 模型规模 | FP16/BF16 权重 | INT4 量化参考 |
|---|---|---|
| 7B | 约 14GB | 约 4-6GB，加 KV Cache 和框架余量 |
| 14B | 约 28GB | 约 8-12GB，加上下文和并发余量 |
| 32B | 约 64GB | 约 18-28GB，建议 32GB 或多卡 |
| 70B | 约 140GB | 约 40-60GB，生产建议 80GB 级或多卡 |
推理显存组成
| 组成 | 影响因素 | 选型建议 |
|---|---|---|
| 模型权重 | 参数规模、精度、量化方式 | 作为显存底线，不能只按宣传的最小值选 |
| KV Cache | 上下文长度、并发请求、层数、KV 头数 | 长上下文和多并发场景必须单独预留 |
| 运行时与激活 | 框架、batch、prefill、CUDA 图优化 | 为 vLLM、SGLang、GPUStack 预留安全空间 |
| 通信与冗余 | 多卡并行、日志、监控、稳定性 | 生产环境建议预留 20%-30% 冗余 |
KV Cache 示例
以 7B GQA 模型、28 层、4 个 KV heads、head_dim 128、FP16 为例，约 56KB/token。4K 上下文单请求约 224MB，10 个活跃请求约 2.2GB KV Cache。
| 变量 | 变化后果 | 落地建议 |
|---|---|---|
| 上下文越长 | KV Cache 线性增长 | 不要只按 2K/4K 测试，要按真实业务文档长度压测 |
| 并发越高 | 显存、排队时间和 TTFT 同时上升 | 按活跃请求数测，而不是只测单用户体验 |
| RAG 文档越大 | Prompt 更长，prefill 压力更高 | 配合切片、Reranker、召回数量和摘要策略优化 |
硬件配置建议
GPU 决定推理上限，CPU、内存、存储、网络、电源和散热决定系统能不能长期稳定交付。
GPU 选型矩阵
消费级 GPU 适合预算敏感和开发测试，专业卡和数据中心卡更适合 ECC、虚拟化、多租户和长时间生产运行。
| GPU | 显存与带宽 | 典型定位 | 适合场景 |
|---|---|---|---|
| RTX 4060 Ti 16GB | 16GB GDDR6，约 288GB/s | 入门开发卡 | 7B INT4、Embedding、小型测试 |
| RTX 4090 24GB | 24GB GDDR6X，约 1008GB/s | 高性价比单卡 | 7B BF16、14B INT4、开发调试 |
| RTX 5090 32GB | 32GB GDDR7，约 1792GB/s | 高端工作站卡 | 14B BF16、32B INT4、部门应用 |
| RTX 6000 Ada / A40 / L40S | 48GB ECC，约 696-960GB/s | 专业与企业推理 | 32B FP16、70B INT4、Embedding/Reranker、vGPU、多模态 |
| A100 / H100 / H200 | 80GB-141GB HBM，约 2.0-4.8TB/s | 数据中心生产卡 | 70B BF16、长上下文、多用户生产推理、235B/MoE 切分 |
| B200 | 192GB HBM3e，约 8TB/s | 高密度 AI 节点 | 千亿参数、MoE、大规模推理、训练和高吞吐集群 |
CPU 与内存
| 规模 | CPU 建议 | RAM 建议 |
|---|---|---|
| 单卡/小型服务 | 16-32 核，兼顾 Tokenization、Prefill 和调度 | 64GB 起步，128GB 推荐 |
| 32B / 多用户 RAG | Xeon Gold 级，32-64 核 | 128GB 起步，256GB 推荐 |
| 70B 生产推理 | Xeon Platinum 级，4-8 卡平台 | 256GB 起步，512GB 推荐 |
| 235B/MoE 或集群 | 双路 Xeon，8 卡和高速网络平台 | 512GB-1TB，集群 1TB+ |
存储与网络
| 层级 | 容量建议 | 用途 |
|---|---|---|
| 系统盘 | 960GB 起步，1.92TB RAID1 推荐 | OS、Docker、驱动、日志，优先可恢复性 |
| 模型/缓存盘 | 2TB-30TB+ NVMe，按模型数量扩展 | 权重、量化版本、LoRA、镜像、下载缓存 |
| 企业数据盘 | NAS/SAN/对象存储 | 原始文档、备份、共享文件、向量库持久化 |
| 网络 | 25GbE 起步，生产建议 100/200GbE | 多节点、对象存储、RAG 数据访问和监控回传 |
电源与散热冗余
电源建议按 GPU 总功耗、CPU、内存、SSD、主板、风扇、网卡合计后乘以 1.3-1.5 的冗余系数。4 卡以上方案要提前核对机柜、PDU、空调和噪声限制。
| 配置示例 | 估算设计功耗 | 电源建议 | 注意事项 |
|---|---|---|---|
| 1×RTX 4090 | 约 750W | 1000-1200W | 适合工作站，关注机箱风道 |
| 1×RTX 5090 | 约 975W | 1200-1600W | 预留瞬时功耗和后续扩展 |
| 4×RTX 5090 | 约 2.85kW | 3.7-4.3kW，OEM 冗余电源 | 优先选择认证服务器机型 |
| 8×H20 | 约 4.1kW | 5.3-6.2kW | 机房供电、散热和网络同步规划 |
| 8×H100/H200 SXM | 8-10kW+ | 认证整机、PDU 和专业制冷 | 优先采用原厂 HGX/DGX 方案 |
软件栈与交付边界
硬件到位只是第一步，真正可用的企业大模型平台还需要模型服务、知识库、权限、监控、备份和升级回滚。
| 模块 | 交付内容 | 验收口径 |
|---|---|---|
| 模型服务 | vLLM、SGLang、GPUStack、模型加载、量化版本管理 | 模型可启动、显存稳定、接口可调用 |
| 应用编排 | Dify、Agent、RAG 知识库、Embedding、Reranker | 文档可导入、召回可解释、问答结果可复核 |
| 系统运维 | GPU/CPU/内存/磁盘/温度/电源监控，日志留存 | 告警可触达，异常可定位，资源趋势可查看 |
| 交付文档 | BOM、部署记录、账号权限、备份方案、升级回滚流程 | 客户可接管、可复现、可审计 |
PoC 验收清单
国云科技建议用业务样本做验收，而不是只看空跑 Benchmark。下面这些指标能更真实地反映系统上线后的稳定性。
| 验收项 | 检查内容 | 通过标准 | 风险提示 |
|---|---|---|---|
| 模型启动 | 目标模型、量化版本、上下文长度、并发参数 | 服务可重复启动，显存占用符合预期 | 只测短上下文会低估 KV Cache |
| 性能指标 | TTFT、ITL、TPS、并发请求、排队时间 | 达到业务可接受延迟和吞吐 | 首字延迟和持续输出速度要分开看 |
| 稳定性 | 连续压测、长文档、多轮对话、多用户请求 | 无 OOM、无异常重启、温度稳定 | 显存接近满载会影响可用性 |
| RAG 效果 | 文档解析、切片、Embedding、召回、Reranker | 命中率和答案可追溯，误召回可优化 | 只堆硬件不能解决知识库质量问题 |
| 运维交接 | BMC、GPU 监控、日志、备份、升级回滚 | 有文档、有账号、有演练记录 | 上线后无人维护会放大故障影响 |
获取 GPU 算力服务器方案与报价
提供硬件选型、服务器供货、私有化部署、Dify/GPUStack/vLLM/RAG 环境搭建、模型压测调优、监控告警和交付文档。你只需要提供目标模型、并发量、上下文长度、部署位置和预算范围，我们会输出可落地的配置建议。