+29–40%
推理吞吐提升
对比本地 NVMe 单盘
Qwen3-Coder-480B-FP8、TP=8 生产部署形态，长上下文冷恢复负载：并发 8 时 +29%，并发 16（实测中提升幅度最大的一档）时 +40%；TP4×2 双实例全机口径为 +35–36%。
§ 01
数字都有出处
每一项都写明对照基线和报告编号。不同平台的结果分开列出，不做合并。
−26–32%
首 token 延迟（TTFT）降低
对比本地 NVMe 单盘
同一 480B·TP8 负载的三档并发下，TTFT p50 从 10.17–35.73 s 降到 7.53–26.35 s。
实测出处R2
8.6–20×
相对无外存重算的加速
对比无外存、整段重算
并发 16：整段重算的 TTFT p50 为 149.5 s，接入 FX100 后为 11.85 s；吞吐 4.1 tok/s 对 74.9 tok/s。
实测出处R2
6.2–9.3×
模型服务加载提速
对比 NFS，昇腾 910B 平台
华为 Atlas 910B 平台：DeepSeek-32B 服务加载 691 s → 112 s（6.2×），DeepSeek-70B 1399 s → 150 s（9.3×）。
实测出处R9
| 指标 | 数值 | 对照基线 | 出处 |
|---|---|---|---|
| LMCache 并行读补丁的 TTFT 改善 | 4.1× | 对比打补丁之前 | R1 |
| 训练 Checkpoint 保存提速 | 1.9× | 对比 R1 报告中的对照基线 | R1 |
| 模型切换场景的算力有效利用率 | 46.7% → 62.8% | 每小时切换 20 次的档位 | R1 |
| 8 卡并发加载模型 | 16% / 30% | 对比 R1 报告中的对照基线 | R1 |
| 两轮独立测量的偏差 | ≤5% | 同一档位重复测量 | R3 |
| 外置 KV 层可替代的显存驻留量级 | 128 GB | 沐曦 N260 单卡，14B 模型七组对照 | R5 |
| ComfyUI + LTX-Video 2.3 模型实跑通过 | 7 / 7 | AMD MI308X，ROCm 7.2 | R6R7 |
| 阵列与推理节点的配比 | 1 : 8 | 生产配比口径 | R1R2R3 |
§ 02
显存放不下的，交给全闪层
长上下文会话会不断把 KV Cache 挤出显存。没有外置层时，被挤出的会话只能整段重算；有了 FX，它们被直接读回。
- L1
显存（HBM）
当前活跃的会话
由 vLLM 管理
- L2
主机内存
近期用过的会话
由 LMCache 管理
- L3
FX 全闪阵列
全部历史会话，跨实例共享
NVMe-oF · RoCEv2
§ 03
同一负载，三档并发
R2 报告的原始读数。FX100 与本地 NVMe 单盘在并发 8、16、32 下逐档对照。
FX100 全闪阵列本地 NVMe 单盘
TTFT p50 (s)
↓ 越低越好
并发8
- 本地 NVMe 单盘 · 并发 8
- 10.17 s
- FX100 · 并发 8
- 7.53 s
−26%
并发16
- 本地 NVMe 单盘 · 并发 16
- 17.31 s
- FX100 · 并发 16
- 11.85 s
−32%
并发32
- 本地 NVMe 单盘 · 并发 32
- 35.73 s
- FX100 · 并发 32
- 26.35 s
−26%
吞吐 (tok/s)
↑ 越高越好
并发8
- 本地 NVMe 单盘 · 并发 8
- 43.9 tok/s
- FX100 · 并发 8
- 56.6 tok/s
+29%
并发16
- 本地 NVMe 单盘 · 并发 16
- 53.6 tok/s
- FX100 · 并发 16
- 74.9 tok/s
+40%
并发32
- 本地 NVMe 单盘 · 并发 32
- 53.9 tok/s
- FX100 · 并发 32
- 71.6 tok/s
+33%
| 并发 | FX100 TTFT | 本地 NVMe 单盘 TTFT | 整段重算 TTFT | FX100 tok/s | 本地 NVMe 单盘 tok/s | 整段重算 tok/s |
|---|---|---|---|---|---|---|
| 8 | 7.53 s | 10.17 s | — | 56.6 | 43.9 | — |
| 16 | 11.85 s | 17.31 s | 149.48 s | 74.9 | 53.6 | 4.1 |
| 32 | 26.35 s | 35.73 s | — | 71.6 | 53.9 | — |
§ 04
FX 系列全闪存储平台
四款机型，单接口速率从 100 Gb 到 400 Gb。规格为厂商口径；FX100 有完整的实测报告。
§ 05
围绕这层存储，我们还做这些
五条能力线共用同一套实测报告和可复现的测算模型。
§ 06
先联测，后决策
合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。
G1第 2 周
到货验收
物料全部到货并点验合格；每台阵列上电自检通过，24 块盘全部识别。
G2第 4 周
单机基线
复现单节点 8 卡推理基线，与 R1 口径的偏差在 ±10% 以内；单阵列本地压测达到实测锚点 83% 的线效。
G3第 7 周
联测主门禁
KV 分层加速须同时满足：TTFT 降幅 ≥25%，吞吐提升落在 +29–40% 的实测区间内；8 个节点共享一台阵列时，回读带宽逼近网卡上限。
G4第 10 周
稳定性与验收
72 小时连续压测不中断；注入单盘、单链路故障时业务无感；出具签字版联测报告。
完整测算模型在签署 NDA 后以 Python 源码提供，你可以换成自己的参数重新计算。
§ 07
买方常问的问题
每篇文章先给结论，再给数据和出处。
频繁切换模型时 GPU 利用率低，怎么办？
每次切换模型，GPU 都在等权重从存储读进显存。实测显示，每小时切换 20 次时，缩短加载时间可把算力有效利用率从 46.7% 提高到 62.8%。
出处R1
厂商给的推理性能数据，怎么核实真假？
核实厂商推理性能数据的五个检查项：对照基线、测试平台与部署形态、重复测量偏差、第三方报告、复现材料。附常见的数字陷阱和提问清单。
出处R2R3R4R5R8R9
推理存储加速项目怎么验收？四道门禁的做法
把推理存储加速的验收拆成四道按周推进的门禁：到货验收、单机基线、联测主门禁、稳定性验收。每道都有可测量的通过条件，不达标就停。
出处R1R2R3R8
§ 08
常见问题
KV Cache 分层存储加速能把推理性能提升多少？
在 Qwen3-Coder-480B-FP8、8 × AMD MI308X、TP=8 的生产部署形态下，长上下文冷恢复负载的实测结果是：相对本地 NVMe 单盘，推理吞吐提升 29–40%，TTFT p50 降低 26–32%R2R3；相对无外存整段重算，加速 8.6–20×R2。这是应用层的吞吐和首 token 延迟，不是存储设备本身的微秒级时延。
哪些场景收益大，哪些场景收益有限？
收益来自缓存命中。长上下文、多轮对话、高并发的会话恢复（Agent、代码助手、客服）命中率高，收益最大。短对话、低并发的场景命中率低，收益有限。所以我们建议先联测、后采购：用你自己的会话长度分布和并发量测一遍，再决定买不买。
这些数字怎么验证？能复现吗？
每个关键数字都标了报告编号（R1–R9），报告可以向我们申请查阅。其中 R4 是第三方检测机构出具的正式报告。R8 是测试代码导出包和原始数据，包含 LMCache 并行读补丁、负载客户端、编排脚本和探针取证脚本，第三方可以在自己的集群上重跑。同一档位两轮独立测量的偏差不超过 5%R3。
接入 FX 需要改造推理引擎吗？
不需要重写推理引擎。接入点是开源的 vLLM + LMCache 组合：LMCache 负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，FX 阵列作为外置的那一层。我们在 ROCm 平台上做了源码级适配，并行读补丁随 R8 一并交付R1R8。
FX100 满配整机多少钱？
FX100 满配整机的参考价约为 ¥371,200：平台 ¥160,000，加 24 块 7.68 TB 企业级 NVMe SSD（参考价每块 ¥8,800），裸容量 184.3 TB，约合 ¥2,014/TB。SSD 价格随行就市，正式价格以采购合同为准。FX200、FX300 按配置询价，FX400 的量产定价尚未发布。
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣，7×24 小时在线