极客天成 NVFile 存算融合解决方案

一、行业趋势与挑战：AI 时代的“存储墙”

随着生成式 AI（AIGC）和千亿级参数大模型的崛起，数据密集型负载对存储系统提出了严苛要求。

算力税： GPU 集群中存储相关等待时间（I/O Wait）占整体训练时间的 30%~50%。

资源错配： 昂贵的 GPU 服务器本地 NVMe SSD 处于“孤岛”状态，无法全局共享。

烟囱架构： 传统外挂存储导致机房空间、功耗及运维成本（TCO）居高不下。

二、NVFile 是极客天成专为高性能计算（HPC）和 AI 训练研发的分布式并行文件系统。它通过软件定义技术，将计算节点内置的闪存资源池化，构建逻辑统一、性能极致的存储基座。

• 全局资源池化： 部署 NVFile 引擎后，将各 GPU 服务器插槽中的 NVMe SSD 逻辑聚合，形成统一命名空间。
• RDMA 零拷贝传输： 支持 RoCE/InfiniBand 网络，数据绕过内核 CPU，通过 GPUDirect Storage (GDS) 技术直接进入 GPU 显存。
• 并行访问协议： 全面兼容 POSIX 标准，支持大规模客户端并发访问，无单点瓶颈。

三、NVFile 核心优势：极致性能与敏捷扩展

①极致性能（Extreme Performance）

• 微秒延迟： 端到端延迟 < 100μs，满足小文件频繁读取需求。
• 聚合带宽： 性能随节点数线性扩展，支持单集群 TB 级吞吐量。

Checkpoint 加速： 将大模型预训练的快照保存时间由“分钟级”缩短至“秒级”。

②成本优化（TCO Optimization）

• 利旧赋能： 充分挖掘服务器内置 SSD 潜力，减少 40% 以上的独立存储采购成本。
• 空间节省： 无需额外存储机柜，机房空间与能耗显著降低。

③ 企业级可靠（Reliability）

• 冗余保护： 支持 N+M 纠删码（EC），保障在多节点同时故障时业务不断、数据不丢。
• 智能运维： 提供图形化监控界面，支持分钟级在线扩容与故障自愈。

四、应用场景：赋能 AI 全生命周期阶段NVFile 的作用

• 数据清洗/预处理：极高IOPS 支持海量小文件的快速筛选与特征提取。
• 大模型预训练：解决 Checkpoint 写入瓶颈，提升算力有效利用率。
• 高性能推理：支持模型参数的秒级加载，降低推理响应延迟。
• 科学计算 (HPC)：为气象预测、基因测序提供稳定的并行 I/O 支撑。

五、结论

极客天成 NVFile 存算融合方案 不仅仅是存储技术的革新，更是对 AI 基础设施的重构。它打破了传统存储的物理边界，让“存”与“算”深度耦合，为企业构建高性能、低成本、易扩展的下一代 AI 算力中心提供坚实后盾。