【高清视频】CXL over Fibre基于FPGA实现的CXL Device拉远高清演示
昨天在无锡做技术交流的时候，又谈到我们之前制作的一些关于PCIe over Fibre (正规应该叫PCIe over Optics)的高清演示视频，包括我们演示的将PCIe 5.0 x16 的GPU卡拉伸到10米之外作为显示或者渲染使用，也包括多期CXL over Fibre的视频，分别演示了将PCIe 5.0 x16 CXL内存扩展卡，Gen5 x8 E3.S内存扩展模组如何成功延伸到10米、20米、50米之外，感兴趣的可以再去观看一下。
今天的视频是2025年10月下旬的拍摄的一个视频，仍旧是CXL over Fibre的一个高清演示视频，但是CXL memory expansion device我们换成了一个基于高端FPGA的CXL device实现，这可以让从来没有接触CXL，没有感性认识CXL的朋友获得非常直观、感性的认识。
【高清视频】CXL over Fibre基于FPGA实现的CXL Device拉远高清演示
下面是我们本次视频的核心内容文字整理，供参考。
CXL over Fibre（光纤）实测演示与技术要点总结
一、视频背景与实验目的
本视频展示了一次CXL over Fibre（CXL over Optics）的实际工程验证演示。 相较于此前版本，本次实验更换了不同的 CXL Device（FPGA 实现），并对10 米光纤距离下的 CXL 链路识别、NUMA 架构、延迟与带宽表现进行了完整验证。
实验的核心目标包括：
验证CXL 设备是否可以通过光纤远距离稳定挂载
验证Linux 系统是否能正确识别 CXL memory
量化光纤 + 信号整形卡 引入的额外延迟
评估CXL over Fibre 对带宽与访问行为的影响
二、整体系统架构与硬件连接方式
1. Host 侧服务器配置
单路 CPU 服务器
开放式托架结构
板载16GB DDR DIMM（Samsung）
提供5 个 PCIe 插槽
距离 CPU 最近的 PCIe 插槽插入：
电-光转换卡（Electrical → Optical）
该卡的作用是：
在 PCIe 插槽处接收 CPU 的 PCIe/CXL 电信号
经过板上芯片进行信号整形
再通过AOC 光缆模块将电信号转换为光信号输出
2. 光链路与带宽配置
使用QSFP-DD 光接口
每个 QSFP-DD 通道支持PCIe x8
CXL x16 链路需两根光缆同时连接
光纤长度：约10 米
3. Device 侧结构（10 米外）
远端设备采用独立供电与模块化堆叠结构：
光-电转换卡（Optical → Electrical）
CXL Device：
基于 FPGA 实现的 CXL 卡
独立 PSU 模块：
为光电转换卡供电
FPGA 卡本身功耗较大，也有单独供电接口
整体结构强调：
远距离
非主机机箱内
独立供电 + 光互连
这正是未来 CXL disaggregated memory / device 的典型物理形态。
三、软件识别与系统枚举验证
实验在 Linux 系统下，通过一系列标准命令验证 CXL 设备的正确识别。
1. CXL 设备识别
cxl listlspcilspci -s <CXL address>
结果表明：
CXL memory device 被系统正确枚举
相关 CXL capability 能正常加载
2. NUMA 拓扑验证
numactl -H
结果：
node 0：CPU 本地内存
node 1：远端 CXL memory
说明：
系统已将 CXL memory 正确纳入 NUMA 架构
未发现异常节点或拓扑错误
3. 内存映射与容量确认
lsmem -o
结果显示：
系统总内存约31.9 GB
本地 DIMM：16 GB
CXL memory：16 GB
CXL 内存地址空间、起始地址与节点划分均符合预期。
四、延迟分析：CXL over Fibre 的核心代价
1. 实测访问延迟
CPU → CXL memory 总延迟：≈ 642.6 ns
2. 延迟拆解分析
| 延迟来源 | 估算值 |
|---|---|
| 光纤传播 | ~1 ns / 米 |
| 10 米 × 往返 | ~100 ns |
| 两个 信号整形卡 | ~120 ns |
| 光链路额外开销合计 | ~220 ns |
因此：
如果 FPGA 卡直接插在主机 PCIe 插槽理论延迟 ≈ 642.6 − 220 ≈420 ns
3. 对比本地内存
本地 DIMM（NUMA node 0）访问延迟：
~80–120 ns
实测约116 ns
结论非常清晰：
CXL over Fibre 的主要代价是确定性、可量化的延迟增加，而非功能异常。
五、带宽与读写行为验证
1. 不同读写比例测试
测试覆盖：
All Read
3:1 读写
2:1 读写
1:1 读写
结果特征：
带宽曲线平滑下降
未出现异常“骤降”
这说明：
CXL memory 读写路径稳定
未出现挂载异常、流控异常或协议错误
2. 带宽量级对比
CPU 本地内存带宽：~34K（单位按工具定义）
CPU → CXL memory 带宽：~14K ≈4 GB/s 量级
符合：
PCIe Gen5
FPGA CXL device
光链路 + 信号整形卡 架构的现实预期
3. Injected Delay 测试
通过主动注入：
2 ns
8 ns
15 ns
观察结果：
带宽随延迟增加而下降
行为符合理论模型
六、Cache-to-Cache 延迟与一致性现象
测试了：
Cache HIT
Cache HITM
L2 → L2 transfer latency
实测结果：
HIT ≈ 81.6 ns
HITM ≈ 77.7 ns
虽然数值略有反直觉，但本质上反映的是：
CXL cache coherence 路径的真实硬件行为
FPGA 实现 + 光链路的综合结果
七、链路状态与管理软件验证
通过 USB 连接管理模块，查看 信号整形卡 / 光电转换卡状态：
PCIe/CXL 链路速率：Gen5, 32 GT/s
Lane 状态：16 lane 全部正常
A/B 方向：
A：CPU → Link
B：Device → Link
结论：
CXL Gen5 链路成功建链
Lane 全通，无降速、无降宽
八、整体结论与工程意义
1. 技术结论
CXL over Fibre 是可行的
Linux 系统、NUMA、benchmark 均表现正常
延迟增加可解释、可预测、可接受
带宽未出现异常崩塌
2. 工程意义
本实验清楚证明：
CXL 并不局限于“主板内插卡”，而是天然适合走向“光互连 + 远端资源池化”。
这对未来以下方向具有重要意义：
CXL Memory Pooling
CXL Device Disaggregation
AI / HPC 架构中的远端内存扩展
数据中心级 CXL fabric 设计
更多关于PCIe 6.0/CXL的测试工具和技术，请下载Saniffer公司2026.1.6最新更新的白皮书15.0版本 -PCIe5&6.0, CXL, NVMeNVMoF, SSD, NAND, DDR5, 800GE测试技术和工具白皮书_ver15.0 （低分辨率版本，file size: 62MB）；需要高清图片pdf版本的请通过Saniffer公主号联系方式联系我们获取（file size: 210MB)