【高清视频】基于Broadcom PCIe 5.0 交换芯片的8盘位SSD测试卡

我们之前的文章中介绍了SerialCables公司研发的广泛用于研发测试实验室的4-盘位PCIe 5.0 SSD主机卡，以及可以同时9个甚至12个PCIe 6.0 SSD的PCIe 6.0 SSD主机卡，感兴趣的可以查询saniffer公众号阅读之前的文章和拍摄的高清视频，上述两张卡分别参见下面的图片。

PCIe 5.0 host card (左边支持4颗SSD)

PCIe 6.0 host card (左边支持4颗SSD，右边支持4颗，顶部根据使用转接卡或者其它4*ssd adapter分别支持1颗或者4颗SSD)

另外，随着PCIe 5.0 SSD的成熟，有些用户希望可以有更具性价比、同时可以测试8块PCIe 5.0 SSD的主机卡。我们今天的视频就是演示了这张卡。

【高清视频】基于Broadcom PCIe 5.0 交换芯片的8盘位SSD测试卡

下面是一份基于我们拍摄的演示视频整理而成的文字总结。 我在原视频内容顺序与技术事实的前提下，对表达做了一定的整理，让逻辑更清晰、衔接更自然，仅供感兴趣的朋友快速阅读。

基于 Broadcom Gen5 Switch 的可接8个SSD的测试方案演示总结

一、视频背景与演示目的

本视频主要展示了一套基于 Broadcom PCIe Gen5 Switch 芯片的多盘 SSD 测试解决方案，重点演示该 Switch 卡在真实系统环境中：

• 是否能够正确枚举多块 NVMe SSD

• 是否能够在PCIe Gen5 速率下稳定工作

• 在短时间压力测试后是否出现掉盘或降速问题

整体目标非常明确：

验证这套 Gen5 Switch + MCIO 线缆方案在实际 SSD 测试场景中的可用性与稳定性

二、Switch 硬件架构与接口配置说明

1. Switch 芯片与整体架构

该方案采用的是Broadcom PCIe Gen5 Switch 芯片，属于当前服务器与测试环境中较为主流、成熟的 Gen5 交换方案之一

• 上行（Uplink）：

  • 16 lanes PCIe 接收

• 下行（Downlink）：

  • 4 个MCIO x8 Gen5 接口

这种架构非常适合用于：

• 多盘 SSD 功能测试

• Gen5 SSD 稳定性与兼容性验证

• MCIO 到 U.2 / EDSFF 的灵活拓展测试

2. MCIO 接口与线缆拓展方式

视频中特别强调了MCIO x8 接口的灵活性：

• 每一个 MCIO x8 端口都可以通过不同类型的线缆，适配不同测试需求

在本次演示中，采用的是：

• MCIO Gen5 x8 → 2 × Gen5 x4 U.2 的 Y 型线缆

• 每根线缆可连接2 块 U.2 NVMe SSD

因此：

• 4 个 MCIO x8

• 共可挂载8 块 Gen5 x4 SSD（理论最大）

本次实际演示挂载了4 块 SSD，用于稳定性与枚举验证

三、供电方式与实际接线说明

视频中特别点出了一个非常工程化、但常被忽略的细节：

• 两块 U.2 SSD

• 共用一个标准 4-Pin 电源接口供电

这在测试环境中非常常见，也意味着：

• 供电完整性

• 电流瞬态

• 多盘同时启动

都会成为潜在影响稳定性的关键因素，因此也是测试时需要重点关注的部分

四、上电与系统级验证流程

1. 开机后的第一步：设备枚举检查

演示中明确指出，开机的首要目的不是跑性能，而是验证枚举是否正确：

• 系统启动后

• 首先确认：

  • Switch 是否被正确识别

  • 下挂的 4 块 SSD 是否全部被枚举

这是任何 PCIe Switch 测试中最基础、但也是最关键的一步

2. 关于板卡状态指示的说明

该 Switch 卡：

• 没有明显的 LED 状态指示灯

• 板载风扇：

  • 并非上电即转

  • 而是由温度传感或温控逻辑触发

因此：

无法通过肉眼或指示灯判断当前状态是否正常，必须进入系统检查

这一点在真实测试与运维环境中非常重要，也凸显了系统级软件检查的必要性。

五、Linux 系统下的实际验证过程

1. PCIe 枚举检查（lspci）

进入系统后，演示者通过：

• lspci

确认：

• Broadcom Gen5 Switch 已被系统识别

• 下游设备正确显示

• 能看到 4 块 NVMe SSD

其中包括：

• 2 块三星 SSD（明确为 Gen5）

• 1 块英特尔

• 1 块西数

2. NVMe 设备节点确认（nvme list）

随后通过：

• nvme list

确认：

• 所有 SSD 都被正确挂载

• 设备节点存在且状态正常

这是验证PCIe + NVMe 协议层协同是否正常的关键步骤

六、短时间压力测试与稳定性验证

1. FIO 压力测试设置

演示中选取了一块三星 Gen5 SSD进行简单压力测试：

• 测试工具：fio

• 测试模式：随机读写

• 队列深度（QD）：32

• 测试时长：约 10 秒

该测试的目的并非跑极限性能，而是验证：

• 在 IO 压力下

• SSD 是否会：

  • 掉盘

  • 报错

  • 发生链路降级

2. 压力测试后的状态检查

测试结束后，结果显示：

• IO 过程正常完成

• 未出现异常报错

• SSD 仍保持在线状态

这说明：

Switch + MCIO + U.2 + SSD 的组合在该测试条件下是稳定的

七、速率与链路状态确认

在完成压力测试后，演示者进一步确认：

• 该三星 SSD 仍然维持在PCIe Gen5 x4 速率

• 没有发生：

  • 降速

  • Link Retrain 后退级

这一步非常关键，因为在高代际 PCIe 中：

“能跑”和“持续跑在正确速率”是两回事

八、整体结论与工程意义

1. 本次演示的结论

从视频演示结果来看：

• Broadcom Gen5 Switch 架构工作正常

• MCIO x8 → U.2 的线缆方案可行

• 多盘 SSD：

  • 枚举正常

  • 压力下稳定

  • 速率未退化

在“简单但真实”的测试条件下，该方案具备实际使用价值

2. 从测试与验证角度的补充说明（拓展）

结合工程实践，这套方案非常适合用于：

• PCIe Gen5 SSD 功能验证

• 多盘并发稳定性测试

• MCIO 线缆与转接方案验证

• 后续扩展到：

  • EDSFF

  • 更高功耗 SSD

  • 更长时间压力与热测试

但如果进入更严苛的验证阶段，还建议进一步增加：

• 长时间 FIO 压力

• 多盘同时满载

• 温度与功耗监控

• PCIe 协议级分析（错误注入、重传观察）

九、总结性一句话

该视频展示了一套结构清晰、工程合理、适合 PCIe Gen5 SSD 测试的 Switch + MCIO 解决方案，并通过实际系统验证证明了其在多盘场景下的基本稳定性与可用性。