005、PCIE拓扑结构：点对点、交换与层次
005、PCIE拓扑结构：点对点、交换与层次
上周调一块板子，系统里两个NVMe盘，一个死活识别不到。查了半天，发现RC（Root Complex）出来的那条链路配置成了x8，但下游接了个x4的盘，再往下又挂了个x4的盘——拓扑接错了。这让我想起很多新手对PCIE拓扑的理解还停留在“插上就能用”的阶段，今天咱们就聊聊这个。
拓扑不是“连上线就行”
PCIE的拓扑结构决定了数据怎么走、带宽怎么分、设备怎么被系统看见。你把它当成城市路网就对了：主干道、立交桥、小巷子，各有各的走法。搞不清拓扑，轻则性能打折，重则设备失踪。
点对点：最干净也最“奢侈”
PCIE本质是点对点协议，每条链路就俩设备：一个上游，一个下游。比如你的显卡直连CPU，这就是典型的点对点。干净利落，全带宽独占，延迟最低。但问题来了：CPU哪有那么多通道给你直连？于是就有了交换。
调试坑点：直连时链路训练失败，先查参考时钟。有次调一块FPGA板卡，LTSSM卡在Polling，最后发现是100MHz时钟的驱动强度不够。点对点对信号质量要求最高，别以为线短就没事。
交换：现实世界的立交桥
交换器（Switch）是PCIE拓扑的核心。它有一个上游口（靠近CPU那边），N个下游口。数据包进来，查路由表，决定从哪个口出去。听起来简单，但这里有大学问。
比如一个x16的交换器，下游四个x4口。你以为每个口都能跑满x4？得看交换器内部架构。有的交换器是共享带宽的，四个口同时传数据，总分带宽还是x16。有的支持非阻塞交换，但成本上天。产品选型时，数据手册里的“非阻塞”三个字要看仔细。
代码里常见的坑：枚举设备时，交换器下游的设备BDF（Bus/Device/Function）号是动态分配的。如果你在驱动里写死BDF，换块主板可能就找不到设备了。正确做法是遍历总线，或者用ACPI/设备树。
// 错误示范：别这样写死！pci_dev=pci_get_device(0x1234,0x5678,NULL);// 应该遍历总线，或者用类/供应商ID过滤structpci_dev*dev=NULL;while((dev=pci_get_class(PCI_CLASS_STORAGE_EXPRESS,dev))!=NULL){// 逐个处理NVMe设备}层次结构：树形王国
真实的PCIE拓扑是一棵树。根是RC（Root Complex），相当于CPU的PCIE控制器。从RC出发，第一层可能是交换器或端点设备（Endpoint），再往下继续分叉。系统启动时，BIOS/UEFI会做枚举，给每个设备分配总线号，形成一棵逻辑树。
这里有个关键概念：每个交换器本身也是个PCI设备，有自己的配置空间。它的下游口是“桥”（Bridge），每个桥后面挂一条新总线。所以你在lspci里看到的总线号，实际反映了物理拓扑的层次。
经验之谈：调多级交换拓扑时，先画树状图。用lspci -t看逻辑拓扑，再对照原理图看物理连接。遇到过交换器级联超过三级导致枚举失败的，PCIE规范建议最多七级，但实际超过三级就可能出幺蛾子。
带宽分配：不是均分那么简单
回到开头的案例：x8链路下游挂两个x4设备，为什么不行？因为PCIE链路训练时，下游设备需要和上游协商链路宽度。如果上游是x8，下游第一个设备是x4，那么剩下的x4通道必须被正确终止。如果接着往下挂设备，剩下的通道就没法用了。
正确接法是在x8链路下游放一个x8交换器，交换器下游再接两个x4设备。或者用支持端口聚合的交换器，把两个x4口绑定成一个x8逻辑口。
硬件设计建议：画原理图时，把通道分配标清楚。x16的插槽不一定非要接x16设备，但空余的通道要正确处理。有些设计为了省钱，x16插槽实际只接x8信号，另外x8悬空——这会导致某些显卡降速运行。
个人调试心得
先看拓扑，再看信号。设备不识别，先
lspci -tv看枚举出来没。没枚举到，查物理链路；枚举到了但访问不了，查配置空间。交换器配置空间要会读。特别是Secondary Bus Number和Subordinate Bus Number，这两个字段定义了交换器管理的总线范围。枚举出问题时，查这两个值对不对。
链路训练状态机（LTSSM）是终极武器。用示波器抓LTSSM状态码，或者用芯片的诊断寄存器。Polling状态卡住，查差分对；Configuration状态卡住，查链路参数协商。
热插拔和电源管理会让拓扑动态变化。驱动里要做好设备突然消失的准备。有次调试，设备休眠后链路降速到L1，唤醒时训练失败，最后发现是参考时钟没及时恢复。
拓扑是PCIE的骨架，骨架歪了，血肉再漂亮也跑不起来。下次画板或调设备前，花十分钟把拓扑图理理清楚，能省掉后面三天三夜的调试。