CXL链路训练中的APN机制与Modified TS详解
1. CXL链路训练基础概念
第一次接触CXL链路训练时，我也被各种专业术语搞得晕头转向。简单来说，这就像两个陌生人初次见面时的"握手"过程 - 双方需要通过特定方式确认彼此的身份和能力。在CXL设备互联场景中，Host和Device需要通过链路训练建立可靠的物理连接。
这个过程的核心目标是让两个设备能够：
- 正确识别对方发送的信号
- 协商出双方都支持的通信参数
- 最终建立稳定的数据传输通道
从技术实现角度看，链路训练分为物理层和数据链路层两个层面。物理层训练关注的是最底层的电气特性，比如信号强度、时钟同步等；而数据链路层则负责更高层的协议协商。本文重点讨论物理层的训练机制。
2. APN机制工作原理
2.1 APN的基本概念
APN（Alternate Protocol Negotiation）是CXL链路训练中的关键机制。它的作用就像国际贸易中的"语言协商" - 确保双方使用都能理解的沟通方式。在CXL场景下，APN负责协商Flex Bus的工作模式和相关能力。
具体来说，APN需要协商的内容包括：
- 协议支持：PCIe、CXL.io、CXL.cache、CXL.mem
- Flit模式：68B、标准256B、延迟优化256B、PBR
- 性能调控：Sync Header Bypass、CXL NOP Hint、CXL.io Throttle
- 其他特性：多逻辑设备支持、Retimer感知等
2.2 APN的两个阶段
APN协商过程分为两个清晰的阶段：
提议阶段（Phase 1）发生在Configuration.LaneNum.Wait到Configuration.LaneNum.Accept期间。这个阶段就像商务谈判的"需求摸底"环节：
- 下行端口(DSP)发送包含自身能力信息的Modified TS1
- 上行端口(USP)收到后回复自己的能力信息
- 双方初步了解对方的支持情况
决议阶段（Phase 2）发生在Configuration.Complete期间。这个阶段相当于"最终拍板"：
- DSP根据双方能力做出最终决定
- 通过Modified TS2通知USP决定结果
- USP确认后完成协商
3. Modified TS详解
3.1 Modified TS的协商前提
Modified TS不是随便就能用的，需要满足特定条件：
- 必须在Polling等前置状态中将Standard TS1/TS2 Symbol 5的Bits[7:6]设为2'b11
- 收发双方都必须支持Modified TS
- 只能在特定的LTSSM子状态中使用
这就像使用专业术语交流前，需要先确认对方也懂这些术语一样。
3.2 Modified TS的关键字段
Modified TS相比Standard TS主要修改了Symbol 6-15的内容。几个关键字段需要特别注意：
Symbol 8-9
- Bits[2:0]：指示Modified TS用途，010b表示用于APN协商
- Bits[4:3]：APN状态指示
- Bits[7:5]：协议ID，000b表示Flex Bus
- Bit8：公共时钟指示
Symbol 10-11固定填写CXL的厂商ID：1e98h
Symbol 12-14包含丰富的Flex Bus能力信息：
- Bits[0:3]：四大协议支持情况
- Bit4：68B Flit和VH支持
- Bit8：多逻辑设备支持
- Bit10：Sync Header Bypass支持
- Bit11：延迟优化256B Flit支持
- Bit12-14：Retimer相关指示
- Bit15：64GT/s下的CXL.io限速需求
4. 实际调试经验分享
4.1 常见问题排查
在实际调试中，有几个常见问题需要注意：
速率设置问题如果设备最大支持8GT/s或16GT/s，在训练前需要临时设置为32GT/s。这是因为Modified TS Usage Selected字段位于32GT/s控制寄存器中。完成协商后，再改回实际支持的最大速率。
热插拔支持对于仅支持CXL 1.1的设备（如eRCH/eRCD），BIOS默认会关闭APN以防止热插拔。这时需要通过软件手动开启。
4.2 调试技巧
- 首先确认LTSSM状态机是否正常进入Configuration状态
- 检查Modified TS的发送和接收是否符合协议要求
- 仔细解析Symbol内容，确认双方能力匹配情况
- 注意协商过程中的时序要求，比如连续发送16笔一致Modified TS2的要求
5. 协议细节深度解析
5.1 Flex Bus模式选择
CXL Flex Bus支持两种工作模式：
- Native PCIe模式：只能进行PCIe传输
- CXL模式：支持所有CXL协议传输
模式选择完全由硬件在链路训练期间通过APN机制决定。这个过程就像选择通信语言 - 双方必须使用同一种"语言"才能有效沟通。
5.2 链路训练成功标志
判断CXL链路训练是否成功的关键指标：
- 达到8GT/s或更高传输速率
- LTSSM状态机进入L0状态
- 能够正常发送和接收CXL Transaction
如果只能达到2.5GT/s或5GT/s，即使设备支持PCIe，也无法自动回退到PCIe模式。这时需要：
- LTSSM回退到Detect状态
- 软件关闭APN协商
- 重新发起针对PCIe模式的链路训练
6. 性能优化考虑
6.1 链路自适应
CXL Mode下支持链路自适应调整：
- 减宽(Width Degradation)
- 降速(Speed Downgrade)
只要调整后的参数在协议支持范围内，可以直接从L0进入Recovery状态进行调整，无需重新协商CXL Mode。这大大提高了系统灵活性。
6.2 Flit模式选择
不同的Flit模式会影响性能和延迟：
- 68B Flit：延迟最低，适合对延迟敏感的场景
- 标准256B Flit：吞吐量较高
- 延迟优化256B Flit：平衡延迟和吞吐
- PBR Flit：特定场景使用
选择时需要根据应用需求权衡。比如AI训练可能更关注吞吐，而高频交易则更看重延迟。
7. 硬件实现注意事项
7.1 Retimer处理
当链路中存在Retimer时需要注意：
- Retimer必须不加修改地传递Sync Header Bypass信息
- 如果Retimer不支持某特性，只能清零对应bit，不能私自置一
- 不支持CXL的Retimer会被DSP假设为不支持任何CXL特性
7.2 多逻辑设备支持
对于支持多逻辑设备的场景：
- Switch的上行端口必须将MLD bit置零
- 其他设备可以根据实际情况设置
- 需要确保所有设备正确理解MLD bit的含义
8. 协议版本兼容性
不同版本的CXL协议在APN机制上可能有细微差别。在实际项目中，我们需要：
- 明确设备支持的协议版本
- 检查协议间的兼容性
- 必要时进行版本适配
特别是从CXL 1.1升级到2.0时，68B Flit和VH支持是需要重点关注的特性。