Linux 5.4 下 TSI721 RapidIO 驱动编译与双板卡互联实战（含完整测试流程）

Linux 5.4下TSI721 RapidIO驱动深度配置与双板卡互联全流程指南

在嵌入式系统开发领域，RapidIO作为一种高性能、低延迟的互连技术，正逐渐成为多处理器系统互联的首选方案。本文将基于Linux 5.4内核，详细解析TSI721芯片驱动的完整配置流程，并提供两块开发板通过RapidIO互联的实战操作手册。不同于基础教程，我们将深入探讨驱动加载参数优化、枚举发现机制原理以及性能调优技巧，帮助开发者构建稳定高效的RapidIO通信环境。

1. 环境准备与源码编译

在开始之前，请确保您已准备好以下硬件环境：

• 两块搭载TSI721芯片的开发板（建议使用相同型号）
• 稳定的5V电源供应
• RapidIO线缆（建议使用4x模式线缆以获得最佳性能）
• 串口调试工具（如minicom或screen）

源码获取与编译步骤：

1. 从RapidIO官方GitHub仓库获取最新驱动源码：

wget https://github.com/RapidIO/kernel-rapidio/archive/refs/tags/v2.0_HS.tar.gz tar -xzvf v2.0_HS.tar.gz cd kernel-rapidio-2.0_HS

2. 驱动编译前需确认内核头文件匹配：

make KERNEL_SRC=/lib/modules/$(uname -r)/build

关键提示：若编译报错提示内核版本不匹配，需手动修改Makefile中的KERNEL_SRC路径

3. 测试程序编译（位于libmport目录）：

cd libmport make samples

编译完成后将生成以下关键测试工具：

• rio_test_db：Doorbell功能测试
• rio_test_dma：DMA传输测试
• rionet_ping：网络功能测试

常见编译问题解决：

2. 驱动加载与系统配置

2.1 双板角色定义与驱动参数优化

在RapidIO互联架构中，两块板卡需明确分工：

• A板（发现节点）：负责网络拓扑发现，hdid参数设为-1
• B板（枚举节点）：负责设备枚举，hdid参数设为0

A板驱动加载命令（优化参数版）：

insmod rapidio.ko hdid=-1 insmod tsi721_mport.ko \ mbox_sel=0xf \ dma_sel=0x7f \ pcie_mrrs=256 \ dma_txqueue_sz=8192 \ dma_desc_per_channel=8192 insmod idt_gen2.ko insmod rio-scan.ko

B板增强配置（支持DMA大内存传输）：

insmod rapidio.ko hdid=0 insmod tsi721_mport.ko \ mbox_sel=0xf \ dma_sel=0x7f \ pcie_mrrs=256 \ dma_txqueue_sz=16384 \ dma_desc_per_channel=16384 insmod idt_gen2.ko insmod rio-scan.ko insmod rio_mport_cdev.ko \ rio_res_mem=0x40000000 \ rio_res_size=0x20000000 insmod rio_cm.ko

参数解析：

• dma_txqueue_sz：增大DMA传输队列深度可提升大数据量传输效率
• rio_res_mem：预留的内存区域需根据实际板载内存调整
• pcie_mrrs：设置为256可避免PCIe Maximum Read Request Size警告

2.2 枚举与发现流程的深度解析

RapidIO网络建立的核心在于正确的枚举发现顺序。这是一个典型的两阶段过程：

1. 发现阶段（A板执行）：

echo -1 > /sys/bus/rapidio/scan

此时dmesg应显示：

[ 37.135091] RIO: discovery work for mport 0 tsi721(0000:03:00.0) [ 37.138546] tsi721 0000:03:00.0: tsi721_probe: SRIO Link Speed 5.0 Gbaud

2. 枚举阶段（B板执行，需在A板操作后30秒内完成）：

echo -1 > /sys/bus/rapidio/scan

成功时日志包含：

[ 120.911283] RIO: enumerate master port 0, tsi721(0000:03:00.0) [ 120.914340] RIO: found 00:e:0004 (vid 0038 did 80ab)

关键要点：

• 操作顺序必须严格遵循"先发现后枚举"
• 两板间物理连接需在操作前确保稳定
• 若超时失败需重启驱动模块重新尝试

3. 核心功能测试与性能优化

3.1 Doorbell中断测试与实时性分析

Doorbell作为RapidIO的重要中断机制，其延迟特性对实时系统至关重要。测试方法：

接收端（A板）：

./rio_test_db -M 0 -S 0x1a1a -E 0x5a5a -r -v

参数说明：

• -S/-E：设置Doorbell事件ID范围
• -v：启用详细日志

发送端（B板）：

./rio_test_db -M 0 -D 0x1 -I 0x1a5a -c 1000 -i 10

高级参数：

• -c 1000：发送1000次Doorbell事件
• -i 10：间隔10μ秒发送

性能指标采集：

# 在接收端通过ftrace采集中断延迟 echo function_graph > /sys/kernel/debug/tracing/current_tracer echo tsi721_dbell_handler > /sys/kernel/debug/tracing/set_ftrace_filter cat /sys/kernel/debug/tracing/trace_pipe

3.2 DMA传输性能调优实战

DMA是RapidIO的高带宽利器，下面展示如何通过参数优化获得最佳传输性能。

基础测试命令：

# 接收端（预分配内存区域） ./rio_test_dma -M 0 -I 0x1000000 -R 0x2000000 -v # 发送端（1GB数据传输测试） ./rio_test_dma -M 0 -D 0x0 -A 0x2000000 -S 0x40000000 -T 5 -d -v

性能优化技巧：

1. 调整内核swappiness参数：

echo 10 > /proc/sys/vm/swappiness

2. 禁用透明大页（THP）：

echo never > /sys/kernel/mm/transparent_hugepage/enabled

3. 使用DMA绑定CPU核心：

taskset -c 3 ./rio_test_dma [参数]

DMA性能对比表（单位：MB/s）：

3.3 RIONET网络功能高级配置

RIONET驱动加载后，可通过以下方式构建高性能网络：

基础网络配置：

# A板 ifconfig eth0 192.168.1.1 mtu 9000 up # B板 ifconfig eth0 192.168.1.2 mtu 9000 up

性能测试工具推荐：

1. 带宽测试：

iperf3 -s # 服务端 iperf3 -c 192.168.1.1 -t 60 -P 4 # 客户端

2. 延迟测试：

ping -f -c 1000 192.168.1.1

MTU优化建议：

• 9000字节巨帧可提升吞吐量
• 需确保交换设备支持Jumbo Frame
• 实际MTU值应根据具体应用调整

4. 故障排查与日志分析

4.1 常见错误代码解析

4.2 关键日志信息解读

正常链路激活日志：

tsi721 0000:03:00.0: tsi721_probe: SRIO Link Speed 5.0 Gbaud RIO: found 00:e:0001 (vid 0038 did 80ab)

异常情况处理：

1. 链路训练失败：

tsi721 0000:03:00.0: Link training failed

解决方法：检查电源质量，更换线缆

2. DMA通道错误：

dma dma0chan0: tsi721_dma_tasklet: DMAC0_ERR = 0x1

解决方法：降低传输速率或减小数据包大小

4.3 系统级监控工具

1. 实时监控RapidIO链路状态：

watch -n 1 "cat /sys/bus/rapidio/devices/*/ltrain"

2. DMA通道状态检查：

ls /sys/class/dma/dma0chan0/status

3. 内存使用监控：

vmstat -SM 1

在实际项目部署中，我们曾遇到DMA传输不稳定问题，最终发现是电源噪声导致。通过增加电源滤波电容和调整内核的dma_desc_per_channel参数，传输错误率从5%降至0.01%以下。这提醒我们，高性能互连系统的稳定性需要硬件和软件的协同优化。