1. Vivado XDMA仿真实战的前期认知与整体设计1.1 为什么要在仿真阶段啃下XDMA这块硬骨头做过FPGA高速接口的同行都清楚PCIe相关的调试是整个项目里最让人头疼的环节之一。板子焊回来上电主机枚举不到设备或者枚举到了但一读写就挂这时候你盯着示波器和ILA抓出来的波形往往一头雾水。问题出在物理层链路没训练上还是TLP包格式不对还是描述符环配置有误这些疑问如果等到上板才去排查时间成本极高而且很多底层信号在硬件上根本抓不到。XDMADMA Subsystem for PCI Express是Xilinx提供的一套PCIe集成方案它把PCIe硬核、DMA引擎、描述符管理、中断控制等模块打包在一起通过AXI接口对用户逻辑开放。用起来确实方便但方便的背后是大量可配置参数和内部状态机一旦配置不当或者理解有偏差仿真阶段就能暴露出很多问题。我个人的习惯是任何PCIe项目在动板子之前先在Vivado里把XDMA的仿真跑通把链路训练、枚举配置、DMA读写这几个关键流程全部验证一遍这样上板才有底气。这篇内容适合谁看如果你正在用Vivado做PCIe相关的FPGA开发手头有XDMA的IP核但对仿真流程不熟悉或者仿真跑起来了却看不懂波形、不知道LTSSM状态跳转是否正常那这篇东西应该能帮到你。我会从工程搭建、IP配置、Testbench设计、链路训练波形分析、DMA读写验证这几个维度把整个仿真流程拆开讲清楚。1.2 整体仿真思路分层验证逐级打通XDMA的仿真不能一上来就搞全系统联调那样出了问题根本定位不到。我的做法是分层验证把整个链路拆成三个层次物理层链路训练、配置空间枚举、DMA数据传输。每一层单独建仿真环境验证通过后再往上叠加。物理层链路训练主要看LTSSM状态机的跳转。PCIe的链路训练是一个相对独立的过程两端设备通过交换TS1/TS2有序集来协商链路宽度和速率。在仿真里XDMA的Root Port模型和Endpoint模型会模拟这个过程你需要观察LTSSM是否从Detect一路走到L0中间有没有卡在Polling或者Configuration状态。配置空间枚举是BIOS或者操作系统做的事情仿真里通常由Root Port模型发起配置读写请求XDMA响应这些请求返回配置空间的内容。这一步验证的是XDMA的配置空间是否正确实现BAR地址映射是否合理。DMA数据传输是最终目标验证的是描述符环的读写、TLP包的组装和解析、中断的触发。这一步最复杂涉及的内容也最多。分层验证的好处是每一层的信号相对干净出了问题容易定位。比如链路训练没过那就不用看后面的枚举和DMA了先把LTSSM搞清楚。这种思路在实操中非常有效能省下大量调试时间。1.3 仿真环境选型为什么用Vivado自带的仿真器就够了很多人一提到仿真就想到ModelSim或者VCS觉得Vivado自带的XSim功能弱。但就XDMA的仿真而言XSim其实完全够用。原因有几个第一XDMA的仿真模型是Xilinx官方提供的和Vivado的集成度最高用XSim跑不会有兼容性问题第二PCIe的仿真主要看TLP包和状态机XSim的波形查看器虽然不如ModelSim花哨但看这些信号绰绰有余第三省去了编译库的麻烦XDMA的仿真库在Vivado里是预编译好的直接调用就行。当然如果你团队里已经有成熟的ModelSim流程那继续用也没问题。但如果你是个人开发者或者小团队不想在工具链上折腾太多XSim是性价比最高的选择。我实测下来XSim跑XDMA的仿真一个完整的链路训练加枚举流程大概几分钟就能跑完速度可以接受。2. XDMA IP核配置的关键参数与避坑指南2.1 基础配置模式选择与接口类型打开Vivado的IP Catalog搜索XDMA双击进去第一个页面就是基础配置。这里有几个关键选项需要仔细斟酌。Mode选择XDMA支持三种模式——AXI Memory Mapped、AXI Stream、以及两者混合。如果你做的是数据采集卡或者存储设备通常选AXI Memory Mapped因为主机需要直接读写DDR或者BRAM。如果你做的是网络加速或者信号处理数据流是单向的AXI Stream更合适。我这次仿真用的是AXI Memory Mapped模式因为要验证描述符环的读写这个模式最典型。PCIe Block Location这个选项决定XDMA使用哪个PCIe硬核。如果你的FPGA有多个PCIe硬核要选对位置。选错了综合会报错或者链路映射不对。一般选X0Y0就行除非你的板子有特殊设计。Lane Width链路宽度支持x1、x2、x4、x8、x16。仿真的时候选x4比较合适既能验证多lane的链路训练又不会让仿真太慢。x16的仿真时间会显著增加没必要。Max Link Speed最大链路速率支持2.5GT/sGen1、5GT/sGen2、8GT/sGen3。仿真选Gen2就够了Gen3的仿真模型更复杂跑起来慢而且Gen2已经能验证大部分逻辑。注意Lane Width和Max Link Speed这两个参数在仿真里要和Testbench里的Root Port模型匹配否则链路训练会失败。比如你IP配的是x4 Gen2Testbench里Root Port也要配成x4 Gen2。2.2 BAR配置与地址映射BARBase Address Register是主机访问FPGA的窗口XDMA通常需要至少两个BAR一个用于配置空间和DMA控制寄存器一个用于用户逻辑的AXI地址映射。BAR0一般配成32位或者64位Memory BAR大小根据你的寄存器数量来定。XDMA的DMA控制寄存器占用的空间不大通常128KB到1MB就够了。我习惯配成1MB留足余量。BAR1如果用户逻辑有大量的AXI地址空间需要映射比如DDR缓存那就需要再开一个BAR。BAR1通常配成64位Prefetchable Memory BAR大小根据实际需求来。仿真的时候可以配小一点比如16MB加快枚举速度。BAR配置的坑BAR的大小必须是2的幂次方而且地址要自然对齐。比如你配了1MB的BAR那它的基地址必须是1MB对齐的。这个在仿真里如果配错了枚举阶段就会报错Root Port读回来的BAR值全是0或者全是F。2.3 DMA引擎与描述符环配置XDMA的DMA引擎支持两种描述符模式Simple DMA和Scatter-Gather DMA。Simple DMA一次只能传输一个连续的块适合简单的数据搬运。Scatter-Gather DMA支持描述符链可以传输多个不连续的块适合复杂的应用场景。仿真的时候我建议先用Simple DMA把基本流程跑通再上Scatter-Gather。Simple DMA的描述符结构简单就是源地址、目的地址、长度、控制字段这几个容易看懂。Scatter-Gather的描述符环涉及Next Descriptor指针调试起来复杂一些。Descriptor Bypass这个选项如果勾上XDMA会使用内部的描述符管理逻辑用户逻辑不需要自己维护描述符环。对于仿真来说勾上这个选项可以简化Testbench的设计因为不需要模拟描述符环的读写。但如果你想深入理解XDMA的内部工作机制可以不勾自己维护描述符环这样能看到更多底层信号。Number of DMA ChannelsDMA通道数支持1到4个。仿真的时候1个通道就够了多通道会增加仿真复杂度但验证的逻辑是一样的。2.4 中断配置与MSI/MSI-XXDMA支持Legacy中断、MSI中断和MSI-X中断。现代系统基本都用MSI-X因为它支持更多的中断向量而且没有共享中断的问题。仿真的时候MSI-X的配置稍微复杂一些需要配置中断向量表。如果只是验证DMA的基本功能可以先不配中断用轮询的方式检查DMA是否完成。等基本流程跑通了再加上中断验证。中断配置的坑MSI-X的向量表在配置空间里枚举阶段Root Port会读取这个表。如果表的内容不对比如向量数量配错了或者地址映射不对中断就触发不了。仿真的时候要仔细检查这部分。3. Testbench设计与链路训练仿真实操3.1 Testbench整体架构XDMA的Testbench不是从零开始写的Xilinx提供了官方的仿真例子。在Vivado里生成XDMA IP核之后右键IP核选择Open IP Example DesignVivado会自动生成一个完整的仿真工程包括Testbench、Root Port模型、以及一些辅助模块。这个Example Design非常有用它已经帮你把Root Port模型、参考时钟、复位逻辑都搭好了。你只需要在这个基础上修改加入自己的用户逻辑和测试激励就行。Testbench的整体架构是这样的顶层是一个testbench模块里面例化了xdma_0XDMA IP核、pcie_root_portRoot Port模型、以及时钟和复位生成逻辑。Root Port模型模拟主机侧的行为包括发起配置读写、发送TLP包、接收TLP包等。3.2 链路训练过程的波形观察链路训练是PCIe仿真里最直观的部分因为LTSSM的状态跳转在波形上非常明显。打开仿真把pcie_root_port和xdma_0之间的差分信号加到波形窗口然后找到LTSSM的状态寄存器。LTSSM的状态编码如下状态编码含义Detect0x00检测链路对端是否存在Polling0x01轮询交换TS1/TS2有序集Configuration0x02配置链路宽度和速率Recovery0x03恢复重新训练L00x04正常工作状态L10x05低功耗状态L20x06更深度的低功耗状态Disabled0x07链路禁用Loopback0x08回环测试Hot Reset0x09热复位仿真开始后LTSSM应该从Detect开始经过Polling、Configuration最终到达L0。如果卡在某个状态不动那就要检查对应的信号。Detect状态这个状态主要看Receiver Detection。Root Port和Endpoint互相检测对方的接收端是否存在。如果检测不到LTSSM会一直在Detect状态循环。仿真里如果卡在这里检查差分信号的连接是否正确。Polling状态这个状态交换TS1和TS2有序集。TS1和TS2是PCIe定义的训练序列里面包含了链路宽度、速率、均衡设置等信息。波形上可以看到tx_data和rx_data上有规律的数据包。如果Polling超时通常是TS1/TS2的内容不匹配检查两端的配置是否一致。Configuration状态这个状态协商链路宽度和速率。Root Port和Endpoint互相发送自己的能力信息然后取交集。比如Root Port支持x4Endpoint也支持x4那链路就训练成x4。如果一方支持x4另一方只支持x2那链路就训练成x2。波形上可以看到link_width和link_speed信号的变化。L0状态到达L0就说明链路训练成功了。这时候可以开始配置空间的枚举。实操心得链路训练的仿真时间比较长因为Polling和Configuration状态有超时机制即使一切正常也要等一段时间才能到L0。我一般会在Testbench里把超时时间调短一点加快仿真速度。但要注意超时时间不能太短否则正常的训练过程也会被误判为超时。3.3 配置空间枚举的仿真验证链路训练到L0之后Root Port会发起配置空间的枚举。这个过程在仿真里是通过配置读写TLP包来实现的。Root Port首先读取Endpoint的Vendor ID和Device ID确认设备存在。然后读取Header Type判断是Endpoint还是Bridge。接着读取BAR寄存器确定BAR的大小和类型。最后配置Command寄存器使能Memory Space和Bus Master。在波形上你可以看到cfg_read和cfg_write信号的变化以及cfg_addr和cfg_data上的数据。XDMA的配置空间内容可以在IP核的配置界面里看到仿真的时候对照一下确认读回来的值是否正确。枚举失败的常见原因如果Root Port读回来的Vendor ID是0xFFFF说明设备没有响应配置请求。这时候要检查链路是否真的到了L0以及配置空间的时钟是否正常。如果BAR读回来的值不对检查BAR的配置参数特别是大小和类型。3.4 DMA读写仿真的激励设计DMA读写是仿真的最终目标。在Example Design里Xilinx提供了一个简单的DMA测试激励通过AXI接口向XDMA写入数据然后触发DMA传输最后检查数据是否正确。我的做法是写一个简单的AXI Master模型模拟用户逻辑向XDMA的AXI接口写入数据。然后通过配置DMA控制寄存器启动DMA传输。传输完成后检查目标地址的数据是否和源地址一致。DMA传输的关键信号dma_req、dma_ack、dma_desc、dma_done。这些信号在波形上可以清楚地看到DMA的启动、描述符读取、数据传输、完成中断的整个过程。激励设计的注意事项DMA传输的地址要4KB对齐这是PCIe的页大小要求。如果地址不对齐DMA可能会失败或者性能下降。仿真的时候要特别注意这一点。4. 常见问题排查与仿真效率优化4.1 链路训练卡死的问题排查链路训练卡死是XDMA仿真里最常见的问题。表现是LTSSM一直停在某个状态波形上没有任何跳转。排查的思路是从物理层往上查。首先检查差分信号的连接。pcie_root_port和xdma_0之间的tx_p、tx_n、rx_p、rx_n要正确连接不能有悬空或者交叉。仿真里如果连接错了Receiver Detection会失败LTSSM卡在Detect。其次检查参考时钟。PCIe的参考时钟是100MHz仿真里要确保时钟频率正确而且相位关系要对。如果时钟不对TS1/TS2的发送和接收会错位Polling会超时。最后检查配置参数。Root Port和Endpoint的Lane Width、Max Link Speed、以及均衡设置要匹配。如果一方配的是Gen2另一方配的是Gen3链路训练会降速到Gen2但如果配置差异太大比如一方是x4另一方是x1链路训练可能会失败。4.2 配置空间读回值异常的排查配置空间读回值异常通常表现为Vendor ID是0xFFFF或者BAR值是0。这种情况一般是配置空间的时钟或者复位有问题。检查cfg_clk和cfg_rst信号。XDMA的配置空间使用独立的时钟域如果这个时钟没有正确连接配置空间就不会响应。复位信号也要确保在枚举之前已经释放。另外检查cfg_addr和cfg_data的位宽。XDMA的配置空间访问是32位的如果Testbench里用了16位或者8位的访问数据会错位。4.3 DMA传输失败的排查DMA传输失败的表现是dma_done信号一直不拉高或者数据传输完成后校验错误。排查的思路是从描述符开始。首先检查描述符的内容。源地址、目的地址、长度、控制字段都要正确。特别是控制字段里的方向位读和写的方向不能搞反。其次检查DMA控制寄存器的配置。DMA的启动位、中断使能位、以及通道选择位都要正确设置。如果启动位没有置1DMA不会开始传输。最后检查AXI接口的握手信号。axi_awvalid、axi_awready、axi_wvalid、axi_wready、axi_bvalid、axi_bready这些信号要正确握手否则数据写不进去。4.4 仿真效率优化的几个实用技巧XDMA的仿真跑起来比较慢特别是链路训练阶段超时等待会消耗大量仿真时间。以下几个技巧可以显著提升仿真效率。缩短超时时间在Testbench里把LTSSM的超时计数器改小比如从默认的几十毫秒改成几微秒。这样链路训练的过程会加快但要注意不能改得太小否则正常的训练过程也会被误判为超时。减少仿真时间如果只是验证DMA的基本功能可以把链路训练的仿真时间缩短直接跳到L0状态。Xilinx的Example Design里有一个skip_link_training的选项勾上之后仿真会直接进入L0省去链路训练的时间。使用波形分组XSim的波形窗口支持分组把相关的信号放在一组里比如LTSSM的状态信号放一组TLP包的信号放一组AXI接口的信号放一组。这样看波形的时候不用来回滚动效率高很多。保存仿真状态如果仿真跑到一半需要修改Testbench可以把仿真状态保存下来下次直接从保存点开始跑不用从头再来。XSim支持save和restore命令这个功能在调试的时候非常有用。4.5 常见问题速查表问题现象可能原因排查方法LTSSM卡在Detect差分信号连接错误检查tx/rx连接LTSSM卡在PollingTS1/TS2不匹配检查两端配置参数LTSSM卡在Configuration链路宽度/速率不匹配检查Lane Width和SpeedVendor ID读回0xFFFF配置空间时钟/复位异常检查cfg_clk和cfg_rstBAR读回0BAR配置错误检查BAR大小和类型DMA不启动控制寄存器未配置检查启动位和通道选择DMA传输错误描述符内容错误检查源/目的地址和长度中断不触发MSI-X向量表错误检查向量数量和地址实操心得仿真的时候一定要有耐心XDMA的仿真不是跑一遍就能过的。我自己的经验是第一遍跑通链路训练第二遍跑通枚举第三遍跑通DMA每一遍都会发现新的问题。把每次遇到的问题和解决方法记录下来形成自己的排查手册下次再遇到类似问题就能快速定位。5. 从仿真到上板的衔接要点5.1 仿真验证通过后的检查清单仿真跑通了不代表上板就能用中间还有一些衔接工作要做。我一般会在上板之前过一遍检查清单确认仿真里验证过的内容在硬件上也能正常工作。检查清单包括链路训练的LTSSM状态跳转是否和仿真一致配置空间的枚举结果是否和仿真一致DMA的传输带宽是否达到预期中断是否正常触发以及复位和时钟的约束是否正确。特别是时钟约束仿真里时钟是理想的硬件上有时钟抖动和偏斜。PCIe的参考时钟要求比较高抖动不能超过规范。上板之前要用示波器或者频谱仪测一下参考时钟的质量确保满足要求。5.2 仿真与硬件的差异点仿真和硬件最大的差异在于物理层的模拟。仿真里差分信号是理想的没有损耗、没有噪声、没有码间干扰。硬件上这些因素都会影响链路训练的成功率。另一个差异是时序。仿真里的时序是理想的硬件上有时序违例的风险。XDMA的AXI接口和PCIe接口都有时序要求上板之前要跑一遍时序分析确保没有违例。还有一个差异是复位。仿真里的复位是干净的硬件上复位信号可能有毛刺。XDMA的复位要求比较严格上板之前要确保复位信号的完整性。5.3 上板调试的实用建议上板调试的时候ILA是你的好朋友。把LTSSM的状态信号、TLP包的信号、DMA的控制信号都接到ILA上实时观察。如果链路训练失败ILA能告诉你卡在哪个状态。如果DMA传输失败ILA能告诉你描述符的内容和AXI接口的握手情况。另外Vivado的Hardware Manager里有一个PCIe的调试工具可以查看链路的状态、配置空间的内容、以及DMA的统计信息。这个工具在上板调试的时候非常有用建议多用。最后上板调试要有耐心。PCIe的问题往往不是一眼就能看出来的需要反复试验和排查。我自己的经验是每次上板调试都准备好几天的时间不要指望一次就能成功。把仿真里积累的经验用到上板调试上能少走很多弯路。5.4 后续扩展方向XDMA的仿真跑通之后可以往几个方向扩展。一是多通道DMA验证多个DMA通道同时工作时的仲裁和带宽分配。二是Scatter-Gather DMA验证描述符链的读写和中断处理。三是MSI-X中断验证多个中断向量的触发和处理。四是PCIe的电源管理验证L1和L2低功耗状态的进入和退出。这些扩展方向在仿真里都可以验证而且验证通过之后上板的成功率会大大提高。我个人的习惯是每个扩展方向都单独建一个仿真工程验证通过后再集成到一起。这样出了问题容易定位不会互相干扰。最后分享一个小技巧XDMA的仿真工程可以保存成模板下次做新项目的时候直接复制过来改改配置参数就能用。这样能省下大量搭建环境的时间把精力集中在业务逻辑的验证上。我自己的模板里包含了链路训练、枚举、DMA读写、中断处理这几个基本的测试用例新项目直接套用效率很高。 
长河君 · 2026/10/7 19:17:22 · 阅读 1.2k Vivado XDMA仿真实战：链路训练、枚举与DMA读写全流程
1. Vivado XDMA仿真实战的前期认知与整体设计1.1 为什么要在仿真阶段啃下XDMA这块硬骨头做过FPGA高速接口的同行都清楚PCIe相关的调试是整个项目里最让人头疼的环节之一。板子焊回来上电主机枚举不到设备或者枚举到了但一读写就挂这时候你盯着示波器和ILA抓出来的波形往往一头雾水。问题出在物理层链路没训练上还是TLP包格式不对还是描述符环配置有误这些疑问如果等到上板才去排查时间成本极高而且很多底层信号在硬件上根本抓不到。XDMADMA Subsystem for PCI Express是Xilinx提供的一套PCIe集成方案它把PCIe硬核、DMA引擎、描述符管理、中断控制等模块打包在一起通过AXI接口对用户逻辑开放。用起来确实方便但方便的背后是大量可配置参数和内部状态机一旦配置不当或者理解有偏差仿真阶段就能暴露出很多问题。我个人的习惯是任何PCIe项目在动板子之前先在Vivado里把XDMA的仿真跑通把链路训练、枚举配置、DMA读写这几个关键流程全部验证一遍这样上板才有底气。这篇内容适合谁看如果你正在用Vivado做PCIe相关的FPGA开发手头有XDMA的IP核但对仿真流程不熟悉或者仿真跑起来了却看不懂波形、不知道LTSSM状态跳转是否正常那这篇东西应该能帮到你。我会从工程搭建、IP配置、Testbench设计、链路训练波形分析、DMA读写验证这几个维度把整个仿真流程拆开讲清楚。1.2 整体仿真思路分层验证逐级打通XDMA的仿真不能一上来就搞全系统联调那样出了问题根本定位不到。我的做法是分层验证把整个链路拆成三个层次物理层链路训练、配置空间枚举、DMA数据传输。每一层单独建仿真环境验证通过后再往上叠加。物理层链路训练主要看LTSSM状态机的跳转。PCIe的链路训练是一个相对独立的过程两端设备通过交换TS1/TS2有序集来协商链路宽度和速率。在仿真里XDMA的Root Port模型和Endpoint模型会模拟这个过程你需要观察LTSSM是否从Detect一路走到L0中间有没有卡在Polling或者Configuration状态。配置空间枚举是BIOS或者操作系统做的事情仿真里通常由Root Port模型发起配置读写请求XDMA响应这些请求返回配置空间的内容。这一步验证的是XDMA的配置空间是否正确实现BAR地址映射是否合理。DMA数据传输是最终目标验证的是描述符环的读写、TLP包的组装和解析、中断的触发。这一步最复杂涉及的内容也最多。分层验证的好处是每一层的信号相对干净出了问题容易定位。比如链路训练没过那就不用看后面的枚举和DMA了先把LTSSM搞清楚。这种思路在实操中非常有效能省下大量调试时间。1.3 仿真环境选型为什么用Vivado自带的仿真器就够了很多人一提到仿真就想到ModelSim或者VCS觉得Vivado自带的XSim功能弱。但就XDMA的仿真而言XSim其实完全够用。原因有几个第一XDMA的仿真模型是Xilinx官方提供的和Vivado的集成度最高用XSim跑不会有兼容性问题第二PCIe的仿真主要看TLP包和状态机XSim的波形查看器虽然不如ModelSim花哨但看这些信号绰绰有余第三省去了编译库的麻烦XDMA的仿真库在Vivado里是预编译好的直接调用就行。当然如果你团队里已经有成熟的ModelSim流程那继续用也没问题。但如果你是个人开发者或者小团队不想在工具链上折腾太多XSim是性价比最高的选择。我实测下来XSim跑XDMA的仿真一个完整的链路训练加枚举流程大概几分钟就能跑完速度可以接受。2. XDMA IP核配置的关键参数与避坑指南2.1 基础配置模式选择与接口类型打开Vivado的IP Catalog搜索XDMA双击进去第一个页面就是基础配置。这里有几个关键选项需要仔细斟酌。Mode选择XDMA支持三种模式——AXI Memory Mapped、AXI Stream、以及两者混合。如果你做的是数据采集卡或者存储设备通常选AXI Memory Mapped因为主机需要直接读写DDR或者BRAM。如果你做的是网络加速或者信号处理数据流是单向的AXI Stream更合适。我这次仿真用的是AXI Memory Mapped模式因为要验证描述符环的读写这个模式最典型。PCIe Block Location这个选项决定XDMA使用哪个PCIe硬核。如果你的FPGA有多个PCIe硬核要选对位置。选错了综合会报错或者链路映射不对。一般选X0Y0就行除非你的板子有特殊设计。Lane Width链路宽度支持x1、x2、x4、x8、x16。仿真的时候选x4比较合适既能验证多lane的链路训练又不会让仿真太慢。x16的仿真时间会显著增加没必要。Max Link Speed最大链路速率支持2.5GT/sGen1、5GT/sGen2、8GT/sGen3。仿真选Gen2就够了Gen3的仿真模型更复杂跑起来慢而且Gen2已经能验证大部分逻辑。注意Lane Width和Max Link Speed这两个参数在仿真里要和Testbench里的Root Port模型匹配否则链路训练会失败。比如你IP配的是x4 Gen2Testbench里Root Port也要配成x4 Gen2。2.2 BAR配置与地址映射BARBase Address Register是主机访问FPGA的窗口XDMA通常需要至少两个BAR一个用于配置空间和DMA控制寄存器一个用于用户逻辑的AXI地址映射。BAR0一般配成32位或者64位Memory BAR大小根据你的寄存器数量来定。XDMA的DMA控制寄存器占用的空间不大通常128KB到1MB就够了。我习惯配成1MB留足余量。BAR1如果用户逻辑有大量的AXI地址空间需要映射比如DDR缓存那就需要再开一个BAR。BAR1通常配成64位Prefetchable Memory BAR大小根据实际需求来。仿真的时候可以配小一点比如16MB加快枚举速度。BAR配置的坑BAR的大小必须是2的幂次方而且地址要自然对齐。比如你配了1MB的BAR那它的基地址必须是1MB对齐的。这个在仿真里如果配错了枚举阶段就会报错Root Port读回来的BAR值全是0或者全是F。2.3 DMA引擎与描述符环配置XDMA的DMA引擎支持两种描述符模式Simple DMA和Scatter-Gather DMA。Simple DMA一次只能传输一个连续的块适合简单的数据搬运。Scatter-Gather DMA支持描述符链可以传输多个不连续的块适合复杂的应用场景。仿真的时候我建议先用Simple DMA把基本流程跑通再上Scatter-Gather。Simple DMA的描述符结构简单就是源地址、目的地址、长度、控制字段这几个容易看懂。Scatter-Gather的描述符环涉及Next Descriptor指针调试起来复杂一些。Descriptor Bypass这个选项如果勾上XDMA会使用内部的描述符管理逻辑用户逻辑不需要自己维护描述符环。对于仿真来说勾上这个选项可以简化Testbench的设计因为不需要模拟描述符环的读写。但如果你想深入理解XDMA的内部工作机制可以不勾自己维护描述符环这样能看到更多底层信号。Number of DMA ChannelsDMA通道数支持1到4个。仿真的时候1个通道就够了多通道会增加仿真复杂度但验证的逻辑是一样的。2.4 中断配置与MSI/MSI-XXDMA支持Legacy中断、MSI中断和MSI-X中断。现代系统基本都用MSI-X因为它支持更多的中断向量而且没有共享中断的问题。仿真的时候MSI-X的配置稍微复杂一些需要配置中断向量表。如果只是验证DMA的基本功能可以先不配中断用轮询的方式检查DMA是否完成。等基本流程跑通了再加上中断验证。中断配置的坑MSI-X的向量表在配置空间里枚举阶段Root Port会读取这个表。如果表的内容不对比如向量数量配错了或者地址映射不对中断就触发不了。仿真的时候要仔细检查这部分。3. Testbench设计与链路训练仿真实操3.1 Testbench整体架构XDMA的Testbench不是从零开始写的Xilinx提供了官方的仿真例子。在Vivado里生成XDMA IP核之后右键IP核选择Open IP Example DesignVivado会自动生成一个完整的仿真工程包括Testbench、Root Port模型、以及一些辅助模块。这个Example Design非常有用它已经帮你把Root Port模型、参考时钟、复位逻辑都搭好了。你只需要在这个基础上修改加入自己的用户逻辑和测试激励就行。Testbench的整体架构是这样的顶层是一个testbench模块里面例化了xdma_0XDMA IP核、pcie_root_portRoot Port模型、以及时钟和复位生成逻辑。Root Port模型模拟主机侧的行为包括发起配置读写、发送TLP包、接收TLP包等。3.2 链路训练过程的波形观察链路训练是PCIe仿真里最直观的部分因为LTSSM的状态跳转在波形上非常明显。打开仿真把pcie_root_port和xdma_0之间的差分信号加到波形窗口然后找到LTSSM的状态寄存器。LTSSM的状态编码如下状态编码含义Detect0x00检测链路对端是否存在Polling0x01轮询交换TS1/TS2有序集Configuration0x02配置链路宽度和速率Recovery0x03恢复重新训练L00x04正常工作状态L10x05低功耗状态L20x06更深度的低功耗状态Disabled0x07链路禁用Loopback0x08回环测试Hot Reset0x09热复位仿真开始后LTSSM应该从Detect开始经过Polling、Configuration最终到达L0。如果卡在某个状态不动那就要检查对应的信号。Detect状态这个状态主要看Receiver Detection。Root Port和Endpoint互相检测对方的接收端是否存在。如果检测不到LTSSM会一直在Detect状态循环。仿真里如果卡在这里检查差分信号的连接是否正确。Polling状态这个状态交换TS1和TS2有序集。TS1和TS2是PCIe定义的训练序列里面包含了链路宽度、速率、均衡设置等信息。波形上可以看到tx_data和rx_data上有规律的数据包。如果Polling超时通常是TS1/TS2的内容不匹配检查两端的配置是否一致。Configuration状态这个状态协商链路宽度和速率。Root Port和Endpoint互相发送自己的能力信息然后取交集。比如Root Port支持x4Endpoint也支持x4那链路就训练成x4。如果一方支持x4另一方只支持x2那链路就训练成x2。波形上可以看到link_width和link_speed信号的变化。L0状态到达L0就说明链路训练成功了。这时候可以开始配置空间的枚举。实操心得链路训练的仿真时间比较长因为Polling和Configuration状态有超时机制即使一切正常也要等一段时间才能到L0。我一般会在Testbench里把超时时间调短一点加快仿真速度。但要注意超时时间不能太短否则正常的训练过程也会被误判为超时。3.3 配置空间枚举的仿真验证链路训练到L0之后Root Port会发起配置空间的枚举。这个过程在仿真里是通过配置读写TLP包来实现的。Root Port首先读取Endpoint的Vendor ID和Device ID确认设备存在。然后读取Header Type判断是Endpoint还是Bridge。接着读取BAR寄存器确定BAR的大小和类型。最后配置Command寄存器使能Memory Space和Bus Master。在波形上你可以看到cfg_read和cfg_write信号的变化以及cfg_addr和cfg_data上的数据。XDMA的配置空间内容可以在IP核的配置界面里看到仿真的时候对照一下确认读回来的值是否正确。枚举失败的常见原因如果Root Port读回来的Vendor ID是0xFFFF说明设备没有响应配置请求。这时候要检查链路是否真的到了L0以及配置空间的时钟是否正常。如果BAR读回来的值不对检查BAR的配置参数特别是大小和类型。3.4 DMA读写仿真的激励设计DMA读写是仿真的最终目标。在Example Design里Xilinx提供了一个简单的DMA测试激励通过AXI接口向XDMA写入数据然后触发DMA传输最后检查数据是否正确。我的做法是写一个简单的AXI Master模型模拟用户逻辑向XDMA的AXI接口写入数据。然后通过配置DMA控制寄存器启动DMA传输。传输完成后检查目标地址的数据是否和源地址一致。DMA传输的关键信号dma_req、dma_ack、dma_desc、dma_done。这些信号在波形上可以清楚地看到DMA的启动、描述符读取、数据传输、完成中断的整个过程。激励设计的注意事项DMA传输的地址要4KB对齐这是PCIe的页大小要求。如果地址不对齐DMA可能会失败或者性能下降。仿真的时候要特别注意这一点。4. 常见问题排查与仿真效率优化4.1 链路训练卡死的问题排查链路训练卡死是XDMA仿真里最常见的问题。表现是LTSSM一直停在某个状态波形上没有任何跳转。排查的思路是从物理层往上查。首先检查差分信号的连接。pcie_root_port和xdma_0之间的tx_p、tx_n、rx_p、rx_n要正确连接不能有悬空或者交叉。仿真里如果连接错了Receiver Detection会失败LTSSM卡在Detect。其次检查参考时钟。PCIe的参考时钟是100MHz仿真里要确保时钟频率正确而且相位关系要对。如果时钟不对TS1/TS2的发送和接收会错位Polling会超时。最后检查配置参数。Root Port和Endpoint的Lane Width、Max Link Speed、以及均衡设置要匹配。如果一方配的是Gen2另一方配的是Gen3链路训练会降速到Gen2但如果配置差异太大比如一方是x4另一方是x1链路训练可能会失败。4.2 配置空间读回值异常的排查配置空间读回值异常通常表现为Vendor ID是0xFFFF或者BAR值是0。这种情况一般是配置空间的时钟或者复位有问题。检查cfg_clk和cfg_rst信号。XDMA的配置空间使用独立的时钟域如果这个时钟没有正确连接配置空间就不会响应。复位信号也要确保在枚举之前已经释放。另外检查cfg_addr和cfg_data的位宽。XDMA的配置空间访问是32位的如果Testbench里用了16位或者8位的访问数据会错位。4.3 DMA传输失败的排查DMA传输失败的表现是dma_done信号一直不拉高或者数据传输完成后校验错误。排查的思路是从描述符开始。首先检查描述符的内容。源地址、目的地址、长度、控制字段都要正确。特别是控制字段里的方向位读和写的方向不能搞反。其次检查DMA控制寄存器的配置。DMA的启动位、中断使能位、以及通道选择位都要正确设置。如果启动位没有置1DMA不会开始传输。最后检查AXI接口的握手信号。axi_awvalid、axi_awready、axi_wvalid、axi_wready、axi_bvalid、axi_bready这些信号要正确握手否则数据写不进去。4.4 仿真效率优化的几个实用技巧XDMA的仿真跑起来比较慢特别是链路训练阶段超时等待会消耗大量仿真时间。以下几个技巧可以显著提升仿真效率。缩短超时时间在Testbench里把LTSSM的超时计数器改小比如从默认的几十毫秒改成几微秒。这样链路训练的过程会加快但要注意不能改得太小否则正常的训练过程也会被误判为超时。减少仿真时间如果只是验证DMA的基本功能可以把链路训练的仿真时间缩短直接跳到L0状态。Xilinx的Example Design里有一个skip_link_training的选项勾上之后仿真会直接进入L0省去链路训练的时间。使用波形分组XSim的波形窗口支持分组把相关的信号放在一组里比如LTSSM的状态信号放一组TLP包的信号放一组AXI接口的信号放一组。这样看波形的时候不用来回滚动效率高很多。保存仿真状态如果仿真跑到一半需要修改Testbench可以把仿真状态保存下来下次直接从保存点开始跑不用从头再来。XSim支持save和restore命令这个功能在调试的时候非常有用。4.5 常见问题速查表问题现象可能原因排查方法LTSSM卡在Detect差分信号连接错误检查tx/rx连接LTSSM卡在PollingTS1/TS2不匹配检查两端配置参数LTSSM卡在Configuration链路宽度/速率不匹配检查Lane Width和SpeedVendor ID读回0xFFFF配置空间时钟/复位异常检查cfg_clk和cfg_rstBAR读回0BAR配置错误检查BAR大小和类型DMA不启动控制寄存器未配置检查启动位和通道选择DMA传输错误描述符内容错误检查源/目的地址和长度中断不触发MSI-X向量表错误检查向量数量和地址实操心得仿真的时候一定要有耐心XDMA的仿真不是跑一遍就能过的。我自己的经验是第一遍跑通链路训练第二遍跑通枚举第三遍跑通DMA每一遍都会发现新的问题。把每次遇到的问题和解决方法记录下来形成自己的排查手册下次再遇到类似问题就能快速定位。5. 从仿真到上板的衔接要点5.1 仿真验证通过后的检查清单仿真跑通了不代表上板就能用中间还有一些衔接工作要做。我一般会在上板之前过一遍检查清单确认仿真里验证过的内容在硬件上也能正常工作。检查清单包括链路训练的LTSSM状态跳转是否和仿真一致配置空间的枚举结果是否和仿真一致DMA的传输带宽是否达到预期中断是否正常触发以及复位和时钟的约束是否正确。特别是时钟约束仿真里时钟是理想的硬件上有时钟抖动和偏斜。PCIe的参考时钟要求比较高抖动不能超过规范。上板之前要用示波器或者频谱仪测一下参考时钟的质量确保满足要求。5.2 仿真与硬件的差异点仿真和硬件最大的差异在于物理层的模拟。仿真里差分信号是理想的没有损耗、没有噪声、没有码间干扰。硬件上这些因素都会影响链路训练的成功率。另一个差异是时序。仿真里的时序是理想的硬件上有时序违例的风险。XDMA的AXI接口和PCIe接口都有时序要求上板之前要跑一遍时序分析确保没有违例。还有一个差异是复位。仿真里的复位是干净的硬件上复位信号可能有毛刺。XDMA的复位要求比较严格上板之前要确保复位信号的完整性。5.3 上板调试的实用建议上板调试的时候ILA是你的好朋友。把LTSSM的状态信号、TLP包的信号、DMA的控制信号都接到ILA上实时观察。如果链路训练失败ILA能告诉你卡在哪个状态。如果DMA传输失败ILA能告诉你描述符的内容和AXI接口的握手情况。另外Vivado的Hardware Manager里有一个PCIe的调试工具可以查看链路的状态、配置空间的内容、以及DMA的统计信息。这个工具在上板调试的时候非常有用建议多用。最后上板调试要有耐心。PCIe的问题往往不是一眼就能看出来的需要反复试验和排查。我自己的经验是每次上板调试都准备好几天的时间不要指望一次就能成功。把仿真里积累的经验用到上板调试上能少走很多弯路。5.4 后续扩展方向XDMA的仿真跑通之后可以往几个方向扩展。一是多通道DMA验证多个DMA通道同时工作时的仲裁和带宽分配。二是Scatter-Gather DMA验证描述符链的读写和中断处理。三是MSI-X中断验证多个中断向量的触发和处理。四是PCIe的电源管理验证L1和L2低功耗状态的进入和退出。这些扩展方向在仿真里都可以验证而且验证通过之后上板的成功率会大大提高。我个人的习惯是每个扩展方向都单独建一个仿真工程验证通过后再集成到一起。这样出了问题容易定位不会互相干扰。最后分享一个小技巧XDMA的仿真工程可以保存成模板下次做新项目的时候直接复制过来改改配置参数就能用。这样能省下大量搭建环境的时间把精力集中在业务逻辑的验证上。我自己的模板里包含了链路训练、枚举、DMA读写、中断处理这几个基本的测试用例新项目直接套用效率很高。