自研Xilinx高性能PCIe多通道DMA控制器
1 介绍
基于PCI Express Integrated Block，Multi-Channel PCIe QDMA Subsystem实现了使用DMA地址队列的独立多通道、高性能Continous或Scather Gather DMA，提供FIFO/AXI4-Stream用户接口。
基于PCI Express Integrated Block，Multi-Channel PCIe RDMA Subsystem实现了使用DMA Ring缓冲的独立多通道、高性能/超低延时/超低抖动Continous Ring DMA，提供FIFO/AXI4-Stream用户接口。
在自研DMA控制器和自研PCIe驱动的加持下，总体的PCIe-DMA效率高达88%，PCIe 3.0 x16下DMA带宽高达14GB/s，PCIe 3.0 x8下DMA带宽高达7.1GB/s。
联系方式：neteasy163z@163.com
1.1 特性
Ø 支持Ultrascale+，Ultrascale，7 Series的PCI Express Integrated Block
Ø 支持64，128，256，512-bit数据路径
Ø 64-bit源地址，目的地址，和描述符地址
Ø 多达8个独立的host-to-card（H2C/Read）数据通道或H2C DMA
Ø 多达8个独立的card-to-host（C2H/Write）数据通道或C2H DMA
Ø AXI4-Stream/FIFO用户接口（每个通道都有自己的AXI4-Stream/FIFO接口）
Ø 每个DMA引擎支持DMA地址队列，队列深度可达32
Ø 每个DMA引擎支持DMA Ring缓冲，Ring缓冲深度和个数可配置
Ø RDMA的超低延时和超低抖动性
Ø H2C DMA支持视频显示定时时序输入控制
Ø AXI4-Lite Master接口允许PCIe通信绕过DMA引擎
Ø Scather Gather描述符列表支持无限列表大小
Ø 每个描述符的最大传输长度为4GB
Ø MSI中断
Ø 连续描述符的块获取
Ø 中断或查询模式
1.2 应用
本内核体系结构支持广泛的计算和通信目标程序应用，强调性能、成本、可扩展性、功能可扩展性和关键任务可靠性。典型应用包括：
● 数据通信网络
● 电信网络
● 宽带有线和无线应用
● 网络接口卡
● 用于各种应用程序的服务器add-in card
典型应用如下图所示：
图 1 Multi-Channel PCIe QDMA&RDMA Subsystem典型应用：8通道视频采集和视频显示
2 概述
Multi-Channel PCIe QDMA&RDMA Subsystem作为一个高性能DMA数据搬移器，内核通过AXI4-Stream/FIFO接口直接连接RTL逻辑。使用提供的字符驱动程序，AXI4-Stream/FIFO接口可用于PCIe地址空间和AXI地址空间之间的高性能数据搬移。除了基本的DMA功能，DMA支持多达8个独立的upstream和downstream通道，每个通道支持深度为32的DMA地址队列，以及深度和个数可配置的DMA Ring缓冲，另外还允许PCIe通信绕过DMA引擎。
图 2 Multi-Channel PCIe QDMA&RDMA Subsystem概述
2.1 特性概要
基于描述符提供的信息：源地址，目的地址和传输数据长度，Multi-Channel PCIe QDMA&RDMA Subsystem实现Host存储器和PCIe DMA子系统之间的数据搬移。这些DMA可以同时是Host to Card（H2C）和Card to Host（C2H）传输。每个DMA通道对应各自的AX4-Stream/FIFO接口，DMA从Host存储器获取并解析描述符链表，基于描述符链表信息完成自己通道的数据传输，然后使用MSI中断发出描述符完成或错误的信令。内核也提供多达16个输出到Host的用户中断信号。
主机可以通过以下2个接口访问用户逻辑：
Ø AXI4-Lite Master配置接口：这个接口是一个固定的32-bit端口，用于对性能要求不高的用户配置和状态寄存器的访问
Ø User Register：这个接口是多个32-bit向量信号和1-bit信号，这些信号来自对应DMA通道数据搬移过程中产生的控制或状态信号
3 产品规格
结合Integrated Block for PCI Express IP，Multi-Channel PCIe QDMA&RDMA Subsystem为PCIe提供了一个高性能的DMA解决方案。
3.1 性能
Endpoint配置参数：Max Payload Size=256-byte，Max Read Request Size=512-byte
8-Channel PCIe-SGQDMA Subsystem，DMA Transfer Length = 4MB
表1 PCIe 3.0 x16 C2H DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 1690MB/s | 1690MB/s | 1690MB/s | 1690MB/s | 1690MB/s | 1690MB/s | 1690MB/s | 1690MB/s |
表2 PCIe 3.0 x16 H2C DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 1700MB/s | 1700MB/s | 1700MB/s | 1700MB/s | 1700MB/s | 1700MB/s | 1700MB/s | 1700MB/s |
表3 PCIe 3.0 x8 C2H DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s |
表4 PCIe 3.0 x8 H2C DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s | 890MB/s |
表5 PCIe 3.0 x4 C2H DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 440MB/s | 440MB/s | 440MB/s | 440MB/s | 440MB/s | 440MB/s | 440MB/s | 440MB/s |
表6 PCIe 3.0 x4 H2C DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s |
表7 PCIe 2.0 x8 C2H DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s |
表8 PCIe 2.0 x8 H2C DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s | 445MB/s |
表9 PCIe 2.0 x4 C2H DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 220MB/s | 220MB/s | 220MB/s | 220MB/s | 220MB/s | 220MB/s | 220MB/s | 220MB/s |
表10 PCIe 2.0 x4 H2C DMA速率
| DMA0 | DMA1 | DMA2 | DMA3 | DMA4 | DMA5 | DMA6 | DMA7 | |
| 速率 | 225MB/s | 225MB/s | 225MB/s | 225MB/s | 225MB/s | 225MB/s | 225MB/s | 225MB/s |
3.2 资源
8-Channel PCIe-SGQDMA Subsystem
表11 PCIe 3.0 x16 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 46985 | 101938 | 150 | 1 |
表12 PCIe 3.0 x8 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 26647 | 51071 | 84 | 1 |
表13 PCIe 3.0 x4 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 17671 | 35598 | 44 | 1 |
表14 PCIe 2.0 x8 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 25301 | 36973 | 66 | 1 |
表15 PCIe 2.0 x4 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 19807 | 29320 | 98 | 1 |
1-Channel PCIe-CQDMA Subsystem
表16 PCIe 3.0 x8 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 8122 | 19331 | 8 | 1 |
表17 PCIe 2.0 x8 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 7911 | 11771 | 6 | 1 |
表18 PCIe 2.0 x4 DMA Subsystem资源
| LUTs | FFs | BRAMs | PCIe | |
| 资源 | 4747 | 6479 | 21 | 1 |