12.2. DLA Supported Layers

本節列出了 DLA 支持的層以及與每個層相關的約束。

在 DLA 上運行時的一般限制（適用于所有層）

支持的最大批量大小為 4096。

DLA 不支持動態尺寸。因此，對于通配符維度，配置文件的min 、 max和opt值必須相等。

如果違反了任何限制，并且啟用了GpuFallback， TensorRT可以將DLA網絡分成多個部分。否則，TensorRT會發出錯誤并返回。更多信息，請參考GPU回退模式。

由于硬件和軟件內存限制，最多可以同時使用四個 DLA 可加載項。

注意： DLA 的批量大小是除CHW維度之外的所有索引維度的乘積。例如，如果輸入維度為NPQRS ，則有效批量大小為N*P 。

層特定限制

卷積層和全連接層

僅支持兩個空間維度操作。

支持 FP16 和 INT8。

內核大小的每個維度都必須在［1， 32］范圍內。

填充（Padding）必須在［0， 31］范圍內。

填充的維度必須小于相應的內核維度。

步幅的尺寸必須在［1， 8］范圍內。

輸出映射的數量必須在［1， 8192］范圍內。

對于使用格式TensorFormat：：kLINEAR 、 TensorFormat：：kCHW16和TensorFormat：：kCHW32的操作，組數必須在［1， 8192］范圍內。

對于使用格式TensorFormat：：kCHW4的操作，組數必須在［1， 4］范圍內。

空洞卷積（Dilated convolution ）必須在［1， 32］范圍內。

如果 CBUF 大小要求wtBanksForOneKernel + minDataBanks超過numConvBufBankAllotted限制16 ，則不支持操作，其中 CBUF 是在對輸入權重和激活進行操作之前存儲輸入權重和激活的內部卷積緩存， wtBanksForOneKernel是一個內核存儲最小權重/卷積所需的核元素， minDataBanks是存儲卷積所需的最小激活數據的最小庫。偽代碼細節如下：

wtBanksForOneKernel = uint32(ceil(roundUp(inputDims_c * kernelSize_h * kernelSize_w * (INT8 ? 1 : 2), 128) / 32768.0))

minDataBanks = uint32(ceil(float(entriesPerDataSlice * dilatedKernelHt) / 256.0)) where entriesPerDataSlice = uint32(ceil(ceil(inputDims_c * (INT8 ? 1 : 2) / 32.0) * inputDims_w / 4.0)) and dilatedKernelHt = (kernelSize_h - 1) * dilation_h + 1

FAIL if wtBanksForOneKernel + minDataBanks > 16, PASS otherwise.

反卷積層

僅支持兩個空間維度操作。

支持 FP16 和 INT8。

除了1x［64， 96， 128］和［64， 96， 128］x1之外，內核的尺寸必須在［1， 32］范圍內。

TensorRT 在 DLA 上禁用了反卷積平方內核并在［23 - 32］范圍內跨步，因為它們顯著減慢了編譯速度。

填充（Padding）必須為0 。

分組反卷積必須為1 。

擴張反卷積必須為1 。

輸入通道數必須在［1， 8192］范圍內。

輸出通道數必須在［1， 8192］范圍內。

池化層

僅支持兩個空間維度操作。

支持 FP16 和 INT8。

支持的操作： kMAX ， kAVERAGE 。

窗口的尺寸必須在［1， 8］范圍內。

填充的尺寸必須在［0， 7］范圍內。

步幅的尺寸必須在［1， 16］范圍內。

使用 INT8 模式，輸入和輸出張量標度必須相同。

激活層

僅支持兩個空間維度操作。

支持 FP16 和 INT8。

支持的函數： ReLU 、 Sigmoid 、 TanH 、 Clipped ReLU和Leaky ReLU 。

ReLU不支持負斜率。

Clipped ReLU僅支持［1， 127］范圍內的值。

TanH ， Sigmoid INT8 支持通過自動升級到 FP16 來支持。

參數 ReLU 層

斜率輸入必須是構建時間常數。

ElementWise 層

僅支持兩個空間維度操作。

支持 FP16 和 INT8。

支持的操作： Sum 、 Sub 、 Product 、 Max和Min 。

注意：在 Xavier 上，TensorRT 將 DLA Scale 層和 DLA ElementWise 層與操作Sum連接以支持Sub操作，單個 Xavier DLA ElementWise 層不支持。

Scale層

僅支持兩個空間維度操作。

支持 FP16 和 INT8。

支持的模式： Uniform 、 Per-Channel和ElementWise 。

僅支持縮放和移位操作。

LRN（局部響應歸一化）層

允許的窗口大小為3 、 5 、 7或9 。

支持的規范化區域是ACROSS_CHANNELS 。

LRN INT8。

連接層

DLA 僅支持沿通道軸連接。

Concat 必須至少有兩個輸入。

所有輸入必須具有相同的空間維度。

對于 INT8 模式，所有輸入的動態范圍必須相同。

對于 INT8 模式，輸出的動態范圍必須等于每個輸入。

Resize層

刻度的數量必須正好是4 。

scale 中的前兩個元素必須正好為1 （對于未更改的批次和通道尺寸）。

scale 中的最后兩個元素，分別表示沿高度和寬度維度的比例值，在最近鄰模式下需要為［1， 32］范圍內的整數值，在雙線性模式下需要為［1， 4］范圍內的整數值。

Unary 層

僅支持 ABS 操作。

Softmax 層

僅支持 NVIDIA Orin?，不支持 Xavier?。

僅支持批量大小為 1 的單個輸入。

輸入的非批量、非軸維度都應該是大小 1。例如，對于軸 = 1 的 softmax（即在 C 維度上），H 和 W 維度的大小都應該是 1。

注意：當使用 TensorRT 在 DLA 上運行 INT8 網絡時，建議將操作添加到同一子圖中，以通過允許它們融合并為中間結果保留更高的精度來減少在 DLA 上運行的網絡的子圖上的量化誤差。通過將張量設置為網絡輸出張量來拆分子圖以檢查中間結果可能會由于禁用這些優化而導致不同級別的量化誤差。

12.3. GPU Fallback Mode

如果被標記為在DLA上運行的層不能在DLA上運行，則GPUFallbackMode設置生成器使用GPU。

由于以下原因，層無法在 DLA 上運行：

DLA 不支持層操作。

指定的參數超出了 DLA 支持的范圍。

給定的批量大小超過了允許的最大 DLA 批量大小。有關詳細信息，請參閱DLA 支持的層。

網絡中的層組合導致內部狀態超過 DLA 能夠支持的狀態。

平臺上沒有可用的 DLA 引擎。

如果GPUFallbackMode設置為false ，則設置為在 DLA 上執行但無法在 DLA 上運行的層會導致錯誤。但是，將GPUFallbackMode設置為true后，它會在報告警告后繼續在 GPU 上執行。

同樣，如果defaultDeviceType設置為DeviceType：：kDLA并且GPUFallbackMode設置為false ，則如果任何層無法在 DLA 上運行，則會導致錯誤。將GPUFallbackMode設置為true時，它會報告警告并繼續在 GPU 上執行。

如果網絡中的層組合無法在 DLA 上運行，則組合中的所有層都在 GPU 上執行。

12.4. I/O Formats on DLA

DLA 支持設備獨有的格式，并且由于矢量寬度字節要求而對其布局有限制。

對于 DLA 輸入，支持 kDLA_LINEAR （ FP16 ， INT8 ）、 kDLA_HWC4 （ FP16 ， INT8 ）、 kCHW16 （ FP16 ） 和kCHW32 （ INT8 ）。對于 DLA 輸出，僅支持 kDLA_LINEAR （ FP16 ， INT8 ）、 kCHW16 （ FP16 ） 和kCHW32 （ INT8 ）。對于kCHW16和kCHW32格式，如果C不是整數倍，則必須將其填充到下一個 32 字節邊界。

對于kDLA_LINEAR格式，沿W維度的步幅必須最多填充 64 個字節。內存格式等效于維度為［N］［C］［H］［roundUp（W， 64/elementSize）］的C數組，其中FP16的elementSize為 2， Int8為 1 ，張量坐標為（n， c， h， w）映射到數組下標［n］［c］［h］［w］ 。

對于kDLA_HWC4格式，沿W維度的步幅必須是 Xavier 上 32 字節和 Orin 上 64 字節的倍數。

當C == 1時，TensorRT 將格式映射到本機灰度圖像格式。

當C == 3或C == 4時，它映射到本機彩色圖像格式。如果C == 3 ，沿W軸步進的步幅需要填充為 4 個元素。在這種情況下，填充通道位于第 4 個索引處。理想情況下，填充值無關緊要，因為權重中的第 4 個通道被 DLA 編譯器填充為零；但是，應用程序分配四個通道的零填充緩沖區并填充三個有效通道是安全的。

當C為{1， 3， 4}時，填充后的 C‘分別為{1， 4， 4} ，內存布局等價于維度為［N］［H］［roundUp（W， 32/C’/elementSize）］［C‘］的C數組， 其中elementSize對于FP16為 2，對于Int8為 1 。張量坐標（n， c， h， w）映射到數組下標［n］［h］［w］［c］ ， roundUp計算大于或等于W的64/elementSize的最小倍數。

使用kDLA_HWC4作為 DLA 輸入格式時，有以下要求：

C必須是1 、 3或4

第一層必須是卷積。

卷積參數必須滿足 DLA 要求，請參閱DLA Supported Layers 。

當EngineCapability為EngineCapability：：kSTANDARD且 TensorRT 無法為給定的輸入/輸出格式生成無重構網絡時，可以自動將不支持的 DLA 格式轉換為支持的 DLA 格式。例如，如果連接到網絡輸入或輸出的層不能在 DLA 上運行，或者如果網絡不滿足其他 DLA 要求，則插入重新格式化操作以滿足約束。在所有情況下，TensorRT 期望數據格式化的步幅都可以通過查詢IExecutionContext：：getStrides來獲得。

12.5. DLA Standalone Mode

如果您使用單獨的 DLA 運行時組件，則可以使用EngineCapability：：kDLA_STANDALONE生成 DLA 可加載項。請參閱相關 DLA 運行時組件的文檔以了解如何使用可加載項。

當使用kDLA_STANDALONE時，TensorRT 為給定的輸入/輸出格式生成一個無重新格式化的網絡。對于 DLA 輸入，支持 kLINEAR （ FP16 ， INT8 ）、 kCHW4 （ FP16 ， INT8 ）、 kCHW16 （ FP16 ） 和kCHW32 （ INT8 ）。而對于 DLA 輸出，僅支持 kLINEAR （ FP16 ， INT8 ）、 kCHW16 （ FP16 ） 和kCHW32 （ INT8 ）。對于kCHW16和kCHW32格式，建議C通道數等于向量大小的正整數倍。如果C不是整數倍，則必須將其填充到下一個 32 字節邊界。

12.6. Customizing DLA Memory Pools

您可以自定義分配給網絡中每個可加載的 DLA 的內存池的大小。共有三種類型的 DLA 內存池（有關每個池的描述，請參見枚舉類 MemoryPoolType ）：

Managed SRAM

Local DRAM

Global DRAM

對于每種池類型，使用 API IBuilderConfig：：setMemoryPoolLimit和IBuilderConfig：：getMemoryPoolLimit來設置和查詢相關池的大小，以便為每個可加載的 DLA 分配更大的內存池。每個可加載的實際需要的內存量可能小于池大小，在這種情況下將分配較小的量。池大小僅用作上限。

請注意，所有 DLA 內存池都需要大小為 2 的冪，最小為 4 KiB。違反此要求會導致 DLA 可加載編譯失敗。

Managed SRAM 與其他 DRAM 池的區別主要在于角色的不同。以下是Managed SRAM 的一些值得注意的方面：

它類似于緩存，因為資源稀缺，DLA 可以通過回退到本地 DRAM 來運行而無需它。

任何分配往往都會被充分利用。因此，報告的 SRAM 通常與分配的 SRAM 池的數量相同（在某些情況下可能與用戶指定的大小不同）。

由于類似于緩存的性質，DLA 在 SRAM 不足時會回退到 DRAM，而不是失敗。因此，如果可以負擔得起，即使在成功的引擎構建之后也嘗試增加 SRAM 的數量，以查看推理速度是否有任何提升。這尤其適用于卸載許多子圖的網絡。

Orin 和 Xavier 在每個內核可用的最大 SRAM 數量方面存在差異：Xavier 在 4 個內核（包括 2 個 DLA 內核）中提供總共 4 MiB 的 SRAM，而 Orin 為每個 DLA 內核專用 1 MiB SRAM。這意味著當在一個設備上運行多個網絡時，Xavier 需要明確控制總體 SRAM 消耗，而 Orin 在這方面不必擔心。

在多子圖情況下，重要的是要記住池大小適用于每個 DLA 子圖，而不是整個網絡。

關于作者

Ken He 是 NVIDIA 企業級開發者社區經理 & 高級講師，擁有多年的 GPU 和人工智能開發經驗。自 2017 年加入 NVIDIA 開發者社區以來，完成過上百場培訓，幫助上萬個開發者了解人工智能和 GPU 編程開發。在計算機視覺，高性能計算領域完成過多個獨立項目。并且，在機器人和無人機領域，有過豐富的研發經驗。對于圖像識別，目標的檢測與跟蹤完成過多種解決方案。曾經參與 GPU 版氣象模式GRAPES，是其主要研發者。

審核編輯：郭婷