深度解析三星內存處理技術（PIM）

在2023年的Hot Chips大會上，三星介紹了內存處理技術（PIM），并介紹了新的研究和發(fā)展成果，三星將這項技術放在了人工智能的背景下進行了展示。

●? CPU計算-提高速度

在Hot Chips 2023上，三星展示了內存技術，內存的主要成本是將數(shù)據(jù)從各種存儲和內存位置傳輸?shù)綄嶋H的計算引擎。

三星正在嘗試為不同類型的內存添加更多通道或通路，但這種方法存在一定的局限性。

正在研究CXL技術非常有幫助，允許重新配置PCIe線路的用途，提供更大的內存帶寬。

GPT的瓶頸問題，主要圍繞計算溢出和內存限制工作負載進行了分析。

主要目標：ChatGPT中使用的Transformer模型，GPT-3中的線性層，以及多頭注意力（MHA）和前饋網(wǎng)絡（FFN）中的線性層。

關注生成階段中的內存瓶頸 - 由于其內存限制和順序特性，生成階段在GPU上表現(xiàn)出較差的性能。

GPT的工作負載包括摘要生成（計算密集型）和文本生成（內存密集型）部分。GEMV（Generalized Matrix-Vector Multiplication）部分可能占據(jù)總生成延遲的60-80%，這正是PIM/PNM的優(yōu)化目標。

接下來的分析側重于利用率和執(zhí)行時間等方面的工作，大部分執(zhí)行時間都用于從主機CPU內存到GPU內存的內存復制操作。與GEMV（Generation階段的Generalized Matrix-Vector Multiplication）相比，執(zhí)行GEMV操作的利用率非常低。隨著輸出標記數(shù)的增加，GEMV操作在推理時間中占據(jù)主導地位。

三星展示了如何將部分計算管道卸載到內存處理（PIM）模塊上。這種處理方式可以節(jié)省數(shù)據(jù)傳輸?shù)紺PU或xPU的成本，降低功耗。GPT的生成階段需要高容量和高帶寬的內存。多頭自注意力（MHA）和前饋網(wǎng)絡（FFN）可以完全卸載到PIM/PNM上，充分利用PIM/PNM提供的全部帶寬。PIM/PNM可以顯著減少推理過程中花費的時間和能源。