經(jīng)歷了幾年的高速發(fā)展之后，人工智能（簡稱AI）不再是新鮮的名詞，它已經(jīng)作為一個重要的生產(chǎn)工具，被引入到我們工作和生活的多個領(lǐng)域。但在AI爆發(fā)的背后，隨之而來的是對AI算力需求的暴增。

據(jù)OpenAI的一份報告顯示，從2012年到2019年，人工智能訓練集增長了30萬倍，每3.43個月翻一番，但如果是以摩爾定律的速度，只會有 12 倍的增長。為了滿足AI算力的需求，從業(yè)人員通過設計專用的AI芯片、重配置硬件和算法創(chuàng)新等多方面入手來達成目標。

AI算力需求增長

然而在此過程中，我們除了看到AI對算力的要求以外，內(nèi)存帶寬也是限制AI芯片發(fā)展的另一個關(guān)鍵要素。這就需要從傳統(tǒng)的馮諾依曼架構(gòu)談起。作為當前芯片的主流架構(gòu)，馮諾依曼架構(gòu)的一大特征就是計算和內(nèi)存分離的。那就意味著每進行一次計算，計算單元都要從內(nèi)存中讀取數(shù)據(jù)然后計算，再把計算結(jié)構(gòu)存回到內(nèi)存當中。

經(jīng)典的馮諾依曼架構(gòu)

在過往，這個架構(gòu)的短板并不是很明顯，因為處理器和內(nèi)存的速度都都非常接近。但眾所周知的是，在摩爾定律指導下的處理器在過去幾十年里發(fā)生了翻天覆地的變化，但常用的DRAM方案與之相比，提升幅度不值一提。

再者，在AI時代，數(shù)據(jù)傳輸量越來越大。先進的駕駛員輔助系統(tǒng)（ADAS）為例。第3級及更高級別系統(tǒng)的復雜數(shù)據(jù)處理需要超過200 GB/s的內(nèi)存帶寬。這些高帶寬是復雜的AI/ML算法的基本需求，在道路上自駕過程中這些算法需要快速執(zhí)行大量計算并安全地執(zhí)行實時決策。在第5級，即完全自主駕駛，車輛能夠獨立地對交通標志和信號的動態(tài)環(huán)境作出反應，以及準確地預測汽車、卡車、自行車和行人的移動，將需要巨大的內(nèi)存帶寬。

因此，AI芯片尋找新的內(nèi)存方案迫在眉睫，其中HBM和GDDR SDRAM（簡稱GDDR）就成為了行業(yè)的選擇。

為什么是HBM和GDDR ？

HBM就是High Bandwidth Memory的縮寫，也就是高帶寬內(nèi)存，這是一項在2013年10月被JEDEC采納為業(yè)界標準的內(nèi)存技術(shù)。按照AMD的介紹，這種新型的 CPU/GPU 內(nèi)存芯片（即 “RAM”），就像摩天大廈中的樓層一樣可以垂直堆疊。基于這種設計，信息交換的時間將會縮短。這些堆疊的芯片通過稱為“中介層 (Interposer)”的超快速互聯(lián)方式連接至 CPU 或 GPU。將HBM的堆棧插入到中介層中，放置于 CPU 或 GPU 旁邊，然后將組裝后的模塊連接至電路板。

盡管這些 HBM 堆棧沒有以物理方式與 CPU 或 GPU 集成，但通過中介層緊湊而快速地連接后，HBM 具備的特性幾乎和芯片集成的 RAM 一樣。更重要的是，這些獨特的設計能給

開發(fā)者帶來功耗、性能和尺寸等多個方面的優(yōu)勢。

從第一代HBM與2013年面世后，JEDEC又分別在2016年和2018把HBM2和HBM2E納為行業(yè)標準。據(jù)了解，在HBM2E規(guī)范下，當傳輸速率上升到每管腳3.6Gbps時，HBM2E可以實現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持12個DRAM的堆棧，內(nèi)存容量高達每堆棧24 GB。

具體而言，就是說每一個運行速度高達3.6Gbps的HBM2E堆棧通過1024個數(shù)據(jù)“線”的接口連接到它的相關(guān)處理器。通過命令和地址，線的數(shù)量增加到大約1700條。這遠遠超出了標準PCB所能支持的范圍。因此，硅中介層被采用作為連接內(nèi)存堆棧和處理器的中介。與SoC一樣，精細數(shù)據(jù)走線可以在硅中介層中以蝕刻間隔的方式實現(xiàn)，以獲得HBM接口所需數(shù)量的數(shù)據(jù)線數(shù)。

得益于其巨大內(nèi)存帶寬的能力，使得連接到一個處理器的四塊HBM2E內(nèi)存堆棧將提供超過1.8 TB/s的帶寬。通過3D堆疊內(nèi)存,可以以極小的空間實現(xiàn)高帶寬和高容量需求。進一步，通過保持相對較低的數(shù)據(jù)傳輸速率，并使內(nèi)存靠近處理器，總體系統(tǒng)功率得以維持在較低水位。

根據(jù)Rambus的介紹，HBM2E的性能非常出色，所增加的采用和制造成本可以透過節(jié)省的電路板空間和電力相互的緩解 。在物理空間日益受限的數(shù)據(jù)中心環(huán)境中，HBM2E緊湊的體系結(jié)構(gòu)提供了切實的好處。它的低功率意味著它的熱負荷較低，在這種環(huán)境中，冷卻成本通常是幾個最大的運營成本之一。

正因為如此，HBM2E成為了AI芯片的一個優(yōu)先選擇，這也是英偉達在Tesla A100和谷歌在二代TPU上選擇這個內(nèi)存方案的原因。但如前面所說，因為HBM獨特的設計，其復雜性、成本都高于其他方案，這時候，GDDR就發(fā)揮了重大的作用。

據(jù)了解，圖形DDR SDRAM（GDDR SDRAM）最初是20多年前為游戲和顯卡市場設計的。在這段時間內(nèi)，GDDR經(jīng)歷了幾次重大變革，最新一代GDDR6的數(shù)據(jù)傳輸速率為16Gbps。GDDR6提供了令人印象深刻的帶寬、容量、延遲和功率。它將工作電壓從1.5V降低到1.35V以獲得更高的功率效率，并使GDDR5內(nèi)存的數(shù)據(jù)傳輸速率（16比8 Gbps）和容量（16比8 GB）翻了一番。Rambus已經(jīng)演示了一個運行速度為18 Gbps的GDDR6接口，顯示這種內(nèi)存架構(gòu)還有額外的增長空間。

與HBM2E不同，GDDR6 DRAM采用與生產(chǎn)標準DDR式DRAM的大批量制造和組裝一樣的技術(shù)。更具體地說，GDDR6采用傳統(tǒng)的方法，通過標準PCB將封裝和測試的DRAMs與SoC連接在一起。利用現(xiàn)有的基礎(chǔ)架構(gòu)和流程為系統(tǒng)設計者提供了熟悉度，從而降低了成本和實現(xiàn)的復雜性。

與HBM2E寬而慢的內(nèi)存接口不同，GDDR6接口窄而快。兩個16位寬通道（32條數(shù)據(jù)線）將GDDR6 PHY連接到相關(guān)的SDRAM。GDDR6接口以每針16 Gbps的速度運行，可以提供64 GB/s的帶寬?；氐轿覀冎暗腖3汽車示例，GDDR6內(nèi)存系統(tǒng)以連接四個DRAM設備為例,帶寬可以達到200 GB/s。

采用GDDR6的主要設計挑戰(zhàn)也來自于它最強大的特性之一：速度。在較低的電壓條件，16 Gbps的信號速度下，保持信號完整性需要大量的專業(yè)經(jīng)驗知識。設計人員面臨更緊的時序和電壓裕度量損失，這些損失來源與影響都在迅速增加。系統(tǒng)的接口行為、封裝和電路板需要相互影響,需要采用協(xié)同設計方法來保證系統(tǒng)的信號完整性。

總的來說，GDDR6內(nèi)存的優(yōu)異性能特性建立久經(jīng)考驗的基礎(chǔ)制造過程之上，是人工智能推理的理想內(nèi)存解決方案。其出色的性價比使其適合在廣泛的邊緣網(wǎng)絡和物聯(lián)網(wǎng)終端設備上大量采用。

Rambus將扮演重要角色

從上文的介紹中，我們看到了HBM2E和GDDR 6在AI中的重要作用，而要真正將其落實到AI芯片中，相應的IP供應商將是很關(guān)鍵的一環(huán)，而Rambus將扮演這個重要角色。

據(jù)Rambus大中華區(qū)總經(jīng)理Raymond Su介紹，Rambus成立于上個世紀90年代，是一家領(lǐng)先的Silicon IP和芯片提供商，公司主要致力于讓數(shù)據(jù)傳輸?shù)酶?、更安全。而從產(chǎn)品上看，Rambus的產(chǎn)品主要聚焦于三大塊：分別是基礎(chǔ)架構(gòu)許可、Silicon IP授權(quán)，還有buffer chip芯片業(yè)務。

“得益于這些深厚的積累，我們能提供友商所不具備的差異性服務”，Raymond Su補充說。他指出：

首先，在內(nèi)存IP層面，Rambus提供一站式的采購和“turn key”服務。而公司在去年完成的對全球知名的IP控制器公司Northwest Logic和對Verimatrix安全IP業(yè)務部，可以讓Rambus能夠提供更好的一站式的服務。

“通過這樣的服務，Rambus IP可以很好地幫助客戶盡早地把產(chǎn)品推向市場”，Raymond Su表示。

其次，作為全球領(lǐng)先的HBM IP供應商，Rambus在全球已經(jīng)有50多個成功項目案例，積累了大量的經(jīng)驗；而在DDR5 Buffer Chip（緩沖芯片）方面，Rambus也是全球首發(fā)。這讓他們在DDR5時代有信心改變整個市場。而在AI芯片迫切需要的HBM2E和GDDR 6 IP方面，Rambus也都做好了準備。

從Rambus IP核產(chǎn)品營銷高級總監(jiān)Frank Ferro的介紹我們得知，他們將HBM2E的性能提升到了4Gbps。在他看來，這個速度是一個全新的行業(yè)標桿，而此次Rambus發(fā)布我們?nèi)碌腍BM2E產(chǎn)品也正是實現(xiàn)了這一行業(yè)最高標準。

根據(jù)Rambus發(fā)布的白皮書介紹，他們HBM2E接口完全符合JEDEC JESD235B標準。支持每個數(shù)據(jù)引腳高達3.6 Gbps的數(shù)據(jù)傳輸速率。該接口具有8個獨立的通道，每個通道包含128位，總數(shù)據(jù)寬度為1024位。由此每個堆棧支持的帶寬是461GB/s，每個堆棧由2、4、8或12個DRAMs組成。

作為一個為2.5D系統(tǒng)設計的IP，它有一個用于在3D-DRAM堆棧和SoC上的PHY之間的中介層由提供信號繞線。這種信號密度和堆積尺寸的組合需要特殊的設計考慮。為了便于實施和提高了設計的靈活性，Rambus對整個2.5D系統(tǒng)進行完整的信號和功率完整性分析，以確保所有信號、功率和散熱要求都得到滿足。而在于其他競爭對手相比，Rambus的HBM IP則有著大多數(shù)廠商布局的幾點核心優(yōu)勢：

第一，Rambus提供的是完全集成而且經(jīng)過驗證的PHY以及內(nèi)存控制器IP解決方案，在物理層面實現(xiàn)完整的集成互聯(lián)。除了完整的內(nèi)存子系統(tǒng)之外，他們的PHY也經(jīng)過了硬核化處理，同時也完成了timing closed也就是時序收斂的工作。

“我們給客戶提供的并不僅僅是自己的IP授權(quán)、IP產(chǎn)品，我們也會向客戶提供系統(tǒng)級的全面的集成支持，以及相關(guān)的工具套件，以及我們的技術(shù)服務。同時，我們也可以幫助客戶更加進一步地減少設計實現(xiàn)的難度?！?Frank Ferro補充說。他進一步指出，在發(fā)布了這個IP之后，Rambus將會為人工智能以及機器學習的應用客戶提供更加完整的解決方案，幫助他們進一步地提高帶寬，滿足他們在帶寬上的需求。

第二，Rambus擁有非常強大的HBM生產(chǎn)經(jīng)驗，在這方面，公司已經(jīng)擁有了全球超過50家成功的客戶案例，這在全球是名列前茅的。更重要的一點，Rambus所有合作客戶的芯片從設計到原型再到投產(chǎn)，并不需要任何的設計返工，基本上所有的芯片都會實現(xiàn)一次的成功。這足以體現(xiàn)他們的實力。

第三，Rambus為客戶提供非常完整的參考設計框架，其中最重要的一點就是如何更好地對中介層進行完整的設計和表征化的處理?！耙驗閷τ谥薪閷觼?，講它是PHY層和DRAM層之間溝通的重要環(huán)節(jié)，在這個過程中，因為速度非常快，所以說如何保證信號完整性也是必須要去考慮的?！?Frank Ferro表示。

他進一步指出，Rambus與客戶非常緊密地進行合作，并為他們提供非常完整的參考設計框架，然后幫助他們更好地去設計自己的中介層以及產(chǎn)品的封裝。除此之外，Rambus也幫助客戶做仿真分析，讓他們對自己每個信號的通道進行完整的分析，來實現(xiàn)整個產(chǎn)品的最高性能。

第四，這也是非常重要的一點，那就是Rambus有一套非常重要的工具——Lab Station。借助這個工具，Rambus會與客戶進行合作，讓他們將其HBM2E解決方案直接插入到他們的終端系統(tǒng)當中，來構(gòu)建一個非常獨立的內(nèi)存子系統(tǒng)。

能在HBM2E IP獲得這樣的成就，一方面，Rambus的研發(fā)投入功不可沒；另一方面，他們與SK海力士、AIChip和臺積電多方人員的通力合作，也是他們能提供快速服務的原因之一。例如在SK海力士方面，它為Rambus提供的HBM2E內(nèi)存達到了3.6G的數(shù)據(jù)傳輸速率，而在和合作過程中，兩者又將HBM2E的速率進一步地推進到了4.0 Gbps；AIchip則為Rambus提供了ASIC的相關(guān)解決方案以及產(chǎn)品，幫助其設計了相關(guān)中介層以及封裝；此外，臺積電提供了一個交鑰匙的2.5D Cowos封裝以及解決方案，來更好地為Rambus打造一個晶圓上的基本架構(gòu)。

“我們的解決方案適用于人工智能以及機器學習的訓練，同時也非常適用于高性能計算系統(tǒng)和5G網(wǎng)絡的基礎(chǔ)設施建設”，F(xiàn)rank Ferro最后說。

除了面向AI訓練的HMB2E IP，Rambus還推出了面向AI推理的GDDR 6產(chǎn)品。

據(jù)Rambus的白皮書介紹，公司的GDDR6接口專為性能和功率效率而設計，支持AI/ML和ADAS推理高帶寬與低延遲要求。它由一個經(jīng)共同驗證的PHY和數(shù)字控制器組成，提供一個完整的GDDR6內(nèi)存子系統(tǒng)。Rambus GDDR6接口完全符合JEDEC GDDR6 JESD250標準，每個引腳支持高達16 Gbps。GDDR6接口支持2個通道，每個通道有16位，

總數(shù)據(jù)寬度為32位。Rambus GDDR6接口每針16 Gbps，提供帶寬為64 GB/s。

通過直接與客戶合作，Rambus能提供完整的系統(tǒng)信號和電源完整性（SI/PI）分析，創(chuàng)建優(yōu)化的芯片布線版圖?？蛻羰盏揭粋€硬核解決方案與全套測試軟件可以快速啟動，定性和調(diào)試。

在“內(nèi)存墻”的限制下，為了滿足AI應用的數(shù)據(jù)搬運需求，產(chǎn)業(yè)界正在探索不同的方法來解決問題。例如英國AI芯片初創(chuàng)企業(yè)Graphcore就希望通過分布式內(nèi)存設計的方法解決這個問題。

而Rambus的這兩個方案出現(xiàn)那就給開發(fā)者們提供了在傳統(tǒng)架構(gòu)設計上獲得性能大提升的可能。