AI内存瓶颈(下):DRAM与HBM

DRAM发展趋势

DDR、LPDDR、GDDR以及HBM都在各自的细分领域扮演着重要的角色,我们接下来看看这些DRAM的迭代路径以及发展趋势。

我们可以通过测算GPU和AI服务器出货量来估算HBM的使用量和市场空间,根据中原证券测算,HBM目前占DRAM总市场规模比重还不到20%,但受益于AI服务器需求提升,预计2024和2025年将从去年的76亿美元分别达到151亿和238亿美元,量价齐升。

上一篇文章《AI内存瓶颈(上):3D NAND路线图》中我们对数据存储进行了梳理,并重点介绍了ROM中的3D NAND技术原理与市场情况。存储芯片市场中,基于闪存Flash技术的NAND是主要外部存储器,而DRAM是主要的内部存储器,二者共同占据整个半导体存储市场超过97%的份额,也在各自的领域扮演着相当重要的角色。上一篇我们梳理了NAND,本篇接着梳理内存芯片DRAM。

在AI推动的算力需求爆发中,GPU无疑是算力体系中最核心、受到关注最多、销量增长最快的细分赛道。不过想要使GPU能高效的工作,电脑/服务器整体的效率也要提上来,这其中最重要的配套产品恐怕就是内存了,而HBM技术由于其高带宽、低功耗、大容量的特点便成为了GPU的好兄弟。本篇首先介绍DRAM内存芯片的主要分类和原理,然后梳理DRAM产品尤其是HBM的迭代过程和发展趋势,再介绍产业链和市场情况,最后总结国内相关企业。

DRAM原理+分类

RAM是半导体存储器中的易失性存储器,需要电源来维持存储的信息,由于它可以直接访问任意存储单元而也被叫为随机访问(Random Access Memory)。RAM又分为SRAM和DRAM,前者用于CPU缓存,后者则用于内存,都属于计算机内部存储器(或是主存储器),与固态硬盘SSD、U盘等外部非易失性存储器相对。SRAM和DRAM容量远低于SSD,但访问速度极快。

SRAM(静态随机存取)使用双稳态的触发器来存储每个位,通常由6个晶体管组成,只要电源不断,数据就会保持不变。SRAM由于它不需要刷新的特性而提供极快的访问速度,因此被用作CPU缓存。不过,SRAM产品在整个存储市场中的份额很少,因此我们重点关注份额超过50%的DRAM产品。

DRAM(动态随机存取)的原理和SRAM不同,它的基本存储单元由一个晶体管(Transistor)和一个电容器(Capacitor)构成,也被称为1T1C。晶体管作为开关控制是否允许电荷的流入或流出,电容器则用来存储电荷。当电容器充满电后表示1,未充电时则存储0。

从结构上看,和2D NAND类似,DRAM是一个二维阵列,一整行晶体管的控制栅由一条字线(Wordline)相连,一整列的晶体管由位线(Bitline)相连。晶体管通过地址线被激活,允许对应的电容通过数据线读取或改变电荷状态。

以下图为例,在一个由多个1T1C单元(一个晶体管和一个电容)组成的DRAM阵列中,每个阵列被称为一个库(Bank),而一个芯片(Die)可以包含多个这样的Bank。为了定位存储单元,计算机使用一个31位的地址线:其中前5位用于选择具体的Bank,接下来的16位用于激活指定的行(Row),最后的10位则用于同时激活8个列(Column)

这样的设计使得在一次操作中可以选定一个特定行,并同时访问多个列。DRAM之所以称为“动态”随机存取存储器,是因为它存储的电荷会随时间泄漏,因此需要定期进行电荷的刷新以维持数据的完整性。

DRAM可以按用途分为标准DDR、移动DDR和图形DDR三种,他们的底层DRAM单元相同,但整体上有不同架构。DDR全名为双倍数据率同步动态随机存取存储器(Double Data Rate SDRAM),可以在每个时钟周期的上升沿和下降沿都能传输数据,从而提高数据传输率,主要用于服务器和电脑。

移动DDR使用LPDDR标准(Low Power DDR),专为移动设备如手机和汽车设计,具有较低功耗的特性。图形DDR全名为GDDR(Graphics DDR),专为图形和AI加速计算设计,支持高带宽、高速率的数据传输,适用于处理大量图形。此外,HBM也属于图形DDR。

在具体应用层面,DDR和LPDDR主要面向CPU,而GDDR和HBM则大量应用于GPU显存。由于HBM出色的大容量、高带宽和低功耗等优势,当前主流AI训练卡都搭载采用HBM技术的显存,而GDDR则因其成本优势更有性价比被更多用于AI推理卡。

前面所描述过的结构是一个DRAM芯片的内部,也就是一个Die,一个DDR模组上包含多个Die。DDR模组通过DIMM(双列直插式内存模块Dual line memory module)的形式组织,封装好的DRAM被安装在小型PCB电路板上,可以直接插入主板上的DIMM插槽,再通过主板 PCB和处理器通信。

对于LPDDR和GDDR,封装好的芯片也是直接安装在主板PCB 上。与之相对的是HBM,将多个Die垂直堆叠并通过TSV(Through Silicon Via,硅通孔)互连,封装好的HBM通过CoWoS先进封装技术中的中介层与处理器通信,因此也被称为on Interposer。

最后我们来说三个内存关键参数:

首先是带宽,它代表处理器可以从内存中读取数据或将数据存储到内存中的速率,用于衡量吞吐量,以GB/s为单位。内存带宽(MB/s)=数据总线位宽(Bytes)×每秒数据传输次数(MT/s),位宽(Bit Width)指的是计算机体系结构中一次性能处理的数据位数,比如32位处理器一次可以处理32位(4字节)的数据,而64位处理器可以处理64位(8字节)的数据。提高总线位宽可以通过增加内存模块与内存控制器之间数据传输的独立路径数量,也就是通道数。消费级CPU内存接口一般是单通道或双通道,服务器CPU则可以为4通道或8通道,GPU由于并行处理一般配备更多通道。

其次是容量,对于单个处理器来说,内存总容量(GB)=单封装容量密度(GB/DIMM数或颗粒数)×DIMM数或颗粒数,单封装容量密度取决于每个DIMM中可容纳的DRAM Die数量和每个DRAM Die的容量密度。最后还有一个是延迟,指的是发送数据请求到处理器收到数据之间的时间,也就是CPU等待数据的时间,单位为时钟周期或纳秒。

一般来讲,高带宽所带来的高数据吞吐量一般会以牺牲延迟为代价,因此在这两者之间找到平衡很重要。图形处理和AI训练等数据密集场景更倾向于使用高带宽的GDDR和HBM,而需要进行大量随机数据访问和处理的应用则更倾向于DDR。

DRAM发展趋势

DDR、LPDDR、GDDR以及HBM都在各自的细分领域扮演着重要的角色,我们接下来看看这些DRAM的迭代路径以及发展趋势。 

首先来看应用于电脑和服务器CPU的DDR,至今已有二十多年发展历程,产品经历了五次迭代。DDR5是最新一代DDR标准,与DDR4相比提供更高的带宽、更高的效率和更大的容量。预计DDR5市占率将逐步提升,到2026年达到95%,而前代产品会逐步被淘汰。

LPDDR至今也已经历多次升级迭代,目前已来到LPDDR5X,整体方向也是向高传输速率和低功耗演进。虽然LPDDR主要用于手机等移动端,但是英伟达在其数据中心产品Grace CPU选择了LPDDR5X作为内存方案。原因在于需要在大规模AI和HPC工作负载的带宽、能效、容量和成本之间取得最佳平衡,因此成本远低于HBM的LPDDR5X成为了首选,与传统的8通道DDR5设计相比,它拥有更高带宽和功率效率。

根据广发证券测算,采用了英特尔Xeon Platinum 8480C CPU的英伟达DGX H100服务器和采用了Grace CPU的GH200芯片相比下,使用LPDDR5X的带宽更高。

GDDR搭配GPU使用,主要用于数据中心加速和AI等需要高带宽处理的场景。目前最新一代GDDR为GDDR6,此外HBM作为GDDR的一个变种,因为其性能更好,越来越多被应用于数据中心GPU和ASIC,用于AI加速计算。

下面我们来看HBM,全称为高带宽内存(High Bandwidth Memory)

为什么需要HBM,这还得从“内存墙”说起。我们知道,计算机遵循冯诺伊曼架构,存储器和处理器相互独立、通过总线连接。处理器运算时会在不同层级间调取数据,从最外部的磁盘到内部的DRAM,再到缓存SRAM,因此数据需要在多级存储之间搬运,速度慢且能耗大。

同时,存储芯片的制程最先进仍在10-15nm左右,而最先进的处理器已经来到3nm,这便是内存墙,也就是说处理器性能很快但数据读取和传输的速度跟不上,CPU和GPU总是在饥饿状态,这也会造成系统效率低下。

对于AI大模型训练来说,大量并行数据处理要求高算力和大带宽,算力越强、每秒处理数据的速度越快,而带宽越大、每秒可访问的数据越多,算力强弱主要由GPU决定,带宽则由存储器决定。

因此,大模型算力的限制不仅仅来自GPU,还需要相匹配的存力。为了解决这个问题,人们发明了存算一体架构,将计算和存储融合来解决内存墙。存算一体可分为三种:近存计算(PNM)、存内处理(PIM)、存内计算(CIM)

近存计算PNM指的是通过芯片封装和板卡组装的方式,将存储和计算单元集成,可分为存储上移以及计算下移。存储上移是指采用先进封装技术将存储器向处理器靠近,增加计算和存储间的链路数量,增加带宽,我们所说的HBM就属于这种。计算下移是利用板卡集成技术,在存储设备引入计算引擎。

存内处理PIM是将存储和计算单元集成在同一颗Die 上,使得存储器本身具备一定计算能力,如此一来“存”与“算”之间的距离更为紧密。典型的存内处理产品是HBM-PIM,它每个存储块内都包含一个内部处理单元。

存内处理技术可应用于多种场景,包括语音识别、数据库索引搜索、基因匹配等。存内计算CIM才是真正意义上实现了同一个晶体管同时具备存储和计算能力,典型产品为存内计算(IMC,In-memory Computing)芯片。HBM与PNM和PIM相比具有更成熟的实现技术与成本优势,因此成为存内计算的主要发展方向。

和NAND存储器以及处理器类似,内存DRAM芯片的性能提升一直以来同样依赖于摩尔定律。DRAM中的制程使用1x(16-19nm)、1y(14-16nm)、1z(12-14nm)等字母表示,另外三星、海力士使用 1a(约13nm)、1b(10-12nm)、1c(约 10nm),对应美光1α、1β、 1γ。

DRAM 制程工艺大约每两年迭代一次,在 2016-2017年进入1x(16-19nm)阶段,2018-2019年为 1y(14-16nm),2020年处于1z(12-14nm)时代。2021年1 月,美光宣布量产1α制程,2022年美光又推出全球最先进的1β,到 2030年,1d(1δ)、0a(0α)和 0b(0β)等设计进一步缩小的几代DRAM将量产。

然而,进一步缩减制程需要依赖光刻机,难度越来越大且电容器间的干扰随距离缩短影响越来越大。我们知道NAND已经转向3D堆叠,不再受限于微缩制程,HBM的原理也类似,只不过HBM不是在芯片内部堆叠,而是由多张DRAM芯片堆叠在一起,随后再通过先进封装技术和GPU封装在一起。

HBM通过硅通孔(TSV)和微凸点(micro-bumps)技术实现层与层之间的密集连接,这样每个存储层都能与相邻的处理器或其他层高速通信,从而实现极高的带宽。这么多层的DRAM最终通过中介层(Interposer)与GPU互联,多个HBM(英伟达最新B200采用8个HBM)与单张GPU再通过基板(Substrate)封装在一起,实现高带宽、低功耗和大容量。

因此,HBM并不是改变了芯片内部结构,更多的是属于半导体封装技术。经过了十年左右的发展,HBM也经历了数次迭代,目前为HBM3e,堆叠层数已经达到12层,并预计将应用于未来两年英伟达的Blackwell系列GPU和可能会出现的下一代R100上。

当前三大存储原厂均在规划HBM4的研发和投产,HBM4预计2026年推出,目前未确定其标准,普遍预期 HBM4 最高16层堆叠,2048bit 总线位宽。我们分别来看看这三家的情况:

SK海力士:2013年与AMD合作开发了全球首款HBM,并持续研发HBM2、HBM2E、HBM3、HBM3E。海力士计划在2024H1量产HBM3E 。2026年计划推出第六代HBM4。

三星:2016年推出HBM2,2020年HBM2E,2021年推出HBM- PIM,其 HBM3于2022年量产,2024年发布首款HBM3E。目前三星已向客户提供HBM3E 12H样品,预计于24H2开始大规模量产。

美光:跳过第四代HBM3,直接布局第五代HBM3E。2023年9月推出HBM3E,并于2024年2月宣布已开始批量生产HBM3E。其中24GB 8-High HBM3E将成为英伟达H200的一部分(该GPU将于 2024年第二季度开始发货)。美光预计将在2026年至2027年间推出容量为36GB至48GB的12层和 16层HBM4。2028年将推出HBM4E。整体上美光在HBM的份额还比较小。

我们可以通过测算GPU和AI服务器出货量来估算HBM的使用量和市场空间,根据中原证券测算,HBM目前占DRAM总市场规模比重还不到20%,但受益于AI服务器需求提升,预计2024和2025年将从去年的76亿美元分别达到151亿和238亿美元,量价齐升。

产业链

说完了HBM的原理和迭代路径后,接下来我们再说说产业链。

和NAND一样,DRAM芯片也需要和相应的内存接口芯片一起做成模组后出货,因此主要以颗粒和模组的形式出货,DRAM颗粒主要应用在手机等,DRAM模组主要应用于PC、服务器上,也称为内存条。我们前文提到过的DIMM就是用于服务器的内存条,台式机内存条主要类型为UDIMM,笔记本电脑内存条主要类型为SODIMM,服务器内存条主要类型为RDIMM和LRDIMM。

DRAM存储器属于半导体产品,也采用IDM和Fabless模式,但比CPU和GPU那种要更集中。

海力士、三星和美光是三大晶圆厂,采用IDM模式,从设计到生产都由自己完成。不过这三家的模组产品更多是标准化的,但不同终端应用对存储功能的需求不同,不同应用场景所需要的功能可通过模组实现,在此背景下产生了第三方模组供应商。

IDM厂商利用其晶圆制造优势销售自有品牌存储器模组,此外,它们还将存储晶圆出售给第三方模组供应商,第三方模组供应商通过封装存储颗粒,并将存储模组出售给终端客户。

根据富国银行的数据,三大原厂在整个DRAM市场中三星份额最高达到40%,美光和海力士平分剩下的60%。在HBM细分领域,海力士占比高达55.4%,而美光仅有3.4%。从HBM占营收比重来看,最受益的依然是海力士达到20.6%。

实际上,海力士是最早开发HBM的,早在2013年就和AMD共同研发推出HBM。美光则是因为错误判断了技术路线,大量投资于HMC,直到2018年才转向HBM,不过目前美光的HBM3E产品已应用于英伟达H200。

在第三方内存条市场上,金士顿一家独大占比达到78.7%,国内厂商有嘉合劲威、金泰克、记忆科技。

最后我们来简单梳理下存储方面国内企业的布局情况,其中最主要的是长江存储和合肥长鑫,前者布局NAND后者布局DRAM。Fab方面北京君正在DRAM和NAND方面都有布局,兆易创新主要布局了NOR产品。此外,存储模组方面还有江波龙、德明利、朗科科技和佰维存储。

参考资料:

兴业证券03/2024–HBM–AI 算力核心载体,产业链迎发展良机

中泰证券03/2024– AI 系列之 HBM:AI 硬件核心,需求爆发增长

中原证券11/2023–存储器——让数字世界拥有记忆

广发证券04/2024– HBM 何以成为 AI 芯片核心升级点?全面理解 AI 存储路线图

富国银行03/2024– A Deep Dive Into Next-Gen Data Center DRAM

银河证券03/2024–存储行业景气度拐点已至,AI/国产化/需求复苏带来新周期

本文来自微信公众号:投研实习生(ID:gh_9b44556890f4),作者:Henryhr

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年5月21日 10:10
下一篇 2024年5月21日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日