存储大厂,卷起了CXL技术

HBM(高带宽存储器)市场有多火?

根据Yole Group的最新分析报告,由于人工智能服务器的需求超过了其他应用,HBM 在整个 DRAM出货量中所占的份额预计将从 2023 年的约 2% 上升到 2029 年的 6%,由于 HBM价格远高于 DDR5,就收入而言,其份额预计将从 2024 年的 140 亿美元攀升至 2029 年的 380 亿美元——而此前该份额已从 2023 年的约 55 亿美元逐年飙升了 150% 以上。

Yole Group表示,内存供应商已经增加了 HBM 晶圆产量,预估产量从 2022 年的每月 44000 片晶圆 (WPM)增加到 2023 年的 74000 WPM,并可能在 2024 年增至 151000 WPM。

在HBM这一蓬勃发展的市场中,虽然只有三个玩家,但竞争之激烈,超出了许多人的想象。简而言之,旱的旱死涝的涝死,排行第一的海力士在技术和市场上遥遥领先,拿走了最多的利润,排名第二的三星正在积极发起进攻,又拿走了一部分,至于第三的美光,由于技术路线的判断失误,市场份额较小,目前还处于一个追赶状态,短期内恐怕很难贡献大额利润。

而最新的新闻也从侧面证明了这种差距。SK海力士在2月确认,自己在过去几个月的HBM销量创下了新纪录,同时带动第四季度实现盈利,并预测产业即将复苏,SK海力士副社长金起台(Kim Ki-tae)指出,生成式AI服务日益多样并持续发展,作为AI存储解决方案的HBM需求也出现爆炸性成长。

更重要的是,他提到今年海力士旗下HBM已经全部售罄,虽然2024年才刚开始,但公司为了保持市场领先地位,已开始为2025年预作准备。‘

2024年刚开始,SK海力士就已经在考虑2025年的HBM市场了,隔壁三星和美光所背负的压力也是巨大,在追赶技术和市场的同时,他们在思考,能否绕开HBM这项技术,从另一个方向去抢占AI市场呢?

此时,CXL(Compute Express Link,一种通用的设备互联技术标准)再度进入到了内存厂商的视线当中。

AI存储新方向?

据报道,为了增强在AI存储芯片领域的竞争力,三星计划在下个月于硅谷举行的MemCon 2024全球半导体会议上展示其对被称为HBM下一代技术的CXL DRAM的技术和愿景。

在 3 月 26 日至 27 日举行的为期两天的活动中,三星执行副总裁韩镇满(Han Jin-man)将致开幕词。此外,该公司执行副总裁将在题为“在 AI 时代引领 HBM 和 CXL 创新,实现高内存带宽和高容量实现”的主题演讲中分享三星的 CXL 技术和愿景。

CXL是何方神圣,能让三星如此重视,将它视作HBM的替代呢?

先来简单介绍下这项技术的来龙去脉吧。CXL(Compute Express Link)技术是一种高速、大容量中央处理器(CPU)到设备以及 CPU 到内存连接的开放标准,专为高性能数据中心计算机而设计。其建立在串行 PCI Express(PCIe)物理和电气接口的基础上,包括基于 PCIe 的块输入/输出协议(CXL.io)以及用于访问系统内存(CXL.cache)和设备内存(CXL.mem)的新高速缓存一致性协议。串行通信和池功能使 CXL 内存在实现高存储容量时能够克服常见DIMM内存的性能和插槽封装限制。它最初由英特尔、AMD和其他公司联合推出,并得到了包括谷歌、微软等公司在内的大量支持。

CXL技术的背景可以追溯到PCIe(Peripheral Component Interconnect Express)技术,PCIe是用于连接计算机内部组件的一种标准接口技术。PCIe设备可以发起一个DMA来访问内存,只要知道目标物理地址即可。在CXL之前就有以IBM牵头的OpenCAPI,ARM为代表支持的CCIX,AMD等支持的GenZ和Nvidia自行提出的Nvlink等等多种协议。虽然PCIe已经有了很多改进,但其难以满足现代计算机处理器和加速器之间的高带宽、低延迟通信需求。于是,CXL技术应运而生。

2019年3月11日,基于PCIe 5.0的CXL 1.0规范发布,其允许主机 CPU使用缓存一致性协议访问加速器设备上的共享内存,改进后的CXL 1.1规范则于 2019 年 6 月发布。

2020年11月10日,CXL 2.0规范发布。新版本增加了对 CXL 交换的支持,以允许将多个 CXL 1.x 和 2.0 设备连接到 CXL 2.0 主机处理器,同时将每个设备汇集到多个主机处理器,采用分布式共享内存和分解存储配置,此外它还实现了设备完整性和数据加密,不过,与 CXL 1.x 相比,带宽没有增加,因为 CXL 2.0 仍然使用 PCIe 5.0 PHY。

2022年8月2日,CXL 3.0规范发布,其基于PCIe 6.0物理接口和双倍带宽的PAM-4编码;新功能包括具有多级交换和每个端口多种设备类型的结构功能,以及增强的点对点 DMA 和内存共享一致。

2023年11月14日,CXL 3.1规范发布,新规范对横向扩展 CXL 进行了额外的结构改进、新的可信执行环境 enhancements 以及对内存扩展器的改进。

从2019年到2023年,CXL经历了高速的发展,其应用涉及服务器端,以及存储产品与解决方案端这两大层面。在过去2年时间里,实际上已经有许多厂商发表CXL相关元件、产品,以及成套解决方案,但有个现实问题制约影响了CXL的发展:由于英特尔、AMD这两家处理器厂商的拖延,导致服务器端迟迟未能实际支持CXL协议,以致无法形成完整CXL应用环境。

直到2022年底到2023年初,终于迎来转机,伴随着AMD发布第四代EPYC(代号Genoa),和英特尔发布第四代Xeon Scalable(代号Sapphire Rapids),新款处理器平台上线终于将CXL带到服务器端,补上了CXL应用环境缺失的环节。

经过数年的发展,目前CXL的生态已经相当完整与丰富。在元件层级的芯片供应商与设计商,有Astera Labs、Cadence、 Marvell、Microchip、Rambus、Synopsys、Montage Technology、Mobiveil、 SmartDV、Xconn等,它们发布了对应的CXL控制器(Controller)、定时器(Retimers)、交换器(Switch)产品。

而系统层级,目前有三星、SK Hynix、美光,Astera Labs,以及台湾的世迈科技(SMART Modular Technologies),推出扩展存储类型的CXL产品。另外,还有Elastics.cloud、IntelliProp、UnifabriX、SK hynix、三星/ H3 Platform、Panmnesia,发布或展示了存储池类型的CXL解决方案。

其中,三星作为CXL联盟的董事,在推广CXL上可谓是不遗余力。

2021年5月11日,三星宣布推出了业界首款支持新的 Compute Express Link(CXL)互连标准的内存模块(基于128 GB DDR5),其表示,这款基于 CXL 的模块与三星的DDR5技术集成,将使服务器系统能够显着扩展内存容量和带宽,从而加速数据中心的人工智能(AI)和高性能计算(HPC)工作负载。

与内存通道有限的传统 DDR 内存不同,三星支持 CXL 的 DDR5 模块可以将内存容量扩展到 TB 级,同时大幅减少内存缓存导致的系统延迟。除了CXL硬件创新之外,三星还整合了多种控制器和软件技术,如内存映射、接口转换和错误管理,这将使CPU或GPU能够识别基于CXL的内存并将其用作主内存。

而在2022年5月10日,三星又发布了CXL 内存模块的512 GB 版本,新款 CXL DRAM 采用专用集成电路(ASIC)CXL 控制器构建,是首款配备 512GB DDR5 DRAM 的产品,与上一代128GB版本相比,内存容量增加了四倍,系统延迟减少了五分之一。

随后,三星还推出了其开源可扩展内存开发套件 (SMDK) 的更新版本。该工具包是一个综合软件包,允许CXL内存扩展器在异构内存系统中无缝工作——使系统开发人员能够将CXL内存整合到运行人工智能、大数据和云应用程序的各种IT系统中,而无需修改现有应用程序环境。

2023年5月12日,三星宣布开发出业界首款支持CXL 2.0 的 128 GB DRAM,新的CXL DRAM支持PCle 5.0接口(x8通道)并提供高达每秒35GB的带宽,其表示,与英特尔的密切合作,最终在英特尔至强平台上实现了这一里程碑式的进步。

值得注意的是,三星所推出的CXL 2.0 DRAM模块,其中搭载了来自中国澜起科技的控制器芯片,澜起科技早在2022年5月就发布全球首款CXL内存扩展控制器芯片(MXC),2023年8月,澜起科技是全球首家进入CXL合规供应商清单(CXL Integrators List)的CXL内存扩展芯片厂家。

2023年12月26日,三星宣布针对开源软件提供商Red Hat的Enterprise Linux 9.3(即 RHEL 9.3)优化了 CXL 内存,并在Red Hat KVM 和 Podman 环境中验证了内存识别、读写操作。其表示,这将使数据中心客户能够使用三星的 CXL 内存,而无需对其现有硬件进行额外调整。

三星在CXL上的持续不断的投入,让它成为了目前CXL内存厂商中的领头羊。

AI的宠儿

三星如此看重CXL,除了在下一代先进标准上占据主动权的心思外,CXL在人工智能上的优势也是它全力以赴的重要原因

近年来,随着数据吞吐量的快速增长,现有计算系统的极限已不堪重负,人工智能数据吞吐量每年增长十倍,而现有计算系统的内存容量不足以处理急剧增长的数据量,HBM解决了带宽问题,但却无法同时解决容量扩展的问题。

目前,一个中央处理器(CPU)最多可容纳 16 块 DRAM(最多 8 TB),这个数字远远小于处理人工智能和机器学习中使用的海量数据存储所需的容量。随着人工智能时代的日益临近,对支持快速接口和易扩展性的内存平台的需求变得越来越明显,而基于CXL的新型 DRAM 模块可能是未来人工智能时代中前景最为广阔的内存解决方案之一。

与传统接口相比,CXL的DRAM模块最大的优势,就是所谓的可扩展性,而其他方面的优势,同样不容小觑。

首先是强大的内存扩展能力,与固态硬盘(SSD)这种外置存储设备类似,CXL 内存扩展器安装在插入固态硬盘的位置时,可以扩展 DRAM 容量。换句话说,只需改进接口,就能扩大 IT 系统的 DRAM 容量,而无需修改或完全改变现有的服务器结构。

而后是简化数据处理,内存扩展器的一个主要优势是高效的数据处理。通过扩展更高的带宽,它可以让不同的设备共享内存,更有效地利用它们的资源。它们可以通过共享公用内存区域,像使用主内存一样使用加速器的内存。没有自己内部内存的设备也可以利用主内存,将其作为自己的内存使用。

最后是加速计算速度,CXL 内存扩展器的一个关键功能是最大限度地减少因数据吞吐量增加而导致的延迟问题(或延时)。内存扩展器同时利用加速器和 CPU 来提高系统计算速度,支持更流畅、更快速的数据处理。

CXL种种优势,让它在人工智能时代来临之际成为了新宠儿,虽不及HBM耀眼,但其前景之广阔,并不逊色于后者多少。

据市场研究公司 Yole Group 10 月 12 日预测,到 2028 年,全球 CXL 市场预计将达到 150 亿美元(约合 20.1 万亿韩元)。虽然目前只有不到 10% 的 CPU 与 CXL 标准兼容,但预计到 2027 年,全球所有 CPU 都将兼容 CXL 接口。

而CXL 市场的核心是 DRAM。Yole Group 预计,到 2028 年,120 亿美元(即 CXL 市场总收入的 80%)将来自 DRAM,在当今以数据爆炸为特征的人工智能时代,PCIe等现有计算标准限制了DRAM模块的简单安装,并阻碍了物理可扩展性,CXL 解决了这些挑战,未来有望驱动DRAM市场新一轮的发展。

有意思的是,SK海力士与美光也看到了CXL的潜力,并已经成为了CXL联盟的会员,但它们在这一技术上的进度,与三星相比,还存在着一定的差距。

2022年8月1日,SK海力士开发了首款基于 DDR5 DRAM 的 CXL(Compute Express Link)内存样品,该样品的外形尺寸为EDSFF(企业和数据中心标准外形尺寸)E3.S,支持PCIe 5.0 x8 Lane,使用DDR5标准DRAM并配备CXL控制器。同年10月,海力士又在OCP 全球峰会上推出了业界首款基于 CXL 的计算内存解决方案(CMS)

对比三星,海力士在 2023 年 9 月才展示了自己首款 CXL 2.0 产品,落后三星约四个月。不过海力士自己倒是非常上心,SK海力士总裁在2023年10月还强调了CXL市场的重要性,他说:“我们正在大力投资基于CXL的新兴存储技术的发展,可以起到第二、第三个HBM的作用。”

美光虽然正式进入CXL市场较晚,但在这项技术上的发展也不容小觑,2023年8月,美光在FMS 2023大会上宣布推出首款用于服务器的 CXL 2.0 内存扩展模块的样品,该模块搭载 128 GB 和 256 GB DRAM,并使用 PCIe 5.0 x8 接口连接到 CPU。在新标准支持这方面,美光反而比海力士早了约2个月。

除了三大内存厂外,CXL IP的重要性也愈发凸显,据HTF MI Research,预计到2029年,CXL IP市场将达到8.923亿美元,复合年增长率为37.6%。目前提供CXL IP的公司包括Cadence、Synopsys、Rambus(PLDA)等;面对广阔前景,国内厂商也开始涉足这一领域,据悉,问道以芯已推出支持20TB级别内存拓展的CXL2.0 IP。

截至目前,许多业内人士对 CXL 接口的概念还很陌生,虽然内存厂商出于AI的需求快开始踊跃推出样品并量产,但具体的应用还是较少,远不如HBM那样火热。

写在最后

就2024年年初来看,CXL标准落地仍有许多障碍需要克服。三星开发的 CXL 2.0 DRAM 与现有标准相比,可扩展性有限。开发与 GPU、CPU 和 DRAM 兼容的 CXL 交换设备、设计 CXL DRAM 模块以及快速开发支持软件等挑战都是当务之急。

而建立生态系统也同样重要。CXL领域的知名企业包括与拥有 CXL 3.0 设计资产和集成解决方案的全球半导体公司合作的韩国初创企业Panmesia,以及拥有 CXL DRAM 控制器设计技术的中国的澜起科技,业内人士指出:要在 CXL 3.0 中实现理想的可扩展性,仅仅停顿在部分技术开发上是不够的,必须要有涵盖整个生态系统的整体技术。”

好消息是,截至目前,CXL内存扩充模组的应用环境已经较为完善,主要的内存厂商均已推出自家的CXL内存扩充模组产品,虽然现在的服务器只能支持CXL 1.1标准,但基本上已经可以连接与运行,等到下一代也就是支持CXL 2.0服务器上线后,就能更好地利用它的优势,从而实现这一标准的普及。

在2024年年初,我们可以用一句话来形容,就是万事俱备,CXL只欠应用这场东风了。

当然,关于CXL的竞争依旧不可避免,有韩国业内人士表示,“虽然公众不知道,但三星电子和 SK 海力士都‘全力以赴’确保在 CXL 技术方面取得领先地位,就像他们对 HBM 所做的那样。”

卷完了HBM,内存厂商又瞄上了CXL,一场新的内存战争,即将展开。

本文来自微信公众号:半导体行业观察 (ID:icbank),作者:邵逸琦

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年3月7日 12:13
Next 2024年3月7日 13:46

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日