好家伙,只能说好家伙。都2024年了,SRAM概念居然能成为风口,属实没有想到。
今天芯片圈有个爆炸性的消息,叫大模型推理最快芯片出世,创始人喊话奥特曼,“你们太慢了!”
这家初创公司叫Groq,原来谷歌TPU的人马,自研芯片主要是加速推理卡那种。
按他们的说法,他们的推理速度比英伟达的GPU快了十倍,但是成本却只有十分之一,那一来一去岂不是差百倍?
看起来非常棒。
目前Groq公司的新款加速卡,可以支持Mixtral 8x7B SMoE,LIama 2的7B和70B这三种模型,并且可以直接体验Demo。
目前测试下来效果接近每秒500tokens,当然他们只说快,没说内容真实性和准确性,内容概不负责的那种。
除了Demo演示,Groq现在也支持APi访问,并且完全兼容,可以直接从OpenAI的APi切换。
免费十天,一共100万tokens可以用。价格方面也表示,未来肯定低于市面上同类价格。
总之,看起来非常棒。
本来呢,这就是国外初创公司新产品自我宣传、自我展示的过程,和国内没有半毛钱关系。
但是国内突然有一个板块跟打了鸡血一样猛干猛干。我一看,原来是SRAM芯片板块,好几个股票都直接被干上20cm。
我仔细去看了一下,原来是Groq表示该新产品采用14nm制程,搭载了230M的SRAM来保证带宽,片上系统内存带宽达到了80TB/s。
然后国内这些小作文写手,居然开始狂吹SRAM,说什么拳打DRAM,脚踢HBM。
好家伙,是真当行业里没人懂是吧。
先来科普一下SRAM是什么芯片。
SRAM的中文全名叫静态随机存取存储器,和DRAM也就是内存,在技术上略有不同。
SRAM是易失性内存,也就是说断电不保存数据,这点DRAM内存条也一样,NAND FLASH刚好相反,它是非易失性的,断电还能保存数据。
SRAM的优点很明显,快,非常快,不仅远远超过NAND,更是超过DRAM的速度,所以SRAM的特点就是快。
你可以理解成SRAM是一个高速搬运的临时仓库,DRAM是次一级稍微慢一点的临时仓库,NAND是一个比较慢的永久仓库。
三者共同组成了计算机的存储架构,严格意义上来讲,SRAM+DRAM叫内存,NAND以及过去的HDD机械硬盘叫外存。
而前段时间炒得火热的HBM高带宽内存,实际上是DRAM的超级加强版,它的本质是通过堆叠多颗DRAM的芯片来提供更高的带宽和容量。
具有多层堆叠结构的HBM
历史上,SRAM作为单独一颗芯片存在是有过一段历史期的。
但是到80年后,90年初基本就消失淘汰了,现在只有在极少数特殊的应用场合才能看到它。比如128M、256M的产品依然有,甚至还有512M。干嘛呢?新款芯片测试和研发的时候搭载一个SRAM,主要就是研发测试用,谈不上商业化,市场化。
这里插一个飞利浦、光刻机的ASML和台积电的故事。
80年代初,如梦初醒的欧洲人在半导体领域为了不被发展强劲的美日两国拉开差距,欧洲共同体曾经搞过一个“尤里卡计划”,这个计划里有个关于集成电路的项目叫JESSI。
JESSI里面最重要的项目就是MEGA,对,就叫这个名字,和理想汽车MEGA没关系。
这个计划就是做1M的内存。MEGA项目有两个具体执行的单位,分别是西门子和飞利浦。
于是两家公司分工了一下,西门子负责DRAM,飞利浦负责SRAM。
西门子的DRAM事业就是从这里起步的,2006年的时候,DRAM事业拆分,就是奇梦达,然后经历了2008年金融危机以及同行三星的疯狂价格战后,奇梦达最终倒在了2009年,之后奇梦达的专利又被老朱同志搞来,于是就有了国产内存之光——长鑫。
这段历史在我“内存战争”系列里都讲过。
项目在1984年启动,两个巨头准备出资15亿马克,两国政府补贴5亿马克,目标是在80年代末赶上日本人。
做到一半的时候,西门子在最关键的时候选择“背刺”,他们直接从东芝引进DRAM的技术,并且在1987年的时候顺利量产了1M的DRAM。
正是因为这个原因,西门子直接从日本复制了整个东芝生产线的设备,当然光刻机也肯定用了尼康的。
然后欧洲的光刻机初创公司ASML当时就哭了,说好的是欧洲政府补贴的项目,怎么好处全给日本同行?
好在,ASML还有飞利浦这个好爸爸,最艰苦的时候,ASML依靠爸爸,稍微卖了几台光刻机,熬了过去。
但是问题又来了,随着市场变化和技术迭代,SRAM芯片市场逐渐消失。甚至CPU大哥英特尔直接把它集成到CPU里面变成缓存,单颗的SRAM芯片还有谁要啊?
所以,最终飞利浦负责的SRAM项目失败了,落得一地鸡毛。
思来想去,飞利浦只能选择止损。他们找到当时刚刚对新技术饥渴难耐的中国台湾,因为那边刚刚诞生了未来的芯片代工巨头——台积电。
于是飞利浦毫无保留地把整个MEGA项目的生产线放开给台积电学习,再原封不动地把所有设备打包搬到中国台湾,当然作为光刻机供应商的ASML,也总算顺带把自己的光刻机设备给卖出去了。
作为回报,在台积电股东里,飞利浦是当时最大的外部股东,占股27.5%。
所以说台积电的老底子都是飞利浦给打下来的。
最有意思的事来了,1988年,新产线快弄好的时候发生了一场大火,无奈之下,台积电只能把所有过火的光刻机退了回去,并且重新下了17台新订单。
这17台机器的订单是真的帮了大忙。
ASML当时很缺钱,这些订单在关键时刻救了急。当然FAB都有保险,结果就是为火灾买单的保险公司成了ASML的客户,所以1989年的时候,从严格意义上讲,ASML最大的客户是保险公司。
从上面这个小故事大家就可以看到,到80年代后90年代初,SRAM基本作为单独芯片销售的市场基本上已经消失了。
当然,SRAM并没有消失,它们以IP内核的形式直接被集成到CPU,GPU,以及各种SoC芯片内部。
直接设计在一起,然后流片流出来就行了,没什么人买单颗SRAM的芯片了,除了上文提到过的极少数的需求之外。
到现在CPU,GPU的内部都有SRAM,它们作为芯片的二级缓存而普遍存在。
在PC,HPC上的CPU里面,SRAM面积还不小哦,普遍占到一半,但是在手机这种对功耗要求比较高的CPU里,SRAM就比较小了。
由此可见,SRAM还有两个特点,第一是面积大,第二是功耗高。
SRAM和DRAM相比,在面积上有天然的劣势,这个没办法,因为本身结构限制了。
DRAM的原理是1T1C,也就是一个电容一个晶体管,而SRAM则由6个晶体管组成。
因此同容量情况下,SRAM的面积得是DRAM的5,6倍以上。
而面积就是成本,所以SRAM按单位面积算,那是相当昂贵的。
所以CPU,GPU里能给的容量,普遍也就几M到几十M,比如启哥这颗i9-14900的CPU顶配桌面级CPU,当时4000多大洋买的,SRAM二级缓存只有区区32M。
不是英特尔不想做大,而是真的用不起啊,
商业环境下,你不能只考虑性能,不考虑成本,你说是不是?
当然在AI芯片上,情况略有不同,毕竟AI芯片的核心面积比我的i9要大多了,所以普遍能上100多,甚至200多M的SRAM缓存。
毕竟人家Groq的一块卡,要卖2万多美金,那用料必须得足啊,速度必须得快啊,否则对不起这2万美金的售价啊。
那再反过来说,就算以后大容量的SRAM成为AI芯片的标准,请问和国内做SRAM上市公司有什么关系吗?
半毛钱关系都没有。
我已经说了,SRAM早就以IP内核的形式集成到SoC里面,又不是单独拿来卖的,难道Groq还采用了国产SRAM公司的IP不成?
就算用了,这买IP也花不了太多钱啊,都是非常成熟的技术和方案,也不知道那些按计算器拍业绩的人,是咋按的,反正我看不懂。
所以网上传的那份《SRAM和DRAM,从成本角度与AI的关系》,绝对有失偏颇,只提优点,不提缺点,也不提实际情况。
实际情况就是大容量的SRAM要上,毕竟这个直接提升性能比较明显,但是HBM也绝对不是它的对立面啊。HBM依然是未来主要技术路径,这个毫无疑问,毕竟HBM虽然贵,但是单位容量价格比SRAM还是便宜太多了,性价比摆着呢。
说什么SRAM未来替代HBM,绝对胡说八道,瞎扯淡。
当然了,这些半导体知识太专业了,一般人接触不到,也不懂,哪怕是机构研究员,估计相当一部分人也稀里糊涂的,反正跟风推票就完事了,回头拿派点,岂不是喜滋滋?
本文来自微信公众号:启哥有何妙计(ID:qgyhmj),作者:陈启