手机端生成模型爆发在即,芯片迎来巨变?

目前,LCM已经在人工智能社区得到了广泛的关注和应用,我们认为很快LCM就会成为手机上运行图像生成式模型的首选,而且LCM的低延迟可以真正实现全新的用户体验:例如,高质量的实时超分辨可以让数字变焦得到的拍摄质量和光学变焦相似,但是同时又避免了厚重的镜头。

而在算力和内存方面,图像生成式模型的复杂度和模型尺寸都比现有的运行在手机上的人工智能模型要大一到两个数量级:LCM的参数量达到了10亿以上,而相对而言目前主流手机人工智能模型的参数量都在千万左右。

以生成式模型(generative model)为代表的下一代AI正在席卷科技行业乃至整个人类社会。目前,人们对于生成式模型的关注还主要在于以OpenAI和谷歌为代表的人工智能巨头运行在云端服务器的模型,这些模型需要巨大的算力,并且一般运行在GPU上。然而,随着技术的发展,我们认为生成式模型运行在手机端已经到了一个转折点,马上会进入大规模铺开的阶段。

在看具体技术之前,我们不妨先看一下,用户对于运行在手机端的生成式模型有哪些具体应用场景。这其实值得我们仔细考虑,因为像ChatGPT这样的人工智能对话应用并不需要真正运行在手机终端——让ChatGPT完成文稿设计这样的需求的最佳使用场景还是在接入互联网的电脑上,而不是运行在手机本地。

我们认为,最适合生成式模型运行在手机终端芯片上的第一是拍摄增强,包括超分辨、去模糊、照片补全等,这些应用需要模型能在任何时候都能低延迟地运行,因此需要在本地执行。

另一个任务是智能助理,指的是通过运行一个大模型去检索所有用户本地的备忘录、短信记录等,通过综合用户所有的个人信息来实现智能助理的功能——例如如果检测到用户和某个联系人最近的短信是关于约在饭店吃饭,助理可以自动设置一个提醒信息,等等。由于涉及到用户隐私,因此这类模型也需要运行在手机本地的芯片上。

对于用于拍摄增强的生成式模型主要是以扩散(diffusion)模型为代表的图像生成式模型。扩散模型在去年一年中取得了长足的进步,其生成内容的质量足以改变用户的拍摄体验,包括:

1. 超分辨:使用扩散模型可以把低分辨率的图片以很高的质量转换成高分辨率图像,其质量远高于目前已有的其他模型。

2. 图像修补:包括把图像中不想要的内容去除/更换(即inpainting),或者把图片内容进一步补全(即outpainting)

对于基于扩散模型的生成式图像模型,自从Stable Diffusion从去年下半年发布之后,已经获得了业界极大的关注。扩散模型一般都较大,而且需要运行多步的采样过程,之前虽然也有运行在手机上的例子,但是因为运行时间过程(10秒左右),尚未得到真正大规模应用。然而,随着今年10月份中国清华团队发表了latent consistency model(LCM)的研究论文,在手机上运行高性能图像生成式模型已经不再遥不可及。

清华团队发表的论文

LCM模型和Stable Diffusion的模型结构类似,但是LCM通过数学上的优化,可以把一次生成需要的模型执行次数从Stable Diffusion的50次降低到2~4次,相当于把端到端的运行速度提升了10倍,而且生成图像的质量和Stable Diffusion接近。

目前,LCM已经在人工智能社区得到了广泛的关注和应用,我们认为很快LCM就会成为手机上运行图像生成式模型的首选,而且LCM的低延迟可以真正实现全新的用户体验:例如,高质量的实时超分辨可以让数字变焦得到的拍摄质量和光学变焦相似,但是同时又避免了厚重的镜头;又如,inpainting/outpainting可以让用户快速编辑拍摄的照片并分享,能实现在手机上拥有和photoshop相似的效果,这也将会大大提升用户体验。

对于智能助理应用来说,目前主要还处于探索阶段,如何将多模态的信息(包括用户的短信、备忘录、日历等等)整合在一起并不容易,但是我们认为最终模型的形态最有可能还是类似GPT这样的大语言模型,通过海量数据与训练来实现对于用户数据的深入理解并且给出相应帮助。这类智能助手的第一步落地应用可能是用户消息编辑和改写,例如用户可以让智能助手去改写一条短信以改变语气,这样的应用预计在明年就会落地。

手机生成式模型需要什么样的芯片

首先,我们从用于拍摄增强的图像生成式模型(LCM)开始分析,因为这类模型的应用较为明确。

我们对于模型芯片支持的分析可以从算符、算力和内存三方面来入手。从算符来看,LCM或者Stable Diffusion模型使用的算符主要是常用的卷积和注意力(attention)层,这些算符在目前的手机芯片人工智能加速器中已经得到了非常好的支持。

而在算力和内存方面,图像生成式模型的复杂度和模型尺寸都比现有的运行在手机上的人工智能模型要大一到两个数量级:LCM的参数量达到了10亿以上,而相对而言目前主流手机人工智能模型的参数量都在千万左右。如我们之前所说的,手机需要能实时执行这样的模型,因此需要在算力上满足模型的需求。

算力能满足需求可以从两方面来考虑,首先是增加人工智能加速器的峰值算力,主要的方法就是增加计算单元的数量。但是,计算单元数量的增加是以更大的芯片面积(即更高的成本)为代价的,为了能在成本和性能之间得到一个较好的折衷,需要能使用“性价比”更好的计算单元。

在服务器的LCM版本中,使用的计算是基于32位或者16位浮点数的,但是在手机端执行时32/16位浮点数计算单元太贵,因此绝大多数的计算必须使用更低精度,例如8位定点数,或者8位浮点数9甚至是4位浮点数。

这里就涉及到了一个软硬件协同设计的问题,即如何在使用低精度计算的条件下同时确保模型输出质量不受太大影响,具体是使用8位浮点数还是8位定点数性价比更高等等,因此需要模型设计团队和芯片设计团队合作才能完成。另外,由于模型的尺寸远大于之前的主流模型,到达了GB数量级,因此很可能需要手机的DRAM容量进行升级才能较好的支持。

除了DRAM容量之外,模型参数量大也意味着对于内存接口的压力更大(否则可能会陷入内存墙问题,让内存访问成为整体模型执行速度的瓶颈)。从这个角度,一方面可望将会推动手机芯片加速使用下一代内存接口(例如LPDDR6),而在另一方面也推动SoC使用更多的片上内存(SRAM)来缓解DRAM访问的压力。

最后,在Stable Diffusion和LCM模型中广为使用的U-Net神经网络结构也拥有更多的中间结果(activation),为了能确保最佳的延迟和能效比,这也需要SoC片上有更多的SRAM来满足需求。

对于大语言模型来说,其对于手机芯片的需求也可以从算符、算力和内存来看。同样,算符方面大语言模型使用的主要算符是attention,目前已经得到广泛支持;主要挑战则是大语言模型的参数量甚至比扩散模型/LCM更大一个数量级,到了百亿数量级,这对于手机内存容量和接口速度都将造成巨大的挑战,而如果大语言模型真的能在手机得到大规模应用,预计将会大大推动手机芯片内存容量和内存接口的发展。

此外,由于大语言模型的参数量太大,很有可能需要多级缓存,每次只会有一部分模型参数加载在DRAM中,还会有一部分会留在非易失性存储器中,因此内存和非易失性存储器的接口速度提升可能也会得到推动。

生成式模型对手机芯片市场的潜在影响

目前,我们看到手机系统厂商已经越来越重视生成式模型在手机端的应用。在最近的发布会上,知名手机厂商vivo和OPPO都把这类生成式模型作为下一代新手机的主要卖点,原因很简单,因为目前生成式模型已经到了能够真正成为核心用户体验的时刻了,而且模型技术也足够成熟,爆发在即。

手机芯片格局也可能会在这次的生成式模型热潮中发生微妙的改变。生成式模型的支持能力可能会成为和手机镜头一样重要的核心硬件卖点,但是生成式模型的最终解决方案其实是一个软硬件结合设计的方案,这样来说,其实对于有自研芯片能力的手机厂商来说是非常有利的,因为这些手机厂商可以通过同时掌握模型和硬件的设计,从而实现最高效率的解决方案;或者换句话说有可能通过深度的协同优化,即使在芯片实现工艺和性能较为落后的情况下,仍然实现很好的用户体验。

这一点对于一些中国的手机厂商例如华为来说尤其有利,因为他们同时拥有深度的人工智能模型开发、手机系统优化和芯片开发能力,通过在自研的第一方应用(例如拍照以及照片浏览)应用中加入自研的模型跑在自研的芯片上,有机会充分利用端到端优化的机会。

对于为手机系统提供芯片平台的公司例如高通和联发科来说,则需要提供完整的参考设计。在这方面,高通已经把手机端生成式模型提到了核心位置,在最近发布的Snapdragon 8 Gen 3中,高通宣布可以实现以低于一秒的延迟完成Stable Diffusion图像生成,未来有望进一步提升质量并降低延迟,接下来就看使用高通芯片的手机系统厂商如何利用这样的算力了。

联发科也基于亿级参数大语言模型的特性,开发了混合精度INT4量化技术,结合公司特有的内存硬件压缩技术NeuroPilot Compression,以更高效地利用内存带宽,大幅减少AI大模型占用终端内存,为端侧运行AI大语言模型突破手机内存限制,助力更大参数模型在端侧落地。

另一个疑问是,云端生成式模型芯片领域目前的统治者Nvidia会如何看待手机生成式模型的机会?Nvidia在移动端的尝试自从十多年前的Tegra系列之后似乎就停滞了,但是今年年中Nvidia传出和联发科合作并且下一代联发科旗舰手机SoC可能会使用Nvidia GPU的消息,可见Nvidia在手机生成式模型领域还是有机会能切入。

Nvidia在这个领域的优势主要在于模型开发生态,但是在手机生态(包括第一方应用)中是否能继续保持这样的优势,还需要联合SoC厂商以及使用该SoC的手机系统厂商深度合作;这样的合作能进行到什么程度,还需拭目以待。

本文来自微信公众号:半导体行业观察 (ID:icbank),作者:李飞

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2023年11月20日
下一篇 2023年11月20日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日