Transformer的后浪来了?

Mamba让参数获得依据上下文提取信息的能力,强化了模型的参数捕获和对上下文的表征能力,与笔者在《爱因斯坦校友提出的Transformer简化方案是条歧路》中的观点一致:增加模型的精度,增加隐变量的数量,可以扩大隐变量空间的维度,提高概率向量对实际信息的表征能力的丰富性,强化信息细微差别的区分能力。

Mamba所展现的能力,与笔者判断也一致“各种DNN深度神经网络,本质上只要沿着这个思路增加参数捕获能力,都可以与Transformer殊途同归”,即使其并行性与百亿参数超大规模能力和效率仍有待观察。

谷歌于2023年5月的Google I/O上官宣了Gemini, 能力接近或超过GPT-4, 真正的多模态,底层神经网络架构沿用Transformer Decoder,针对TPU做了优化,采用了multiquery attention。Transformer已成为事实上的大模型神经网络架构行业标准了,然而这个领域研究依然十分活跃,有潜力替代Transformer的后浪会出现吗?

论文“Mamba: Linear-Time Sequence Modeling with Selective State Spaces基于选择性状态空间的线性时间序列建模”,学者来自卡耐基梅隆和普林斯顿大学。论文认为Transformer架构及其核心注意力模块长序列上的计算效率低下,而采用“输入依赖的结构化状态空间”模型,无需注意力甚至MLP模块,可实现比Transformer高5倍吞吐量,提高到百万长度序列,在语言、音频和基因组学等多个模态实现最先进的性能。其3B语言模型性能甚至与两倍大小的Transformer模型匹配。

这里补充一些状态空间模型(SSM: State Space Model)的背景知识,对理解论文的思路很有助力。下面这个图,估计学过中学物理的读者都眼熟:

一个质量为 m 的系统, 受外力 f(t),  有位移 s(t),   速度v(t),加速度a(t),  s(t) = x1,  v(t) = x2,  x2 可以由 x1 表示出来 (x1 偏导数),a (t) = x3,  也可以由 x1 表示出来。f(t) = u(t) 作为输入, y(t) 为输出。[ s(t), v(t), a(t) ] 构成此系统的状态向量,张成的空间即该系统的状态空间。斯坦福学者给出了更一般性的阐释:任何物理系统的运动方程都可以很方便地用它的状态来表征。

状态空间模型简单,但是具备强大的刻画能力,即使人脑也能用这个形式建模。这里概括了三个关键词:时变性time-varying,非线性nonlinear,通用性general。SSM广泛应用于许多科学领域,并与隐式马尔可夫模型(HMM)相关。

论文作者在其早前一篇获奖论文 “Efficiently Modeling Long Sequences with Structured State Spaces (用结构化状态空间高效建模长序列)”中提到:SSM 将一维输入信号u(t)映射到多维隐状态x(t),然后投影到一维输出信号y(t),可由简单的方程定义:

x'(t) = Ax(t) + Bu(t)

y(t) = Cx(t) + Du(t)

将SSM用作深度序列模型中的黑盒表征,A, B, C, D参数可通过梯度下降学习到,并可忽略D,因为Du(t)可以被视为跳过连接(skip connection)且易于计算。对方程做离散化,例如 u(t) 变成:(u0, u1, . . .) ,可视为对连续方程u(t)的采样。A,B,C以及步长Δ相应变成Ā 等离散矩阵。离散化使得上述方程由“方程到方程”变成“序列到序列” 。Ā 即系统的状态转移矩阵。

论文称Mamba模型有两大特点:1. 不使用注意力机制,核心创新是引入了选择性SSM,允许模型的参数(A,B,C, Δ)受到输入u(t)的影响,从而实现选择性信息传播;2. 为处理长序列提供了更有效的方式,使得计算和内存需求与序列长度呈线性关系,优于自注意下两者间的二次关系,并借助GPU硬件感知设计了高效算法。模型架构见下图:   

在《爱因斯坦校友提出的Transformer简化方案是条歧路》中,笔者梳理过:

1. 层归一化(layer normalization)其实是对“离散的概率向量之和与平滑的概率曲线积分”之间差异的校正,避免自由能概率分布偏离积分为 1;

2. 跳过连接(Skip Connection)通过在不同的path上跳过一些层,本质上等同于提供了不同尺度的信息提取路径,来弥补尺度选取离散化与线性化带来的非线性部分的损失;

3. 参数的多少,参数的精度,隐变量空间维度的大小都代表着模型提取信息的精准度,也就是对原始连续概率分布的拟合逼近能力。

上述三点,论文中都有体现:

首先,Mamba非常注重强化非线性部分的处理。“我们重复这个块,用标准归一化和残差连接交织,形成Mamba架构”,“离散化与连续时间系统有着深度的连接,可以赋予它们额外的属性,如解不变性与自动确保模型适当归一化”。

可以看出,论文匠心独运,不仅“SSM的离散化”处理本身保障适当归一化,还在架构上与标准归一化与残差连接交织,确保了非线性处理能力,参数和步长都是如此,因而优于Transformer特别是仍具有炼金术特征的skip connection部分。

其次,增加了参数捕获能力。“允许模型的参数(A,B,C, Δ)受到输入u(t)的影响”,也就是(A,B,C, Δ)参数和步长,都作为输入u(t)的函数,使其依赖于输入以及与之伴随的张量形态的变化。笔者觉得这是在用输入input的信息概率分布distribution的形态shape,不断校准潜变量参数和步长,本质上效果与attention类似。

论文认为,线性时不变LTI模型的失败,从递归的角度来看,常数的状态转移不能从上下文中选择正确的信息。RWKV的WKV机制采用LTI 线性时不变,可见其模型的局限。序列模型的效率与有效性权衡以状态压缩的程度为特征:高效模型须小,而有效模型须包含上下文必要信息。构建序列模型的基本原则是选择性,或上下文感知能力。

Mamba让参数获得依据上下文提取信息的能力,强化了模型的参数捕获和对上下文的表征能力,与笔者在《爱因斯坦校友提出的Transformer简化方案是条歧路》中的观点一致:增加模型的精度,增加隐变量的数量,可以扩大隐变量空间的维度,提高概率向量对实际信息的表征能力的丰富性,强化信息细微差别的区分能力。

Mamba所展现的能力,与笔者判断也一致“各种DNN深度神经网络,本质上只要沿着这个思路增加参数捕获能力,都可以与Transformer殊途同归”,即使其并行性与百亿参数超大规模能力和效率仍有待观察。

细心读者可能注意到一个细节,论文对参数矩阵A是这样处理的:虽然A参数也可以是选择性的,但它最终只通过与∆的相互作用(A = exp(∆A)) 来影响模型。因此,∆的选择性足以确保(A,B)的选择性,并且是改进的主要来源。我们假设,除了∆,使A具有选择性将具有类似的性能,简单起见将其省略。

不知道是否笔者理解不到位,原始信息的概率分布是个多维度(甚至高维)的联合概率分布,步长Δ或者skip connection仅仅是修正一个维度(信息层次)的非线性,其他维度的非线性也需要修正。下图是笔者头脑里对论文涉及问题的整体思维模型:

1. 状态空间对事物的表征和刻画:状态空间的高维度,某时刻的信息,即某时刻的事物的能量的概率分布,是众多维度的联合概率分布,各维度都可能具有连续性和非线性,如何用线性系统近似,并尽最大努力消除非线性的影响非常关键;不同层次的潜变量空间,对信息的提取,和粗颗粒度逐层抽象,都需要类似重整化群RG中的反复归一化,以消除“近似非线性处理”对整体概率为1的偏离; 

2. 状态空间的动态性:即从时间的维度,研究整个状态空间的变迁。这个变迁是状态空间的大量非时间维度的信息逐层提取,叠加时间这一特殊维度的(状态-时间)序列sequence。不管是高维度低层次的细颗粒度的概率分布的时间变化,还是低维度高层次的粗颗粒度概率分布的时间变化,都是非线性时变系统,用线性时不变(LTI)的模型都是无法很好刻画的。 

3. 状态空间时间序列的非马尔可夫性:思考attention的价值,时序数据上的attention注意到了什么?诸如趋势,周期性,一次性事件等。非时间维度子空间内的attention,注意到的是范畴内与范畴间的关系, 即某个时刻的状态空间。状态空间的时序,研究的是状态空间的动力学,外在驱动“力”或因素导致的状态的“流动”,即状态空间t时刻与t-n时刻之间的关系,注意到是其时间依赖规律,往往不具备马尔可夫性。 

薛定谔的小板凳与深度学习的后浪》中笔者引用“概率学界学术教父”钟开莱先生在他的Green, Brown and Probability一书中的论述:“马尔可夫性质意味着,当现在已知时,过去不会对未来产生后效影响;但请注意,由于误解了“现在已知”这句话的确切含义,已经铸成了大错”。

下面这个“年轻的父母接送孩子上下学”的例子可以帮助理解钟先生这句话: 

State t-1   在家      state t    学校     state t+1   公司   :  送娃上学

State t-1   公司      state t    学校     state t+1   在家    :接娃回家

t时刻的隐状态空间表征能力很重要,当状态空间仅仅是“state t 学校”时,无法获知state t+1的状态,因为其还取决于state t-1的状态,而且甚至需要看t-n时刻 ,比如上周末老师布置了t时刻放学后去礼堂看演出。仔细想想,语言自回归,非马尔可夫性其实是常态,事实上时延系统基本都是非马尔可夫的。attention或者状态空间的选择性就非常关键。

Pytorch创始团队负责人硅谷AI大佬Bill Jia认为,现在大模型应该从侧重空间关联转向加强时间关联。笔者觉得Bill 说的空间关联对应笔者上图中“非时间维度子空间”,而时间关联则是对应“状态空间的动态性”以及处理好“非马尔可夫性”。

Mamba论文Time sequence modeling是这个方向的有益探索,具备很强的潜力,而且逻辑上判断也可以适用于多模态。Transformer Decoder基本统一了大语言模型的神经网络架构,切换成新架构将会带来难以估量的成本,包括沉没成本、迁移成本、有风险的机会成本等。笔者觉得Mamba后续可以侧重类似TimeGPT那样的预测泛化场景,给AI4Science带来有益的想象空间。


参考资料:

1.Efficiently Modeling Long Sequences with Structured State Spaces  https://arxiv.org/pdf/2111.00396.pdf 

2.Mamba: Linear-Time Sequence Modeling with Selective State Spaces   https://arxiv.org/ftp/arxiv/papers/2312/2312.00752.pdf      

 

    

本文来自微信公众号:清熙(ID:qingxitech),作者:王庆法

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年2月19日
下一篇 2024年2月19日

相关推荐

  • 波士顿动力转向纯电机器人,电动为什么是机器人唯一方向?

    几天前,波士顿动力在网上宣布,Atlas。

    一、新的:电动“Atlas”

    “Atlas。”

    但波士顿动力并非是第一家推出电动机器人的公司。的说法,Atlas“肯定需要是一个通用机器人”,但是在通用性方面还有很多工作要做,以便人形机器人能够拾取一千个不同部件中的任何一个,都能合理地处理它们,“这种普遍性尚未得到证实。

    为了向这款推动人形机器人极限的机器人致敬,波士顿动力发了一段。

    未来科技 9小时前
  • 小米造了车,红旗要造手机

    4月18日,中国一汽在微信公众号发布消息称,在当日举行的中国一汽第五届科技大会上,中国一汽与亿咖通科技签署了智能座舱战略合作协议,除了在汽车智能座舱领域展开合作外,双方还将共同打造红旗品牌高端手机。

    抢夺智能生态大单

    从一汽和亿咖通将“共同打造红旗智能座舱和红旗OS,并打造红旗品牌高端手机”的合作模式来看,在亿咖已有的合作案例中,与极星汽车的合作很可能成为与红旗合作的模板。

    未来科技 1天前
  • 号称超越GPT-4的大模型们,有多少靠的是“抄袭”

    让模型走向同质化的“数据捷径”

    “如果所有人都用一样的数据,你又怎么会比其他人好呢。

    大家都知道,在大模型训练过程中,数据至关重要,并且在不同阶段的侧重点也有所差异。

    在训练基座模型时,数据追求的是“量”,对算力要求也是极高,它决定了大模型对事物的基本“理解能力”。

    如果按这个标准,现有的高质量文字数据和图像数据加起来体量根本不够,还差。

    未来科技 1天前
  • 中国互联网三十周年,那些陨落的流星

    2015年,一个叫戴威的25岁北大青年,受Uber共享春风的吹拂,买了20串羊肉串,拜托中文系师弟写了一封振奋人心的公开信《这2000名北大人要干一票大的》。或将转型SNS交友网站》中关村在线
    《1286天,熊猫直播从生到死》澎湃新闻
    《天涯创始人首度回应关停:不会放弃,用户数据不会丢》新黄河
    《西祠胡同终成“死胡同”,论坛兴衰史再添一员》三易生活
    《十年前,那些我们曾迷恋过的网站》电脑报
    《中国互联网30年,网红的前世今生》新华报业网

    本文来自微信公众号:镜相工作室(ID:shangyejingxiang),作者:郑思危,编辑:周近屿

    未来科技 1天前
  • Llama 3发布,亮点在于“小”模型

    GPT-3.5,而且需要的算力低、反应快,甚至可以在手机、电脑上本地运行,“希望大家继承这个趋势,训练和发布用更长时间训练更小的模型。架构中,要提升大模型的效果,需要按照特定比例提高训练大模型的数据量、模型本身的参数以及算力。

    想要降低成本,最直接的方法是训练参数更小的模型,让用户的手机、电脑直接在本地运行,分担平台的压力。

    怎么让更小的模型有更好的效果,成了大模型公司们的竞争焦点。

    未来科技 1天前
  • 谷歌全面整合AI力量背后:DeepMind浮沉史

    DeepMind从2016年到2019年的营收与亏损,图片来源:VentureBeat

    2019年初,三位DeepMind人工智能工程师离职,比如著名安全工程师本·劳里(Ben。

    不过知情人士称,哈萨比斯在2021年告诉DeepMind员工,在谷歌CEO皮查伊承诺提供更多资金后,在DeepMind高层被称作“马里奥计划”的分离大业就此搁置。

    未来科技 1天前
  • 拍下苹果Vision Pro最美X光图的公司,“iPod之父”也有投资

    Vision。

    Meta。

    在。分析看来,两个系列产品不分高低,其工程设计差异更多地反映了其设计理念和定位不同:

    一个是要挑战体验和设计上的极致,另一个是要在保持一定体验前提下,尽可能地让更多人用得起。

    苹果三代。光视觉”,产品设计的利器

    一看到这个扫描仪,我就说“我最快能什么时候给你们投资。

    Fadell。

    而在。

    甚至在。

    未来科技 1天前
  • 大中型上市银行加码金融大模型研发,场景广泛应用尚待时日

    竞逐金融大模型

    年报显示,工商银行在2023年度建立了行业内首个全面自主研发且具有千亿参数级别的AI大模型技术体系,并在多元金融业务场景中实现了创新性应用。

    具体来看,工商银行、建设银行、农业银行、中国银行、交通银行、邮储银行在2023年的科技投入分别为272.46亿元、250.24亿元、248.50亿元、223.97亿元、120.27亿元和112.78亿元,同比分别增长3.90%、7.45%、7.06%、3.97%、3.41%和5.88%。

    未来科技 1天前
  • 姚颂:穿过创业与投资的旋转门

    一、穿过创业与投资的旋转门 各位老师、同学们晚上好,很高兴再次回到校园与大家分享我的创业经历,最近大家比较关注的问题是未来应该做什么,创业方向是什么,对航天领域也比较感兴趣,所以我…

    未来科技 1天前
  • AI企业疯狂“卷”文本

    月之暗面公司相关负责人向记者强调,与其他公司的产品不同,Kimi的长文本是无损压缩技术的长上下文,RAG是有损压缩技术。

    他也提醒说,长文本只是大模型的一个技术特色,除了长文本之外,大模型还有高效训练、多模态、模型压缩、安全伦理等多方面的问题需要研究,“今天大家盯着长文本是好事,但也不能忘了其他,做好大模型需要多面开花。

    未来科技 1天前