大模型混合云,到了系统性创新突围的关键时刻

大模型混合云的系统性突围
亚马逊云科技、华为云、京东云、百度智能云等诸多厂商面向今天爆发的大模型时代,无一不在致力于打造完整的技术解决方案,把底层、中间层、顶层等一系列的流程和服务包办,从而让大模型能在云上持续部署和应用,释放价值。
因此,总结来说,大模型混合云是针对特定领域(特别是需要处理大规模数据和复杂AI模型的场景)优化的混合云架构,它集成了公有云的弹性与私有云的安全控制,以及可能的多云服务,以满足高性能计算和AI应用的特殊需求。

文 | 智能相对论

作者 | 陈泊丞

亚马逊与Anthropic、微软与OpenAI以及华为云提出的大模型混合云概念等等种种信号都在表明,云计算与大模型深度融合发展的趋势已是业内共识。

目前,以生成式AI为导向,越来越多的公司开始加速大模型技术在云计算平台上的部署和应用,而又反向推动云计算产业的迭代与升级。

从底层的基础设施到中间层的平台服务再到顶层的场景应用,云计算正经历着显著变革。以亚马逊云科技为例,作为全球云计算巨头,他家的云产品正全面为大模型的部署与应用做好技术层面的铺垫。

一、在底层,打造以GPU和自研芯片为代表的基础设施,用于基础模型的训练以及在生产环境中运行推理。

二、在中间层,推出Amazon Bedrock,基于完全托管的服务,允许用户轻松接入经过严格筛选的第三方品牌大模型,如AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI等,以及亚马逊自有品牌的大模型Amazon Titan。

三、在顶层,通过基础模型构建开箱即用的生成式AI应用程序如Amazon Q等,让用户无需任何专业知识即可快速上手生成式AI。

由此来看,生成式AI的发展正在改变云计算本身的产业格局,整个市场的竞争也到了前所未有的变革阶段。

生成式AI,重构了云

秉持着亚马逊云科技类似观点和行动的,还有本土的云厂商们。

百度集团副总裁侯震宇此前便提出,大模型将驱动云计算的创新,并重塑云计算的产业格局,在驱动了底层IT基础设施的重构,也带来了上层应用开发模式的变革。

而华为云发布的国内业界首个大模型混合云——华为云Stack 8.3,则是把混合云与大模型相结合,更具体地反馈出了云服务发展的新方向——通过提供算力平台、云服务、开发套件和专业服务等完整的AI生产链,打通了从基础设施到应用开发的技术路径,帮助政企客户一站式建立专属大模型能力,成了云服务的进阶能力。

这种能力的进阶,基于大模型混合云的技术发展而言,其本质是一种应用场景的特化。

比如,云边协同技术在大模型混合云上的延续应用与创新,其目的是为了解决AI大模型逐步应用到煤矿生产、电力巡检、工业质检等工业场景中所暴露出来的边缘实时推理需求。

一方面,工业场景对AI应用的需求比其他场景更多,且效率要求也更高,低延时、高敏捷、广泛部署都需要做好边缘管理和应用工作。另一方面,当AI大模型走向工业场景应用,其版本迭代、功能升级就不可避免地进入边用边学、边升级边应用的阶段。

由此,云边协同成为关键,需平衡计算资源、优化数据流动、提升处理效率和增强服务质量,支撑了多样化、高要求的AI应用场景。

华为混合云提出的云边协同方案基于混合云的ModelArts AI开发平台和盘古大模型,形成了一站式的场景化模型训练工作流。再通过采集原始生产样本数据和模型运行中产生的存疑样本数据,使用工作流高效训练模型,并统一管理模型版本,有效实现了AI模型边用边学、快速迭代、持续升级、能适应新的工况和数据变化。

再说数据问题,其中数据存储就困扰着AI大模型训练效率。随着AI大模型参数量的增加,训练集群规模也不断扩大,而传统存储从架构上就已经难以应对超大规模AI集群数据快读、Checkpoint快存、故障快速恢复的需求。

面对这样的特定需求,华为云不得不在存储架构上来寻求突破,基于于OBS数据湖、SFS Turbo高性能并行文件系统和AI Turbo加速的创新三层架构,从而系统地应对大模型训练场景的挑战。

总的来说,只是为了应对AI大模型的各类场景问题,云服务就需要从底层基础设施到顶层应用来全面创新,提出对应的解决方案以进一步推动AI大模型的发展。那么,摆在大模型混合云面前的技术难点并不会太少,近年来华为云一直在通过系统性的创新解决大模型应用的关键堵点,其发布的大模型混合云十大创新技术就包括了除云边协同、数据存储之外还有增强AI网络、算子加速、统一数据编码、多样性算力调度等等。

事实上,抛开华为云提出的大模型混合云这样系统的概念不谈,业内对于云与大模型的结合已经达成共识,并致力于提供各类技术方案,来解决大模型在云上的各种训练、推理、应用等需求。

像京东云推出了一套大模型的完整工具,包括支撑大模型应用的基础设施——言犀AI开发计算平台、向量数据库、混合多云操作系统云舰、高性能存储平台云海、软硬一体虚拟化引擎京刚等核心产品,对应的就是在云的基础上推动大模型的产业化发展。

大模型混合云的系统性突围

亚马逊云科技、华为云、京东云、百度智能云等诸多厂商面向今天爆发的大模型时代,无一不在致力于打造完整的技术解决方案,把底层、中间层、顶层等一系列的流程和服务包办,从而让大模型能在云上持续部署和应用,释放价值。

大模型混合云这一概念的提出,更是把云厂商的这种综合解决方案带向了更加系统的阶段。而这种系统性的形成,不仅要求云厂商要在技术上聚力,还要面向场景进行广泛探索。

“对政府来说,他们关心的可能并不是简单解决内部节约一个客服人员、运维人员的问题,而是更多站在产业布局角度,通过大模型带动整个产业的发展。”众数信科创始人兼CEO吴炳坤在接受媒体采访时说道。

基于云服务行业的发展趋势,这种产业的系统性发展实际上就需要借助云技术的系统性升级来实现——这是一种大格局的体现。对此,从传统的多云策略来看,大模型混合云的提出更能展现出未来云服务的大格局。

多云策略侧重于使用多个云服务提供商的服务,以避免供应商锁定,同时优化成本或利用各服务商的优势。而大模型混合云虽然也可能涉及多个云环境,但其核心在于构建一个高度整合、优化的大规模数据处理和AI模型运行环境,不单纯为了分散服务来源,而是为了实现特定的技术和业务目标。

比如,华为云Stack的多云协同架构,就允许行业大模型在公有云上进行训练,同时还能结合企业本地数据在混合云中微调,然后在边缘云进行推理,从而满足不同场景下的计算需求。

这样做的本质不是为了分散“云”,而是基于原生混合云能力,让用户可以将大模型从本地延伸到边缘和公有云,实现全场景跨云部署,达到应用效率、安全性能等结果的最优化。

因此,总结来说,大模型混合云是针对特定领域(特别是需要处理大规模数据和复杂AI模型的场景)优化的混合云架构,它集成了公有云的弹性与私有云的安全控制,以及可能的多云服务,以满足高性能计算和AI应用的特殊需求。

这种集成实现的技术系统性将在接下来的时间内成就产业的系统性发展,也就是“不是简单解决内部节约一个客服人员、运维人员的问题,而是更多站在产业布局角度,通过大模型带动整个产业的发展。”

因此,基于这样的系统性发展,接下来大模型+混合云的发展将形成了较为显著的几大趋势。

一、在算力调度上,大模型的训练和推理通常需要大量的计算资源。随着模型规模的增长,对算力的需求也在增加。混合云环境下的算力调度和优化技术会持续发展,以支持更高效的大模型训练和推理。

二、在云边协同上,随着物联网(IoT)设备的普及,边缘计算变得越来越重要。混合云架构将支持更紧密的云边协同,使大模型能够在边缘进行实时推理,减少延迟并提高响应速度。

三、在基础设施上,AI-Native存储和网络技术将继续演进,以支持更高效的模型训练和推理过程。例如,高性能存储支持多级缓存机制,实现Checkpoint秒级存取,以及训练故障分钟级恢复。

四、在模型应用上,企业可以通过混合云环境中的本地数据对预训练的大模型进行微调,以适应特定业务场景的需求,同时保持数据的私密性。

五、在业务部署上,不同行业(如金融、医疗、制造等)将利用混合云上的大模型来解决特定的业务挑战,促进业务创新和流程自动化。同时,大模型在混合云环境中更容易实现规模化部署,特别是在那些分布广泛的企业和行业中,如能源、交通、制造等领域。

六、在生态建设上,大模型和混合云的结合将促进更多生态合作伙伴的加入,共同开发解决方案和服务,扩大整个生态系统。同时,随着大模型混合云应用的增多,相关标准和协议也将逐步制定和完善,以提高不同系统间的互操作性和兼容性。

写在最后

现如今,大模型拥有了数亿乃至数十亿的参数量,这为生成式AI的发展提供了前所未有的计算规模和复杂度。更多的参数意味着模型可以学习到更深层次、更精细的数据特征,从而在文本生成、图像合成、音频创作等多个领域生成更高质量和多样性的内容,很好地推动了生成式AI的高质量发展。

而这样的能力对于产业而言,正是未来产业转型升级的一大关键。云计算同样作为产业升级的底层技术,与生成式AI的协同将以更全面、完整的形态来实现这一目标。但是,在这个过程中,云如何与生成式AI背后的大模型进行结合,将是关键性问题。

生成式AI这趟“顺风车”,亚马逊云科技、华为云、京东云、百度智能云等云厂商都想搭,但是搭起来却是得费些心思咯。

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年8月16日
Next 2024年8月16日

相关推荐

  • 抖音不再陪小杨哥“疯狂”

    就在抖音电商峰会一周前,快手一哥辛巴炮轰小杨哥,指责其在质检、售后、赔偿态度等方面存在问题,模仿辛选的商业模式,以及小杨哥此前销售的一些产品如茅台酒、梅菜扣肉等存在质量问题,如果小杨哥不处理,他将用一亿元替小杨哥进行赔付。
    在2022年9月的抖音电商作者峰会上,刚转型直播带货一年的小杨哥,第一次获得了抖音电商的卓越个人奖。
    在短视频时代,抖音成就了小杨哥,正如小杨哥感谢抖音那般,“它具有很强的开放性和包容性,它给每一个人都提供平等展示自我的机会”,小杨哥也为抖音带来了很多用户,高峰时期小杨哥抖音粉丝量超过了1.2亿。

    2024年9月20日
  • 科隆新材IPO:业绩波动、内控缺位或成上市“拦路虎”

    上半年业绩表现不佳
    科隆新材的主营业务是液压组合密封件和液压软管等橡塑新材料产品的研发、生产和销售,以及煤矿辅助运输设备的整车设计、生产、销售和维修,同时也为风电、军工、高铁等行业客户提供定制化橡塑新材料产品。
    同时,如果未来煤炭主体能源地位被快速替代,下游客户新机装备需求减少,科隆新材又未能拓展旧机维修业务,或是未能适应市场变化、新技术和新产品未能顺应市场发展趋势,那么科隆新材就存在橡塑新材料产品经营业绩下滑的风险,甚至可能会对公司整体经营业绩造成不利影响。

    商业密码 2024年9月20日
  • 淘宝倒逼新风向:一场电商减负运动

    但售后服务同时也是电商变革最复杂的一环,开店、佣金、流量推广都只是商家与平台间的服务交易,售后却涉及平台导向、商家成本和消费者体验三方,且受社会消费情绪变化、平台生态优劣的直接制约,是各方利益最难平衡的地方。
    我们也发现,在这个过程中,电商平台的自我角色定位也在调整,从推出「仅退款」的游戏规则制定者、大家长,逐渐过渡到生态系统的设计者、平衡商家和消费者利益的服务商。

    商业密码 2024年9月20日
  • 博浪AI时代,阿里、华为“硬碰硬”

    根据申万一级行业分类,阿里巴巴概念板块156家上市公司分布于22个行业,其中传媒、电子、商贸零售、通信、医药生物分别聚集了50、25、13、11、9只概念股。
    根据申万一级行业分类,华为概念板块896家上市公司分布于28个行业,其中,计算机、电子、机械设备、通信、电力设备分别聚集了220、193、92、65、61只概念股。

    商业密码 2024年9月20日
  • 员工挂“罪牌”戴纸托手铐引质疑,80后王云安创立的古茗又“翻车”了

    员工头挂“罪牌”手戴纸托手铐,古茗玩梗惨遭翻车
    近日,古茗员工头挂“罪牌”、手戴形似手铐纸托的视频,在社交平台上广泛传播,引发诸多网友热议。
    至于上海,王云安认为该市场毗邻浙江,因此会有一定的消费者基础,但是上海奶茶行业竞争激烈,外卖比例很高,相对来说门店的收益更难做好,“我们在进省会城市,以及大的一线城市的时候,我们一定是做好准备了再去的,比如上海的消费者到底要什么,我们进去应该怎么做才可以让更多的店做得更好,古茗能够给上海的消费者带来什么样的不同呢,这些是我们要去思考的。

    商业密码 2024年9月20日
  • 古井教父悲情收场

    1986年之后的十年里,古井的资产增长了18倍,利润增长了24倍,王效金也因此被称为“古井教父”,甚至是“中国酒界第一人”。
    这款拥有1800多年历史的安徽名酒也许永远也不会再与茅台并肩了,但如今也可以称得上再度振兴,尤其是这一切还建立在王效金的固执和自大,当年差一点毁了古井贡酒的基础上。
    他甚至曾经在公开场合说过,王效金就是古井,古井就是王效金,“效忠”古井就是效忠他。

    2024年9月20日
  • 直言AI不如原创,吴克群凭什么?

    吴克群的原创音乐哲学
    来到《音乐缘计划》,吴克群分外真诚。
    如此来看,吴克群选择参与《音乐缘计划》这一原创音乐综艺,正是源自于他与原创音乐人之间的惺惺相惜。
    在分享创作心得、探讨音乐理念时,吴克群不再简单是一个综艺节目的嘉宾,他也是作为一名原创音乐人出现在舞台上,让一切热爱与纯粹都具象化。
    于是,面对当下音乐生态的顽疾,新生代音乐人的困境,吴克群会在稳定的音乐事业之外,积极参与各种原创音乐活动。

    商业密码 2024年9月20日
  • 专门“收割”妈妈们的特百惠,被时代抛弃了

    02特百惠被时代抛弃了
    《新品略财经》记得三四年前,在深圳龙华区某购物中心还开了一家特百惠的店,也曾在店里买过东西,当时的印象是特百惠的产品卖得还不错。
    在《新品略财经》看来,特百惠既是时代的产物,也是被时代抛弃的产物,这与消费环境、消费需求、市场竞争,乃至是与特百惠的传统商业模式等各方面密切相关。
    从产品层面来说,特百惠是化学科技运用到日用物品的代表案例,在特百惠诞生的年代,家庭有着食物保鲜难的痛点,特别是在冰箱不普及的年代,特百惠犹如“刚需”般存在。

    商业密码 2024年9月20日
  • 县城消费的另一面:喝奶茶的少了,钓鱼的多了

    图源:作者拍摄

    图源:作者拍摄
    刘子涵继续说道,现在同学之所以不愿意喝新茶饮,还有一部分原因是,学生们对新茶饮的口感愈发失去新鲜感。

    图源:作者拍摄
    但并不是所有县城零食折扣店都这么火爆,中秋节假日当晚当地赵一鸣零食折扣店偌大的门店看不到太多顾客,收银台前也仅有几个顾客在排队结算。

    图源:受访者提供

    有人为钓鱼投入千元,有人干起代购
    和新茶饮相对冷清、零食折扣店门店客流分化不同的是,部分业态在县城仍迎来火爆。

    2024年9月19日
  • 闪回科技二度冲刺港股,深陷盈利困境,雷军看走眼了?

    在回收生意的上游,闪回科技通过闪回收从消费电子厂商、零售商、运营商以及C端消费者处获取二手手机供给。
    在下游销售端,闪回科技以“闪回有品”面向B端商户和消费者进行二手机和新机的销售,公司接近90%营收由闪回有品贡献。”

    B端渠道的手机厂商是闪回科技高增长最大的助力,但与之相伴的是,面对强势的手机大厂,闪回科技没有议价权,还需要向手机厂商支付高昂的保证金和促销服务费。

    2024年9月19日