挑战存储“不可能之三角”:用自研技术引领存储性能突破

分布式存储将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,从而实现了存储容量的扩展、性能的提升和成本的降低。
通过硬件+软件的组合式创新,深信服EDS分布式存储在高性能、大容量、高性价比等方面都取得了显著的提升,能够满足容量大且大小文件混合负载的应用场景,很好地解决了存储“不可能之三角”。

科技云报道原创。

存储,是数字化时代的“粮仓”。它承载着企业的海量数据,是企业数字化转型的基础。

然而,随着非结构化数据在生产业务中的广泛应用,各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价比和高扩展性,却未被赋予高性能的标签。

可以说,分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。

分布式存储的主要优势在于其出色的对象存储能力,但在文件存储的性能表现上,大小文件有所差异。

对于大文件的处理,由于技术壁垒较低,并且许多业界厂商已经针对此进行了深入研发和优化,因此大文件的处理效果相对较好。

然而,分布式存储对于小文件的处理却受限于其开源的Ceph架构,需要处理大量小文件时,元数据管理、存储空间和IO性能等能力跟不上,性能表现并不理想。

至于高性价比,这要求在低成本的同时提供更高的性能和更大的容量。以往业界认为,高性能一定伴随着高成本,但实际上这是对高性能和高成本之间关系的误解。

只有找不到合理有效的优化手段或解决方案时,才可能需要通过增加硬件投入来提高性能。

那么,如何解决分布式存储的“不可能之三角”?

这是一个值得深思的问题,也是一个不小的挑战。现在,在存储赛道上,有一个“老道的新手”用自研技术,成功走到了大容量、高性能、高性价的交集里。

做分布式存储易做好分布式存储难

数字化浪潮汹涌向前,与之同行的是,存储行业也要不断地创新求变。

2018年前后,视频、音频等非结构化数据开始爆炸式增长,特别是在政府、医疗、媒体等领域存在大量的视频数据存储需求,对存储海量数据、存储系统的扩展性提出了新的要求,以集中式架构为主SAN、NAS传统存储瓶颈开始凸显。

存储市场需求的变化,也催化了新技术的爆发。这个时期,分布式存储技术开始在各大厂商之间冒头。

分布式存储将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,从而实现了存储容量的扩展、性能的提升和成本的降低。

2020年,被视为分布式存储爆发元年。根据IDC发布的《中国存储市场季度追踪报告》,2020年中国分布式存储市场规模达到了37.2亿美元,同比增长68.2%。

其中,企业级分布式存储市场规模达到了33.8亿美元,同比增长69.2%。

尽管分布式存储已逐步进入生产领域,但市场的变化,仍在催生新的需求。

最初,市场的焦点主要在于“存下来”,即如何存储日益增长的数据,例如政府的智慧城市项目和医疗影像的长期存储。

对于这类“第二存储、备份归档”等边缘数据场景,分布式存储的低成本、高扩展性能够很好地满足。

随着时间的推进,对存储“高性能”的要求也日益提升,以满足例如医院的PACS阅片场景,实景三维场景,企业EDA场景等应用的需求。

这些应用不仅需要存储海量数据,还要求快速处理和分析这些数据。显然,市场上普遍存在的“大容量但低性能”的分布式存储已跟不上市场的需求。

近年来,随着AI训练、芯片等高精尖产业的快速发展,对存储系统的“综合性能”提出了更高的要求。

这些应用需要的不仅是海量的存储容量,更要能够处理混合负载,即高速的数据处理能力和对不同类型文件的支持。

事实上,在处理“混合负载”这一点上,目前分布式存储产品普遍性能满足不好。

混合负载的特点在于,既包括大文件(比如几百兆甚至几个G的视频文件),也包括很多小文件(比如只有几KB甚至更小的文本文件),当数据量达到一定规模,小文件的处理性能就成为性能瓶颈。

不难发现,分布式存储在一定程度上能够解决传统存储在性能、扩展性方面的问题,但想要实现高性能的目标,依然非常困难。可以说,做分布式存储容易,但做高性能的分布式存储难。

分布式存储想要解决“大容量、高性能、高性价比”的“不可能三角”难题,目前能够完全作答的厂商并不多。

入局存储赛道十年的深信服,正是其中的佼佼者。

坚持自研技术深信服挑战存储“不可能之三角”

2013年,深信服作为国内最早钻研虚拟化技术的云计算厂商之一,凭借虚拟化技术的优势,开始摸索着切入存储赛道,那时深信服内部称之为“虚拟存储”,顾名思义,扮演的角色是深信服桌面云和超融合存储底座支撑。

彼时,经过超融合、桌面云的用户“检验”之后的“虚拟存储”,也日渐成熟。

随着各行各业数据不断增长,深信服看到了用户在小文件场景面临的困扰。2017年开始,深信服决定独立发展存储,加大投入,打造用户真正需要的存储底座。

在与传统存储厂商的竞争中,深信服抢占了先机:一方面,深信服精准把控了市场需求变化;另一方面,通过自研核心高性能架构,实现了弯道超车。

带着对用户需求的深刻洞察,从2020年开始,深信服EDS存储将目光锁定在了主存储领域,专为“高性能大容量文件存储”而生——能支持混合IO负载,兼具大小文件能力,瞄向高精尖场景。

2023年,深信服发布了EDS分布式存储501高性能版本,这在存储业界也意味着分布式存储能堪当大任,承载核心生产业务。

在深信服看来,存储“不可能之三角”的破题秘籍在于,充分发挥硬件存储介质性能和提升软件数据管理及处理能力,从而取得“高性能+大容量+高性价比”的平衡。

高性能和大容量一步到位

存储设备的性能通常由其读写速度和承载数据量的能力来衡量,特别是在处理大量小文件时,读写速度和系统的稳定性尤为重要。

在读写性能提升上,深信服EDS存储设计的读写模式充分适应了SSD与HDD混合闪存介质的特性,以此充分激发硬件性能。同时,通过增加NVMe SSD即可实现容量的横向扩展、性能的线性提升。

同样大小的内存空间,深信服EDS存储基于多活的元数据能力,可以充分发挥各节点的磁盘性能,让元数据访问效率提升 10 倍以上,可缓存的元数据规模是Ceph系产品的7倍,在 AI 训练等场景下可以保持 90% 以上的元数据命中率。

不仅如此,深信服EDS存储在IO整合、数据缓存与协议增强等核心技术方向上也构建了自己的核心能力,来提升海量小文件和大文件高吞吐场景的性能。

通过小文件的聚合和动态IO整合,深信服EDS存储实现了性能层空间的最小化,并且在持续写入文件的过程中,保障性能层不会被击穿,始终保有充足的空间进行数值的排序与整合,通过这样的动态整合来解决容量使用超过80%后导致的垃圾回收挤占而性能下降的问题。

对于延迟敏感型业务,深信服EDS存储采用自适应三级缓存技术,缩短数据路径将数据时延降至us级。

在协议增强上,相比于标准文件共享协议协议,深信服EDS存储提升了2-3倍,进一步降低协议对性能的额外开销,缩短时延和提升性能。

基于分布式存储架构的天然优势,当用户需要更大的存储空间或者处理能力时,只需要添加更多的节点即可,无需改变已有的硬件或软件结构,也无须面临替换存储阵列硬件的昂贵投入,获得性能和容量的真正“自由”。

打破常规:以更低成本驱动高性能和大容量

传统阵列存储如果要同时满足大容量、高性能的需求,往往需要投入很高成本,高昂的磁盘阵列扩容扩展的费用也让很多企业不堪重负。

而在深信服看来,同时获得高性能和大容量可以用更经济的方式,也不需要过度依赖昂贵、高端的硬件配置。

一方面,深信服EDS存储实现了冷热数据自动分层,热数据存储在NVMe 或SATA固态盘构建的高性能层,冷数据存储在机械盘构建的大容量层,这样能帮助用户节省存储的硬件成本。

另一方面,基于深舟数据管理平台、EDSData Explorer等软件,实现数据的高效压缩和管理,64GB内存可以承载亿级以上规模小文件的高速读写,帮助用户合理规划存储的投入成本。

通过硬件+软件的组合式创新,深信服EDS分布式存储在高性能、大容量、高性价比等方面都取得了显著的提升,能够满足容量大且大小文件混合负载的应用场景,很好地解决了存储“不可能之三角”。

对存储而言,性能优化可谓是一场没有终点的马拉松,持续在通用硬件上激发出更高、更稳定的存储性能,通过软件实现更快的数据接入、数据管理,用户便可以用更低的成本投入获得可支撑核心业务运行的存储产品。

自研分布式存储系统的深信服,技术栈更加先进,加上软硬件结合与适配,在性能、可靠性等方面出类拔萃,胜任高精尖领域的各种存储需求。

一款产品好不好用客户反馈是真正的试金石

一款好的存储产品,不仅是实验室里的高性能,更是用户生产环境的实际需求的高性能。

上海某专科医院的影像数据每年以15%的速度增长,深信服EDS存储不仅满足其扩容需求,而且还能轻松应对就诊高峰期的高并发阅片,阅片端每秒可加载1000张CT影像。

这意味着,医生可以在更短的时间内完成阅片,提高工作效率,为患者提供更优质的医疗服务。

除了实实在在为医院、医疗助力之外,深信服EDS存储也应用在AI、芯片、测绘、媒体等多场景。

在芯片设计场景,深信服EDS存储可以支撑更大规模的EDA仿真任务,激活100%活跃算力。这意味着,芯片设计企业可以更快地完成EDA仿真,缩短产品研发周期。

在测绘场景,EDS 501高性能版本每天可以处理70000张航片。

在航片导入场景,相比于其他厂商大文件吞吐能力提升2倍多;三维建模场景的小文件效率可接近于本地NVMe SSD,CASS3D在线打开海量小文件组成的三维成果数据耗时相比于某阵列NAS缩短8倍多。

结语

在高精尖领域的成功,深信服证明了EDS具有强大的市场适应性,这也为其在其他行业的发展奠定了良好的基础。深信服之所以在这些场景中表现出强劲的性能,这得益于EDS的“业务优先”理念。

深信服EDS存储从不“唯数据论”,不盲目追求性能数据上的提升,而是落到真实的业务场景,针对业务特征进行性能优化,为实际业务运行带去更好的体验。

同时,深信服EDS也不鼓吹“大而全”,而是聚焦在高性能文件存储这一领域精益求精,力争领导者。

深信服作为存储领域“老道的新手”,在高性能存储之路上,追求的不仅是将自身在云技术栈十多年积累的存储技术用于EDS存储,更重要的是深入到每个用户的实际应用场景中,以生产业务的高性能需求为导向,真正实现用户需求和技术优势的最佳结合。

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年1月3日
下一篇 2024年1月3日

相关推荐

  • 抖音不再陪小杨哥“疯狂”

    就在抖音电商峰会一周前,快手一哥辛巴炮轰小杨哥,指责其在质检、售后、赔偿态度等方面存在问题,模仿辛选的商业模式,以及小杨哥此前销售的一些产品如茅台酒、梅菜扣肉等存在质量问题,如果小杨哥不处理,他将用一亿元替小杨哥进行赔付。
    在2022年9月的抖音电商作者峰会上,刚转型直播带货一年的小杨哥,第一次获得了抖音电商的卓越个人奖。
    在短视频时代,抖音成就了小杨哥,正如小杨哥感谢抖音那般,“它具有很强的开放性和包容性,它给每一个人都提供平等展示自我的机会”,小杨哥也为抖音带来了很多用户,高峰时期小杨哥抖音粉丝量超过了1.2亿。

    3天前
  • 科隆新材IPO:业绩波动、内控缺位或成上市“拦路虎”

    上半年业绩表现不佳
    科隆新材的主营业务是液压组合密封件和液压软管等橡塑新材料产品的研发、生产和销售,以及煤矿辅助运输设备的整车设计、生产、销售和维修,同时也为风电、军工、高铁等行业客户提供定制化橡塑新材料产品。
    同时,如果未来煤炭主体能源地位被快速替代,下游客户新机装备需求减少,科隆新材又未能拓展旧机维修业务,或是未能适应市场变化、新技术和新产品未能顺应市场发展趋势,那么科隆新材就存在橡塑新材料产品经营业绩下滑的风险,甚至可能会对公司整体经营业绩造成不利影响。

    商业密码 3天前
  • 淘宝倒逼新风向:一场电商减负运动

    但售后服务同时也是电商变革最复杂的一环,开店、佣金、流量推广都只是商家与平台间的服务交易,售后却涉及平台导向、商家成本和消费者体验三方,且受社会消费情绪变化、平台生态优劣的直接制约,是各方利益最难平衡的地方。
    我们也发现,在这个过程中,电商平台的自我角色定位也在调整,从推出「仅退款」的游戏规则制定者、大家长,逐渐过渡到生态系统的设计者、平衡商家和消费者利益的服务商。

    商业密码 3天前
  • 博浪AI时代,阿里、华为“硬碰硬”

    根据申万一级行业分类,阿里巴巴概念板块156家上市公司分布于22个行业,其中传媒、电子、商贸零售、通信、医药生物分别聚集了50、25、13、11、9只概念股。
    根据申万一级行业分类,华为概念板块896家上市公司分布于28个行业,其中,计算机、电子、机械设备、通信、电力设备分别聚集了220、193、92、65、61只概念股。

    商业密码 3天前
  • 员工挂“罪牌”戴纸托手铐引质疑,80后王云安创立的古茗又“翻车”了

    员工头挂“罪牌”手戴纸托手铐,古茗玩梗惨遭翻车
    近日,古茗员工头挂“罪牌”、手戴形似手铐纸托的视频,在社交平台上广泛传播,引发诸多网友热议。
    至于上海,王云安认为该市场毗邻浙江,因此会有一定的消费者基础,但是上海奶茶行业竞争激烈,外卖比例很高,相对来说门店的收益更难做好,“我们在进省会城市,以及大的一线城市的时候,我们一定是做好准备了再去的,比如上海的消费者到底要什么,我们进去应该怎么做才可以让更多的店做得更好,古茗能够给上海的消费者带来什么样的不同呢,这些是我们要去思考的。

    商业密码 3天前
  • 古井教父悲情收场

    1986年之后的十年里,古井的资产增长了18倍,利润增长了24倍,王效金也因此被称为“古井教父”,甚至是“中国酒界第一人”。
    这款拥有1800多年历史的安徽名酒也许永远也不会再与茅台并肩了,但如今也可以称得上再度振兴,尤其是这一切还建立在王效金的固执和自大,当年差一点毁了古井贡酒的基础上。
    他甚至曾经在公开场合说过,王效金就是古井,古井就是王效金,“效忠”古井就是效忠他。

    3天前
  • 直言AI不如原创,吴克群凭什么?

    吴克群的原创音乐哲学
    来到《音乐缘计划》,吴克群分外真诚。
    如此来看,吴克群选择参与《音乐缘计划》这一原创音乐综艺,正是源自于他与原创音乐人之间的惺惺相惜。
    在分享创作心得、探讨音乐理念时,吴克群不再简单是一个综艺节目的嘉宾,他也是作为一名原创音乐人出现在舞台上,让一切热爱与纯粹都具象化。
    于是,面对当下音乐生态的顽疾,新生代音乐人的困境,吴克群会在稳定的音乐事业之外,积极参与各种原创音乐活动。

    商业密码 3天前
  • 专门“收割”妈妈们的特百惠,被时代抛弃了

    02特百惠被时代抛弃了
    《新品略财经》记得三四年前,在深圳龙华区某购物中心还开了一家特百惠的店,也曾在店里买过东西,当时的印象是特百惠的产品卖得还不错。
    在《新品略财经》看来,特百惠既是时代的产物,也是被时代抛弃的产物,这与消费环境、消费需求、市场竞争,乃至是与特百惠的传统商业模式等各方面密切相关。
    从产品层面来说,特百惠是化学科技运用到日用物品的代表案例,在特百惠诞生的年代,家庭有着食物保鲜难的痛点,特别是在冰箱不普及的年代,特百惠犹如“刚需”般存在。

    商业密码 3天前
  • 县城消费的另一面:喝奶茶的少了,钓鱼的多了

    图源:作者拍摄

    图源:作者拍摄
    刘子涵继续说道,现在同学之所以不愿意喝新茶饮,还有一部分原因是,学生们对新茶饮的口感愈发失去新鲜感。

    图源:作者拍摄
    但并不是所有县城零食折扣店都这么火爆,中秋节假日当晚当地赵一鸣零食折扣店偌大的门店看不到太多顾客,收银台前也仅有几个顾客在排队结算。

    图源:受访者提供

    有人为钓鱼投入千元,有人干起代购
    和新茶饮相对冷清、零食折扣店门店客流分化不同的是,部分业态在县城仍迎来火爆。

    3天前
  • 闪回科技二度冲刺港股,深陷盈利困境,雷军看走眼了?

    在回收生意的上游,闪回科技通过闪回收从消费电子厂商、零售商、运营商以及C端消费者处获取二手手机供给。
    在下游销售端,闪回科技以“闪回有品”面向B端商户和消费者进行二手机和新机的销售,公司接近90%营收由闪回有品贡献。”

    B端渠道的手机厂商是闪回科技高增长最大的助力,但与之相伴的是,面对强势的手机大厂,闪回科技没有议价权,还需要向手机厂商支付高昂的保证金和促销服务费。

    3天前