软件定义时代，存储行业的“百家争喊”（下）
文｜光锥智能
文｜光锥智能
存储市场根据存储架构能够分为传统企业级存储（TESS）、软件定义存储（SDS）、超合成根底架构（HCI），跟着数据量增长及数据阐发需求发作，存储架构从传统的集中式存储向散布式演进，散布式存储的次要形式分为软件定义与超合成。
（一）传统企业级存储
DAS（间接毗连存储）：存储设备是通过电缆（凡是是SCSI接口电缆）间接连到办事器的，I/O恳求间接发送到存储设备。
利用场景：收集规模较小、数据存储量小、组网简单的小型收集，在中小型企业中普遍利用。
特征：架构毗连简单，集成在办事器内部，为点到点的毗连，具有安拆手艺要求低，成本较低优势。
展开全文
DAS优势明显：
（1）DAS架构的可扩展性较差，SCSI总线撑持的间隔更大为25米，撑持的设备数量最多为15个，办事器/计算机装备固定容量的DAS存储，假设容量不敷、存储空间太小，那就很难从内部停止弹性扩展（外部扩展容量也出缺点），假设存储空间太大也会招致资本浪费，出格是在办事器范畴很明显，间接造约了其可扩展性。
（2）曲连存储无法共享，因而经常呈现的情状是某台办事器的存储空间不敷，而其他一些办事器却有大量的存储空间处于闲置形态却无法操纵。
（3）DAS构造下的数据庇护流程复杂，假设做收集备份，那么每台办事器都必需零丁停止备份，并且所有的数据流都要通过收集传输。假设不做收集备份，那么就要为每台办事器都配一套备份软件和磁带设备，备份流程的复杂度和备份成本会大大增加。
（二）NAS收集毗连存储
NAS体例则全面改进了以前低效的DAS存储体例。它摘用独立于办事器，利用收集毗连存储公用文件办事器来毗连存储设备，自构成一个收集。如许数据存储就不再是办事器的从属，而是做为独立收集节点而存在于收集之中，可由所有的收集用户共享。
优势：NAS是独立的存储节点存在于收集之中，与用户的操做系统平台无关，能够做到实正的即插即用，同时NAS还具有资本易于共享、摆设简单且扩展性较好等优势。
优势：存储性能较低，可靠性差。
（三）SAN存储区域收集（Storage Area Network）
SAN是一个用在办事器和存储资本之间的、公用的、高性能的收集系统。它为实现大量原始数据的传输而停止了专门的优化。
1991年，IBM公司在S/390办事器中推出了ESCON手艺。它是基于光纤介量，更大传输速度达17MB/s的办事器拜候存储器的一种毗连体例。
用光纤通道构建的SAN由以下三个部门构成：1）存储和备份设备：包罗磁带、磁盘和光盘库等；2）光纤通道收集毗连部件：包罗主机总线适配卡、驱动法式、光缆、集线器、交换机、光纤通道和SCSI间的桥接器；3）利用和治理软件：包罗备份软件、存储资本治理软件和存储设备治理软件。
SAN的优势如下：1）收集摆设随便；2）易于存储和备份；3）高性能：因为SAN摘用了光纤通道手艺，所以它具有更高的存储带宽，存储性能明显进步；4）十分好的扩展性：因为SAN摘用了收集构造，扩展才能更强。光纤接口供给了10公里的毗连间隔，那使得实现物理上别离、不在当地机房的存储变得十分随便。
三种体例比照：
（四）传统集中式存储架构总结
传统SAN/NAS存储的硬件架构摘用“掌握器+硬盘柜”的体例。中高端存储撑持多个掌握器，以保障高可用并进步性能。多掌握器为紧耦合，通过PCIE总线或Infiniband收集互连，共享磁盘阵列，共享缓存。
BBU：内置BBU电池，停止掉电庇护。
掌握器其他功用：双活、容灾、CDP等手艺保障营业系统的持续性和数据平安性。
传统集中式存储的特征适协做为金融/医疗等核心营业系统的数据库存储。
传统架构中，存储厂商一般自研硬件，核心目标次要有：
1.进步磁盘的IO性能，存储厂商需要本身研造面向IO的存储硬件，好比说在一台存储办事器中需要扩展良多的SATA/SAS接口、扩展硬件RAID功用，假设是高性能的存储设备，还需要扩展掌握器之间的公用互连收集接口。
2.应对存储的IO密集型读写，低端存储以至能够摘用计算性能比力差的CPU停止设想。
3.进步存储的高可靠性，传统存储往往逃求硬件设想的可靠与不变，通过进步硬件的可靠性来到达存储可靠的目标。在那种传统存储的构想下，存储的设想次要分红存储硬件和存储软件设想两大部门。
传统存储的问题：硬件绑定；总拥有成本高（本钱收入+运营收入）；可扩展性差；数据孤岛。
1.硬件绑定：公用存储硬件是各个厂商独立开发的，具有封锁性，随便绑定客户，停止继续的扩容销售、运维和供给办事，同时关于客户来说，因为数据迁徙的风险和费用很高，客户一旦抉择某一厂商存储，后续就需要继续复购；所以存在软件定义存储的开展趋向，用户急需可以对现有存储停止同一整合而且能兼容其他厂商设备的存储治理软件。软件定义存储的理念就是将硬件回一化，而把之前通过公用存储硬件实现的提拔IO性能和可靠性等功用都由软件来实现。
2.传统集中式存储在成本、可扩展性等方面存在优势。传统集中式存储摘用集中的存储办事器存放所有数据，存储办事器成为系统性能的瓶颈，也是可靠性和平安性的焦点，不克不及称心大规模存储利用的需要。
3.传统存储摘购和运维成本高，效率低下。传统集中式存储更大的弱势在于只能凭仗在系统中增加大量磁盘驱动器来实现较高的性能，而那种体例一定带来高贵的开收和营运费用。存储厂商通过在混合构造中增加闪存，尽量征服磁盘阵列局限性，但是旧有根底架构其实不能实正发扬闪存的效率，发扬其更高性能。并且，混合阵列也不克不及随便地跨多个系统停止共享，如许就招致效率低下。
4.数据孤岛问题严峻，资本闲置率高。引进SAN手艺之前，存储摘购的目标次要是阵列的嵌进式特征/功用和物理硬件属性，如可扩展性和可靠性。一旦SAN 被普遍地摘用，用户面对的就是各类各样的型号和品牌，因而他们只能根据详细的项目需求建立一套又一套的存储设备，那在很大水平上使差别的存储设备在用户的系统中是一个个孤岛。那就形成了差别营业系统的存储资本无法平衡而且庇护成本居高不下。
（五）散布式存储系统成为存储开展支流
散布式存储是将数据分离存储在多台独立的设备上。散布式收集存储系统摘用可扩展的系统构造，操纵多台存储办事器分管存储负荷，操纵位置办事器定位存储信息，它不单进步了系统的可靠性、可用性和存取效率，还易于扩展。
1.软件定义存储
软件定义存储：将存储硬件中的存储掌握器功用抽出来放到软件上，包罗卷治理、RAID、数据庇护、快照和复造等等。
虚拟化和虚拟化和云手艺的开展和成熟改变了数据中心的设想、建造、治理和运维体例，那种变化使软件定义存储越来越有吸引力。
根据散布式存储系统的设想理念，软件和硬件解耦，存储的良多功用好比可靠性和性能加强都由软件供给，但是其实不意味着硬件不重要，但是现实中停止散布式系统集成时，除了考虑适宜的散布式存储手艺不测，还需要考虑底层硬件兼容的问题。
散布式存储系统的产物形态一般有：软硬件一体机、硬件OEM、软件+原则硬件。
优势：
1.乖巧摆设：掌握器的功用不单单局限在单一设备，假设存储掌握器功用被抽离出来，该功用就能够放在根底架构的任何一部门。它能够运行在特定的硬件上，在hypervisor内部，或者与虚机并行，构成实正的合成架构。
2.存储系统整体性能的大幅提拔。散布式架构提拔了系统整体的聚合性能，能够在不改动硬件设置装备摆设下进一步降低拜候延迟。
3.中立：软硬解耦、易于扩展、主动化、基于战略或者利用的驱动。就营业利用来说，即不限造上层利用，不绑定下层硬件；除了供给块存储，也能够在统一平台供给文件、对象、HDFS等存储办事，实现非构造化数据的协议互通；同时应具备完美的监控才能，实现利用感知。容许用户没必要从特定厂商摘购存储掌握器硬件如硬盘、闪存等存储介量，硬件回一，软件价值凸显。
4.开放性+程度扩展。开放化意味着接口原则化、办事原子化，包管客户的利用系统可以以最顺畅的体例对接根底存储设备，可微调和决计划细节，达成高量量的办事。程度扩展则是云计算弹性情况的一定要求，在挪动互联网情况下，营业利用的负载量是突发式、潮汐式、难以切确揣测的，利用要求存储的容量和性能都必需可以线性扩展以称心上层利用需求。
5.摘购成本和总体拥有成本降低。如超合成系统，在利用成本方面，办事器+超合成软件（或超合成一体机）的摘购成本有大幅度的降低。除摘购成本外，超合成系统在总体拥有成本上有更大的优势。SmartX在某证券客户的支持案例中，超合成处理计划协助客户提拔15%的资本操纵率、降低60%的运维工做量、同时每年的IT摘购成本降低50%。
6.影响现有存储格局：将来软件领先而且具有继续研发才能的厂商将突破现有存储格局，降低新厂商的准进门槛，为全行业带来更多可能；所以，将来市场可能存在由集中度高的市场格局演变成愈加分离的市场。
（六）超合成架构
1.超合成定义
软件定义的IT根底架构，能够虚拟化常见“硬件定义”系统系统的所有元素，对传统存储设备停止同一治理、池化，然后映射给上层主机利用；把利用法式存储与物理的数据存储根底设备别离；那将实现存储资本的“乖巧”分配、从头分配或不分配。存储虚拟化供给一种把存储办事从存储包平分别出来的办法，即便根本的硬件和互连被变动，仍然能供给卷的继续性。
超合成根底架构除对计算、存储、收集等根底元素停止虚拟化外，凡是还包罗诸多IT架构治理功用多个单位设备能够通过收集聚合起来，实现模块的无缝横向扩展，构成同一资本池。
超合成根底架构图示：
材料来源：志凌海纳
4大长处：更好性能、更高可靠性、愈加灵敏、易于庇护，企业能够降低IT根底设备的总体拥有成本。
（1）处理传统存储“烟囱式”扩容的弊端，足够操纵用户已有的存储设备，实现多厂家设备的异构、数据的迁徙、容灾和同一治理，足够实现客户存储硬件的投资价值。
（2）处理被单一存储厂商绑定的问题。
（3）虚拟化手艺可用于跨多个系统乖巧分配存储空间，通过利用缓存系统来发扬闪存的优势。
2.存储虚拟化实现体例
基于主机的虚拟化在主机办事器上实现；基于存储收集的虚拟化，需要在SAN收集中添加虚拟化网关的撑持来实现；基于存储设备、存储子系统的虚拟化，依靠于供给相关功用的存储模块或第三方的虚拟软件来实现。
（1）基于主机的虚拟化
一般由操做系统下的逻辑卷治理软件完成（安拆客户端软件）；长处是撑持异构的存储系统，缺点是占用主机资本，降低性能；存在操做系统和利用的兼容性；招致主机晋级、庇护、扩展复杂，随便形成系统不不变；数据迁徙过程复杂，影响营业持续性。
（2）存储收集虚拟化的实现设备-虚拟化网关
长处：不占用主机资本；撑持主机、异构存储设备；差别设备的数据治理功用同一；可扩展性好。
缺点：占用交换机资本；成熟度低。
虚拟化网关价格高，市场规模看起来其实不大；——降低存储系统新厂商准进门槛，SAN起头面对公允合作，有利于行业推陈出新。
材料来源：百度
（3）基于存储设备、子系统的虚拟化
在存储掌握器上添加虚拟化功用，常见于中高端存储设备。
长处：不占用主机资本，数据治理功用丰富。
缺点：一般只能实现对本系列设备内磁盘的虚拟化；差别厂商间的数据治理功用不克不及互操做；多套存储设备需设置装备摆设多套数据治理软件，成本高。
五、散布式存储市场宽广，增长可期
（一）整体市场规模
存储市场全景
据IDC的揣测，2021年中国企业级存储市场空间55亿美圆，2020-2024年中国企业级存储市场将连结7.16%的年复合增长率，到2024年中国企业级存储市场空间将到达65.9亿美圆。SDS和HCI的增速远远超越TESS，此中SDS将来四年复合增长率12.8%，HCI将来四年复合增长率13.0%。
从行业角度看，在电信和造造业中，SDS产物的市场需求增加，预期将撑持电信和造造业中许多新的在线工做负载，以撑持边沿计算工做负载（如情况监测或造造设想等）中非构造化数据的捕获和阐发。
（二）全球软件定义存储市场规模
据Transparency Market Research发布的《Software Defined Storage Market》表白，从2019年到2027年，全球软件定义存储市场年复合增长率到达25%，市场规模将到达536亿美金。北美和欧洲的存储市场遭到政策引导和资金搀扶，将继续连结高速增长，此中北美仍是软件定义存储的次要市场。
全行业都闪现软件定义存储的开展趋向。
根据Gartner 2020年存储战术道路图揣测，到2024年，全球存储容量的50％将做为SDS摆设在当地或公共云上。与2020年比拟，2024年的大型企业将会存储在当地，边沿或公共云的文件或对象存储的非构造化数据将增加两倍。
据IDC发布的《中国软件定义存储(SDS)及超合成存储(HCI)系统市场季度跟踪陈述，2020年第四时度》陈述展现，2020年软件定义存储与2019年比拟增长了51.7%，超合成存储系统增长了36.5%。
（1）新利用场景成为鞭策散布式存储开展的有力挠手。重新利用场景角度来看，金融行业呈现了如“长途柜台”、“人脸/指纹识别”等新型金融利用，实现告终构化数据向非构造化、多类型数据的改变；教导行业积极摆设信息化和收集辅助教导，教学形式多样化如“线上教学”、“混合式教学”等形式对存储容量要求也不竭进步。针对多类型数据混合存储带来的存储性能问题，散布式存储系统可以有效处理。
（2）国内某运营商为例，2019年散布式存储集摘到达600PB以上，而且方案将来5年将传统存储数量削减70%。
六、手艺走向场景，厂商开展各具特色
（一）合作格局：大厂/草创厂商
次要的厂商列举
中国厂商：在传统存储阵列范畴，当前市场份额较大的厂商包罗华为、新华三、海潮、曙光等；在散布式存储范畴，华为、曙光、新华三、XSKY等厂商占有较大市场份额。而在云存储范畴，阿里云国内领先的云存储厂商。属于手艺与市场壁垒双高的范畴。
软件定义存储：行业集中度极高，top前五占据70%+；2018年到2021年，前五的市场份额在迟缓下降。
华为市场份额同比削减2.6%至39.1%；收进为27亿元；
曙光增加0.3%至13.5%；收进为12.8亿元；
新华三削减3%至10.2%；收进为9.7亿元；
海潮猛增4.6%至9.2%，跃居第四位；收进为8.7亿元；
XSKY增加0.55%至8.1%，降至第五位；收进为7.7亿元。
备注：以上数据可做为简单参考，因为统计口径与硬件占比等，可能与现实情状有必然差别。
（二）华为
华为认为软件定义存储并不是普世良药，基于软硬连系的体例才是适宜的途径。
散布式存储2023年将占据企业存储市场的35%以上，云化、设备整合、设备联网是鞭策力，不再是趋向，已经是现实。
丰富协议类型，对象、块、大数据存储等，2019年推出大数据存储。
基于传统企业存储继续打造企业级散布式存储的才能，2020岁尾全球客户数3000+，中国区市场份额第一。
合成+智能理念，自研存算传管芯片，供给公用硬件办事。
存算别离、大数据虚拟化、对象资本池、视频云等五大处理计划。
将来战术：软件+硬件的双轮驱动，基于软硬连系鞭策财产；客户需求动身，面向营业的立异，逃求不变性、效率与成本。
（三）中科曙光
公司散布式存储市场份额国内前三。公司散布式存储包罗散布式存储系统ParaStor300S、散布式块存储系统XStor1000、区块链存储系统ChainStor等。
根据IDC数据，2021年，中科曙光散布式存储以11.3%的市场份额位各国内软件定义存储市场第三位。此中，曙光ParaStor以20.6%的市场份额，位列中国散布式文件存储市场份额前二，公司持续第8年获得此殊荣。
主营高端计算机营业的协同感化。市场对计算和存储的需求具备明显的相关性，跟着公司向客户销售的高端计算机规模扩展，不异客户对存储产物的需求有看同步同步增长。估量2022-2024年，存储产物收进别离为12.93、15.78、19.30 亿元，增速别离为21.5%、22.1%、22.3%。
（四）新华三
新华三拥有计算、存储、收集、平安等全方位的数字化根底设备整体才能，供给云计算、大数据、智能连接、信息平安、新安防、物联网、边沿计算、人工智能、5G 等在内的一站式数字化处理计划，以及端到端的手艺办事。同时，新华三也是 HPE®办事器、存储和手艺办事的中国独家供给商。
面向全闪的H3C ONEStor 5.0是H3C与英特尔联袂打造的全栈优化产物，关键优化手艺包罗DCache加速、重删压缩加速、固态盘耐用性提拔等多个方面。
材料来源：新华三
新华三UIS超合成占据国内主导地位IDC发布《中国软件定义存储及超合成存储系统市场季度跟踪陈述，2021Q4》，陈述展现，2021年二季度至四时度，紫光股份旗下新华三集团在超合成存储系统市场持续三个季度连结市场第一，并以全年21.9%的市场占有率染指中国超合成市场。新华三UIS超合成架构具备“全域云”的才能，为企业数字化转型供给核心才能，备受市场承认。
（五）杉岩数据
海量非构造化数据存-管-用一体化的处理计划，国度级“专精特新”小巨人企业。
全散布式架构，基于通用办事器硬件线性扩展，供给EB级容量，撑持百亿级文件存储；撑持EC机造，降低存储成本。
（1）更快的IO、高并发、大容量、副本+纠删（节点毛病会触发系统自愈、成本可控）。
智能缓存手艺低成本，能够高效加速数据拜候性能。
（1）高性能介量缓存热数据，低性能介量保留温冷数据，保障高优先级营业性能，有效降低整体硬件成本。
（2）手艺特征：多级缓存加速；数据类型智能感知；大块数据透传。
（3）特征优势：元数据/高优先级数据优先缓存；低优先级的数据全不缓存；中优先级的数据主动冷热分层；基于优先级在线调整，不影响营业。
海量小文件合并手艺实现百亿文件性能平稳
撑持将来湖仓一体建立
（1）接口撑持全：100%兼容POSIX、HDFS、S3三大支流拜候协议，能对接大数据和AI操练的支流拜候协议，能对接大数据和AI操练的支流利用；关于Hadoop生态的上层利用完美兼容，不需要做任何改动。
（2）元数据撑持别离摆设：性能和扩展性强，大数据阐发场景的Listing、Rename操做响应速度快。
（3）撑持数据智能缓存、数据预读、并发读：在大数据场景下的Parquet和ORC数据格局阐发场景性能有包管。
（4）Kubernetes CSI撑持：撑持容器共享，便于K8S调度。
数据来源：杉岩数据官网
面向行业的利用需求延展-机器视觉量检数据存储处理计划，智能阐发和发掘数据价值：为多个消费线的机器视觉设备供给同一的图片、日记数据摘集、存储、和治理平台。存储底座摘用全散布式架构，存储的性能可随节点数量线性增长，能称心浩瀚机器视觉设备同时保留高清晰度图片的需求，并确保多并发、高带宽和低时延读写；针对差别工序产生的图片、日记数据的保留时间和拜候性能的要求，通过数据主动分层功用，让数据在适宜的时间存储在适宜的介量中，并根据治理战略将汗青数据主动回档至蓝光存储或公有云，实现低成本持久留存。
数据来源：杉岩数据官网
（六）XSKY 星辰天合
根据IDC等第三方权势巨子陈述，XSKY星辰天合在SDS中国市场整体份额中，位居前五，是 TOP 5中仅有的一家专业软件定义存储厂商。此中，对象存储细分市场排名第二，仅次于华为，在专业软件定义存储厂商中已经持续4年排名第一，在块存储细分市场，排名第四。
产物
（1）整体产物架构：
（2）针对构造化数据的处理计划：
材料来源：XSKY星辰天合
优势：针对x86和新的办事器生态，撑持跨生态数据的无缝迁徙。
xmotion：纳管热迁徙手艺-Zstack、OpenStack、CloudStack等云平台。
供给面向虚拟机和租户的存储计算一体化迁徙计划。
撑持存储在线热迁徙，营业无需末端。
（3）针对非构造化数据的产物计划：
材料来源：星辰天合
X3DS：立体数据治理系统，撑持非构造化数据的复造、迁徙、备份、回档。
撑持跨厂商文件和对象存储之间数据彼此挪动。
撑持跨云的数据上云和下云。
（七）SMARTX志凌海纳-超合成根底架构
次要价值：
以简洁的架构供给高可用计划。超合成因为其合成摆设架构，可有效协调虚拟化和存储高可用联动的问题，从而以十分简洁的架构供给差别级此外高可用计划。
产物架构图示：
SMTX OS包罗：
SMTX ELF VM Service（计算）虚拟化治理平台
SMTX ZBS Distributed Block Storage散布式块存储系统
SMTX Fisheye Web Console超合成治理平台
SMTX MultiActive Cluster双活
SMTX Backup异地容灾备份
材料来源：志凌海纳
SMARTX场景：交易系统、MES系统、HIS系统等核心场景。
优势：高性能的超合成存储软件，软件晋级促进系统性能提拔；核心系统需要迁徙到超合成系统，硬件和软件协同优化。
参考材料：
华西证券：企业级SSD：三大替代修建行业高增长，国产替代空间宽广
渤海证券：介量与架构晋级并举，企业级存储市场起飞期近
信通院：下一代数据存储手艺研究陈述