为应对这些挑战,浪潮着力研发与集成的面向分布式文件系统的智能存储管理技术Smart Storage Management(简称SSM)应运而生。通过多项新技术及特性来解决存储场景中的各类挑战,助力大数据产品提供更加高效、智能的存储解决方案。
现今存储技术面临哪些疑难挑战?
说到疑难挑战,首先当推基于异构存储介质的数据存储管理。从硬件平台来看, HDFS的设计初衷是基于通用的廉价硬件提供可靠、高吞吐的数据存储和访问。但随着硬件的迅速发展,传统的磁盘性能和存储容量都已达到瓶颈,新硬件如固态硬盘、非易失性内存和SMR磁盘等受到广泛关注。
目前,HDFS已有的功能和研究虽然可以兼容多类型的异构介质,实现对异构存储介质的访问和使用,但没有很好的机制让其智能感知不同设备的I/O特性,并根据数据的访问特征动态改变存储方式,在异构的环境下最大程度发挥各类硬件的性能优势。
其次则是面向大规模存储的容量压力。为了系统的可靠性,传统HDFS通过副本策略来保障数据的安全,通常默认为三副本,但存储利用率仅为1/3。如果使用纠删码(Erasure Code,EC)来替换副本策略确实可以提供与副本相同的容错能力,并使用较少的存储空间,但在典型的纠删码中如果要求存储额外开销不超过50%的话,相应的纠删码却会占用更多的计算资源,所以当系统面临存储压力时,用户常常希望将不常使用的数据使用纠删码存储,降低存储压力。
但目前的HDFS技术仅支持基于目录的副本到纠删码转换,转换后业务访问文件的路径将发生改变,并无便捷的机制自动化进行。
面向应用负载的自适应存储挑战也不容忽视。从上层应用来看,一方面在大数据Hadoop生态系统不断发展的过程中,HDFS因其自身的稳定可靠、简单易用、扩展性高等优点使越来越多上层应用和系统将其作为统一的底层存储,其上存储的数据类型和支持的分析负载也越来越多元化。
另一方面,在企业中不同部门和用户经常基于同一份全量数据进行查询分析,带来同一份数据服务多样的查询负载。在这种应用场景下,基于人工制定策略的存储优化就难以生效,势必需要提供基于应用负载的自适应优化技术来应对。
智能存储管理(SSM)技术 聚焦两核心、三场景、四技术、五特性
面对异构环境下如何最大程度发挥各类硬件性能优势的难题以及来自存储的数据类型和支持的分析负载越来越多元化与应用负载的自适应优化等方面的挑战,智能存储管理(SSM)提供了智能化的解决方案。