科学研究
研究领域1:计算机系统结构
研究领域2:存储系统
研究领域3:纠删码集群
||+可靠性存储简介+||
关键词:海量存储、大数据存储、分布式存储、网络存储、存储集群、数据冗余、副本、纠删码、访问频度
数据量呈指数级增长,存储系统作为数据存放的空间也随之扩展【关键词:PB,EB,ZB,海量存储、大数据存储】。单个磁盘/节点/服务器难以应对剧增的存储数据,数据需要分散放置到多个磁盘/节点/服务器上【关键词:分布式存储】,除了基于总线的磁盘阵列存储,数据中心内部节点之间及数据中心之间通常网络互连来传输数据【关键词:网络存储】。从存储组织的角度,数据中心内部的存储节点可以构成集群式存储【关键词:存储集群】。随着存储集群规模的增大,存储节点失效是一个经常性事件,数据面临丢失的风险。为了增强存储可靠性并提升数据可用性,通常采用冗余机制【关键词:数据冗余】,常见的冗余机制有副本和纠删码。【关键词:副本技术】副本是一种复制、镜像技术。HDFS采用了机架感知的三副本放置方式,数据分三个副本分别放置到两个机架的三个不同节点上(两份放在一个机架的两个节点上;一份放在另一机架的一个节点上);【关键词:纠删码】纠删码是一种编码技术,数据分块通过计算可以得到校验分块,相对于副本技术,纠删码技术具有更高的存储效率(存储效率=逻辑空间/物理空间)。HDFS-RAID采用了RS纠删码来存放数据。为了兼顾存储效率和访问性能,热数据【关键词:高访问频度】和冷数据【关键词:低访问频度】通常分别采用副本方式和纠删码方式进行组织和管理。
-
[1] Panping Zhou, Jianzhong Huang*, Xiao Qin, Changsheng Xie. PaRS: A Popularity-aware Redundancy Scheme for In-Memory Stores. IEEE Transactions on Computers. Accepted, 2018.
-
[2] Hui Sun, Jianzhong Huang*, Xiao Qin, Changsheng Xie. DLSpace: Optimizing SSD lifetime via An Efficient Distributed Log Space Allocation StrategyDLSpace. ACM Transactions on Embedded Computing Systems, Accepted, 2018.
-
[3] Hui Sun, Wei Liu, Jianzhong Huang, Weisong Shi. Co-KV: A Collaborative Compaction Improvement via Near-Data Processing for the LSM-tree-based Key-Value Store. Future Generation Computer Systems,Accepted, 2018.
-
[4] Jianzhong Huang, Panping Zhou, Xiao Qin, Yanqun Wang,Changsheng Xie. Optimizing Erasure-Coded Data Archival for Replica-based Storage Clusters. The Computer Journal. 3 August 2018. https://doi.org/10.1093/comjnl/bxy079.[J].
-
[5] Shenggang Wan, Qiang Cao, Jianzhong Huang, et.al. Victim Disk First: An Asymmetric Cache to Boost the Performance of Disk Arrays under Faulty Conditions, In Proceedings of USENIX Annual Technical Conference (ATC'11), 2011, pp. 173-185, 2011.
-
[1]
黄建忠,曹强,谢长生等. 一种基于SPARK流式计算的纠删码归档方法. 申请号:201810058018.5,申请日期:2018.01.22 -
[2]
黄建忠,曹强,谢长生等. 一种热度感知的内存纠删码分布方法. 申请号:201711318689.2, 申请日期:2017.12.12 -
[3]
黄建忠,曹强,谢长生等. 一种访问局部性优先的RS纠删码数据布局方法及系统. 申请号:201710149372.4,申请日期:2017.03.14 -
[4]
黄建忠,曹强,谢长生等. 一种基于任务负载感知的纠删码归档方法及系统.申请号:201710141230.3,申请日期:2017.03.10 -
[5]
黄建忠,曹强,谢长生等. 一种基于数据缓存的纠删码集群存储扩容方法. 专利号:ZL201511000387.1,授权日期:2018.10.11
-
[1] 学术参与,国基金,“统一存储网(USN)理论、结构和实验研究”,60173043,2002.01-2004.12,
-
[2] 学术参与,国家973项目课题,“下一代互联网信息存储的组织模式和核心技术研究”之课题三“海量数据网络存储系统的研究”,2004CB318203,2004.09-2009.09,
-
[3] 子任务负责人,国家863计划(重大专项“海量存储系统关键技术”的项目课题),“浪潮海量信息存储系统及应用示范”之“存储访问安全软件”,2009AA01A402,2009.12-2011.12,
-
[4] 学术骨干,国家自然科学基金重点项目,“大规模数据存储系统能耗优化方法的研究”,60933002,2010.01-2013.12,
-
[5] 学术骨干,国家973项目课题,“面向复杂应用环境的数据存储系统理论与技术基础研究”之课题三“高效能存储系统组建方法研究”,2011CB302303,2010.09-2015.09,