Hbase有两种压缩策略:minor和major。Minor compactions通常选择几个临近的小的storefiles把他们重写成一个。Minors 不会丢掉已删除或者过期的cells,只有major compactions才会做这些。有时一次Minor compactions将会选择一个store里的全部storefiles,因此,它实际上是一次局部的major compaction。
当进行完一次major compaction以后所有的store都只有一个storefiles,这对查询性能有很大提升。注意:major compaction将会在一个运行中的系统中重写全部store的数据,不提倡自动运行;major compactions 在大型系统中通常是手动进行的。
9.7.5.5.1. Compaction File Selection
为了了解选取storefile的核心算法,可以看下图:
/* normal skew:
*
* older ----> newer
* _
* | | _
* | | | | _
* --|-|- |-|- |-|---_-------_------- minCompactSize
* | | | | | | | | _ | |
* | | | | | | | | | | | |
* | | | | | | | | | | | |
*/
关键点:
hbase.store.compaction.ratio 比率在选择压缩文件的策略中被使用 (默认值1.2f).
hbase.hstore.compaction.min (.90版本中使用 hbase.hstore.compactionThreshold) (files) 在一次压缩发生前每个store中的至少有多少个storefiles被选择(默认值为2)
hbase.hstore.compaction.max (files) 在一次minor compaction发生前每个store中的最多有多少个storefiles被选择(默认值为10).
hbase.hstore.compaction.min.size (bytes) 任何一个storefile如果大于给定的大小将自动成为候选的将被压缩的storefile
默认与hbase.hregion.memstore.flush.size (128 mb)相同.
hbase.hstore.compaction.max.size (.92) (bytes) 任何storefile如果大于给定值将会自动被排除,不再压缩(默认值Long.MAX_VALUE).
Minor compaction 选择storefile的逻辑是基于文件大小的,当一个文件<=sum(比它小的文件) * hbase.hstore.compaction.ratio 将被选择
分享到:
相关推荐
HBase权威指南中文版(压缩成5个文件了)分卷3 总共5个分卷
为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体...
1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna
基于Hbase的列式存储压缩策略的优化
这里详细介绍了hbase的命令行操作,版本信息的一些管理
NULL 博文链接:https://qindongliang.iteye.com/blog/2267681
首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较。实验结果显示,该方法...
hbase,mysql本机备份压缩,恢复,springboot代码 访问http://localhost:7777
这个是hbase的压缩文件,用linux或者redhat系统,解压之后修改配置文件就可以使用
HBase的Python语言接口 Zohmg is a data store for aggregation of multi-dimensional time series data, built on top of Hadoop, Dumbo and HBase. 标签:zohmg
Hbase不睡觉书-带目录压缩版-只有18M 文档清晰带详细目录 MacBook亲测没有乱码
HBase权威指南中文版(压缩成5个文件了)分卷5
这是本人使用hbase shell的部分经验总结,一般的shell使用全部包括了。 版本,压缩,region等需求,以及使用普通shell使用hbase shell
hbase-1.2.1-bin.tar.gz.zip 提示:先解压再使用,最外层是zip压缩文件
HBase权威指南中文版(压缩成5个文件了)分卷4 总共5个分卷
企业应用开发实战中文版,共包括三个压缩文件(1-HBase企业应用开发实战.part1.rar,1-HBase企业应用开发实战.part2.rar,1-HBase企业应用开发实战.part3.rar)
hbase分区merge和split操作,手动操作,不是自动。具体看代码
HBase权威指南中文版(压缩成5个文件了)分卷2 总共5个压缩分卷
HBase权威指南中文版(压缩成5个文件了)分卷1 总共5个压缩分卷