HBase Flush操作流程以及对读写服务的影响

四月 19th, 2013 by klose | No Comments | Filed in 海量数据存储与处理

HBase Flush操作流程以及对读写服务的影响   HBase的Flush操作的触发条件: 1)Manual调用,HRegionInterface#flushRegion,可以被用户态org.apache.hadoop.hbase.client.HBaseAdmin调用flush操作实现,该操作会直接触发HRegion的internalFlush。 2)HRegionServer的一次更新操作,使得整个内存使用超过警戒线。警戒线是globalMemStoreLimit, RS_JVM_HEAPSIZE * conf.getFloat(“hbase.regionserver.global.memstore.upperLimit”),凡是超过这个值的情况,会直接触发FlushThread,从全局的HRegion中选择一个,将其MemStore刷入hdfs,从而保证rs全局的memstore容量在可控的范围。   RS上HRegion的选择算法: 步骤1:RS上的Region,按照其MemStore的容量进行排序。 步骤2:选出Region下的Store中的StoreFile的个数未达到hbase.hstore.blocking

Tags: , , , ,

2013~光明

二月 16th, 2013 by klose | 5 Comments | Filed in 成长历程

作为2012年的个人总结的文字,放到新的一年生活和工作开始的时刻,经历了春节假期的思考,特别想正式地给2012年做一下告别,非文艺,仅是个人爱好和习惯。 2012年对于我个人最大事情莫过于,终于从学校走向了社会。当“屌丝”“你幸福吗”“雾霭”“18大”成为了帝都人民津津乐道的话题时,我独自一人在繁华并不适应的CBD和第一份工作进行着演习。生活最大的乐趣,就是在不同的环境中找到自己,活得有尊严不是我们这一代人(80后)应有的态度,但是活得要有自我才是我们这一代人所最值得尊重的品格。要有选择的适应周围的环境,是保持自我、坚守信念最和谐的方式。回顾这工作的半年多的日子,我深刻体会到,要善于读懂“法海”的思维。我记得在和大家讨论什么样的工作才是一份好的工作时,我曾说过,周围的环境能够支撑你做自己喜欢的事情,并收获认同。

Tags: , ,