HBase实战系列2—Region监控

六月 9th, 2013 by klose | 4 Comments | Filed in 互联网应用, 海量数据存储与处理

1、背景 随着大数据表格应用的驱动,我们的HBase集群越来越大,然而由于机器、网络以及HBase内部的一些不确定性的bug,使得系统面临着一些不确定性的故障。 因此,HBase上有很多的Region组成,需要控制每个表格的Region的状态。 分析: 1)实时掌控Region的状态。应用的每次访问要直接与HBase某个Region关联,需要探测Table上Region是否处于可用状态。 2)Region的读写与底层的HDFS的状态相互关联。这种关联决定了通过Region的读写状况的监控,也可以反映HDFS的状况。 2、实战工具  org.apache.hadoop.hbase.tool.Canary 监控Region的可用和读写状况。==>对应分析中前两个问题。 使用方法: Usage: bin/hbase org.apache.hadoop.hbase.tool.Canary [opts] [table 1 [table 2...]] where [opts] are: -help          Show this help

Tags: , ,

HBase监控之Region空洞

二月 20th, 2013 by klose | No Comments | Filed in 互联网应用, 海量数据存储与处理

Region是HBase的资源管理单位,在Region的生命周期内,一个Region迁移会发生在如下的情况下: 1)HMaster的Load Balance,造成部分Region在RS之间迁移。默认使用了 org.apache.hadoop.hbase.master.DefaultLoadBalancer,仅仅考虑RS上Region个数的分配的均衡性。 2)Region Split过程。这部分内容可以参考 http://blog.sina.com.cn/s/blog_4a1f59bf01018tu4.html 3) RS Offline过程-〉LOG Split过程-〉Region迁移。 在如上的过程中都会涉及到Region的迁移,那么Region的迁移又要经过哪些过程呢? 为了节省文章空间,我们以HMaster的Load Balancer为例来说明。 1)HMaster启动LoadBalancer线程。balancer的period由hbase.balancer.period控制,默认是300s。 887c9071c96dc850b4684746bbfde328000 2)关闭了BalancerSwitch、有Region处于In-Transition状

Tags: , ,