HBase Metrics参数详解

四月 2nd, 2013 by klose | 5 Comments | Filed in 互联网应用, 海量数据存储与处理

本研究针对HBase 0.94.* 及以上版本的系统。 RegionServer 本目标主要集中分析在RegionServer提供的相关Metrics接口。在0.94新版本中,Metrics包括:RegionServerMetrics、JvmMetrics、以及RegionServerDynamicMetrics。下面分别进行介绍。 1、RegionServerMetrics 这是延续了以前版本的Metrics。它主要是以RegionServer为单位的基本功能的监控信息的收集,主要包括: 1)通用信息的收集。例如RS内store个数、storefiles的个数等。 2)与RS整体读写性能指标相关的参数。例如Cacheblock相关的信息、RS内读写请求个数、写操作相关的性能、以及读操作相关的性能。 3)功能性调整的参数个数。如Compaction、Split等。 下面细化这些参数的含义。(ps:参数名省略了前两位的hbase.regionserver.,例如如果blockCacheCount,那么Metrics上实际名字是hbase.regi

Tags: , ,

HBase Metrics机制分析与架构总结

一月 10th, 2013 by klose | No Comments | Filed in 互联网应用, 海量数据存储与处理

HBase Metrics HBase Metrics是一种监控信息实时收集机制。它负责收集的信息有: 功能性信息(Compaction Queue、Store Files个数等) JVM使用信息 (Heap Memory 的变化) rpc访问信息 借助与Hadoop Metrics同样的方式,向Ganglia汇报。 Ganglia is a scalable distributed monitoring system for high performance computing systems such as clusters and Grids. based on a hierarchical design targeted at federations of clusters relies on a multicast-based listen/announce protocol to monitor state within clusters uses a tree of point-to-point connections amongst representative cluster nodes to federate clusters and aggregate their state XML for data representation XDR for compact, portable data transport RRDto

Tags: , ,