HDFS HA-Quorum Journal Manager

七月 8th, 2013 by klose | 4 Comments | Filed in 互联网应用, 海量数据存储与处理

1、背景 HDFS HA,即NameNode单点故障问题,一直是关系到HDFS稳定性最为重要的特性。之前Hadoop0.23初探系列文章中,介绍了HDFS的Federeation概况、配置与部署的情况,以及有关HA的相关概念。  Hadoop0.23.0初探1—前因后果 Hadoop0.23.0初探2—HDFS Federation部署 Hadoop0.23.0初探3—HDFS NN,SNN,BN和HA HDFS HA的发展经历了如下几个阶段: 1)手动恢复阶段。手动备份fsimage、fsedits数据,NN故障之后,重启hdfs。这是最早期使用的办法,由于早期数据量、机器规模、以及对应用的影响还比较小,该方案勉强坚持了一段时间。 2)借助DRBD、HeartbeatHA实现主备切换。 使用DRBD实现两台物理机器之间块设备的同步,即通过网络实现Raid1,辅以Heartbeat HA实现两台机器动态角色切换,对外(DataNode、DFSClient)使用虚IP来统一配置。这种策略,可以

Tags: , , , , ,

HBase隔离技术

五月 17th, 2013 by klose | No Comments | Filed in 互联网应用, 海量数据存储与处理

背景: 随着HBase在性能和稳定性持续改善和成功案例的积累,HBase逐渐成为了在大数据NoSQL领域的事实标准。越来越多有着大数据应用和处理需求的互联网公司、IT公司,将离线或者半在线的数据平台搭建在HBase之上。 在深入使用和运维过程中,我们发现当新的应用需求而来时,处于性能和效率的考虑,我们就要根据数据规模单独搭建系统,而应用需求和规模的变化,会给HBase的运维和资源使用带来了一定的困扰: 1)HBase集群越多,运维成本就越大。因为稳健的Hbase监控是要从底层存储设备、网络资源、内存、CPU、hdfs、RegionServer到应用服务器读写性能的自下向上的体系,搭建HBase集群的运维开销较大。 2)应用需求的改变,短时间内资源扩容与平衡资源利用率之间存在矛盾。因为需求对于资源需求的变化,可以通过短时间内牺牲非优先的存储性能来平衡。 于是

Tags: , ,

Hadoop0.23.0初探2—HDFS Federation部署

十二月 1st, 2011 by klose | No Comments | Filed in mapreduce, 海量数据存储与处理

Hadoop的目录文件结构: . |– LICENSE.txt |– NOTICE.txt |– README.txt |– bin |– conf |– etc |– export_hadoop.sh |– hadoop-0.23.0-gridmix.jar |– hadoop-0.23.0-streaming.jar |– hadoop-mapreduce-0.23.0-sources.jar |– hadoop-mapreduce-0.23.0.jar |– hadoop-mapreduce-examples-0.23.0-sources.jar |– hadoop-mapreduce-examples-0.23.0.jar |– hadoop-mapreduce-test-0.23.0-sources.jar |– hadoop-mapreduce-test-0.23.0.jar |– hadoop-mapreduce-tools-0.23.0-sources.jar |– hadoop-mapreduce-tools-0.23.0.jar |– lib |– libexec |– logs |– modules |– sbin `̵

Tags: , , ,