Hadoop0.23.0初探3—HDFS NN,SNN,BN和HA

十二月 9th, 2011 by klose | No Comments | Filed in 互联网应用, 海量数据存储与处理

前言 保证HDFS高可用是Hadoop被推广以来很多技术人员一直关心的问题,通过搜索引擎搜索也可以得到很多的方案。恰逢HDFS Federation出炉,本文将一些涉及到有关NameNode、SecondaryNameNode、BackupNode的含义与区别,以及HDFS HA框架做一个总结。除此之外,文章的最后,将介绍Hadoop-0.23.0如何配置NameNode、SecondaryNameNode、以及BackupNode。 1、HDFS元数据服务器如何工作? Namenode在第一次启动时刻之前,进行格式化,$bin/hdfs namenode -format -clusterid yourid 按照需求生成VERSION:例如我Hadoop0.23.0初探2中使用gb17作为namenode,在format之后会在dfs.hadoop.name.dir目录中生成如下的VERSION $ cat /opt/jiangbing/hdfs23/current/VERSION #Thu Dec 08 16:27:30 CST 2011 namespaceID=1787450988 clusterID=klose cTime=0 storageT

Tags: , , , ,