提高Hadoop Balancer 迁移block速度的方法

六月 19th, 2015 by klose | No Comments | Filed in 互联网应用, 海量数据存储与处理

如何提高Hadoop Balancer迁移block的速度? 1)增加DataNode用于balancer的bandwidth。 dfs.datanode.balance.bandwidthPerSec 52428800 这个值是DataXceiverServer上BlockBalanceThrottler控制的带宽大小。该单位是Byte,如果机器的网卡和交换机的带宽有限,可以适当降低该速度。Hadoop系统默认是1048576 (1MB)。 2)增加DataNode上转移block的Xceiver的个数上限。 DataNode上同时用于balancer的Xceiver的个数受到了BlockBananceThrottler限制。可以适当调大如下的配置。 dfs.datanode.balance.max.concurrent.moves 50 这个值默认是5。如果仅仅在Balancer的hdfs-site.xml修改配置而没有修改DataNode下的配置,Balancer会抛出如下的WARN LOG: 2015-06-18 15:54:24,253 WARN org.apache.hadoop.hdfs.server.balancer.Dispatcher: Failed to

Tags: