tez ui configuration

一月 13th, 2016 by klose | No Comments | Filed in 互联网应用, 海量数据存储与处理

tomcat tez-ui configuration, which is deployed on the tez-ui-${version}.war/scripts/configs.js It is easily wrong if we do not configure the right timelineBaseUrl and RMWebUrl, so please do the adjustment before kicking off the tez service. App.setConfigs({ /* Environment configurations */ envDefaults: { version: “0.8.1-alpha”, /* * By default TEZ UI looks for timeline server at http://localhost:8188, uncomment and change * the following value for pointing to a different domain. */ // timelineBaseUrl: ‘http://localhost:8188′, /* * By default RM web interface is expected to be at http://localhost:8088, uncomment and change

Tags: ,

提高Hadoop Balancer 迁移block速度的方法

六月 19th, 2015 by klose | No Comments | Filed in 互联网应用, 海量数据存储与处理

如何提高Hadoop Balancer迁移block的速度? 1)增加DataNode用于balancer的bandwidth。 dfs.datanode.balance.bandwidthPerSec 52428800 这个值是DataXceiverServer上BlockBalanceThrottler控制的带宽大小。该单位是Byte,如果机器的网卡和交换机的带宽有限,可以适当降低该速度。Hadoop系统默认是1048576 (1MB)。 2)增加DataNode上转移block的Xceiver的个数上限。 DataNode上同时用于balancer的Xceiver的个数受到了BlockBananceThrottler限制。可以适当调大如下的配置。 dfs.datanode.balance.max.concurrent.moves 50 这个值默认是5。如果仅仅在Balancer的hdfs-site.xml修改配置而没有修改DataNode下的配置,Balancer会抛出如下的WARN LOG: 2015-06-18 15:54:24,253 WARN org.apache.hadoop.hdfs.server.balancer.Dispatcher: Failed to

Tags:

Java并发编程总结—Hadoop核心源码实例解读

五月 26th, 2011 by klose | No Comments | Filed in mapreduce, 互联网应用, 求职技术, 编程点滴

程序设计需要同步(synchronization),原因: 1)复杂的功能要求的需要使用多线程编程,线程之间存在读写共享变量。 2)读写共享变量(shared mutual variable),JVM的内存模型(Memory model: decide when and how changes made by one thread become visuble to others)受到其它因素干扰。 3)对共享变量的操作非原子性。例如 i++;就不是原子操作,它分为两部分,(1) 读i (2) i+1写入内存。如果i是线程A和线程B共享的变量,线程A在操作(1)之后,线程调度器调度调度线程B执行i++,因此两个线程在变量i产生了不一致。注意,volatile修饰符是线程操作之前更新数据,但是,上面的问题显然不是更新数据就能解决的。 4)增加互斥区(mutual exclusion)会降低执行效率,但是这是实现数据安全、功能强大的多线程编程最为重要的部分。 5)线程之间需要

Tags: , , ,

MapReduce学习曲线(初学者)

五月 19th, 2011 by klose | No Comments | Filed in mapreduce, 海量数据存储与处理

Jeaf Dean 在OSDI04上论文:http://labs.google.com/papers/mapreduce.html 然后有如下的列表,请关注klose的分析的文章: MapReduce 1  2  3  4  5 HaLoop: hadoop对于迭代MapReduce的支持,从而丰富应用范围。 部署多个Hadoop集群,资源复用 Data Join MapReduce优化 Hadoop探索 From Binospace, post MapReduce学习曲线(初学者) 文章的脚注信息由WordPress的wp-posturl插件自动生成

Tags: ,