zqrx.net
当前位置:首页 >> hADoop容量调度 >>

hADoop容量调度

YARN(一种新的Hadoop资源管理器)能够实现任务抢占.容量调度器与公平调度器可以通过静态配置杀死那些占用集群资源的任务,从而让高优先级任务进行调度. 性能预测Hadoop本身应该做不了吧,需要相应的监控和管理,对任务占用资源进行计算.

调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器,然后在配置文件中指定相应的调度器

早期是用楼上说的FIFO现在用公平调度器和容量调度器前者支持强制公平共享,可能会造成没有优先级后者把集群分为多个队列,内部自制,执行FIFO机制,缺陷大概就是还是FIFO的缺陷吧

目前的hadoop调度器主要有三种:1.默认的fifo2.fair scheduling3.capacity scheduling

不知道

如果你刚开始学,就不用考虑了,hadoop的好处就在于程序员需要考虑的东西比较少,可以专心在coding和algorithm上.名义上是对用户透明的,但是你也可以自己改,毕竟是开源的东西,源代码都在,自己写一个替换他也是可以的.hdfs上的文件是有自己的分配规则的,默认三个副本,第一个会按照节点的负载平衡随机分配,另一个原则上和第一个在一个网络里保证传输,第三个放在另一个网络里保证安全.副本数是可以改的,策略大概就是这样,好像还不能你自己指定节点.

YARN(一种新的Hadoop资源管理器)能够实现任务抢占.容量调度器与公平调度器可以通过静态配置杀死那些占用集群资源的任务,从而让高优先级任务进行调度.性能预测Hadoop本身应该做不了吧,需要相应的监控和管理,对任务占用资源进行计算.

为了提高reduce阶段的并行度,terasort作业对以上算法进行改进:在map阶段,每个map task都会将数据划分成r个数据块(r为reduce task个数)其中第i(i>0)个数据块的所有数据都会比第i+1个中的数据大;在reduce阶段,第i个reduce task处理(进行排序)所有map task的第i块,这样第i个reduce task产生的结果均会比第i+1个大,最后将1~r个reduce task的排序结果顺序输出,即为最终的排序结果.

公平调度是一种赋予作业(job)资源的方法,它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源.当单独一个作业在运行时,它将使用整个集群.当有其它作业被提交上来时,系统会将任务(task)空闲时间片(slot)

Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法先来先服务(FIFO)FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按

网站首页 | 网站地图
All rights reserved Powered by www.zqrx.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com