yarn三种调度器(资源调度策略或机制)，Yarn资源调度器，调度机有哪些功能？...
yarn三种调度器(资源调度策略或机制)
在理想状态下，我们对yarn的资源请求，应该是立即得到相应，但是实际情况往往资源是有限的，如果集群很繁忙的话，一个应用的资源请求需要等待一段时间才能得到资源。为此yarn提供了三种调度器供我们选择 FIFO Scheduler 把应用按照提交的顺序拍成一个队列，上图是一个先进先出的队列，但是他并不适合共享集群，上图中job1在0点提交任务，资源使用率为100%，那么job2任务在1点提交的任务，只能等job1在5点钟执行完任务后释放资源，job2才开始执行任务，所以小任务会被大任务阻塞 而对于Capacity Scheduler，提前预留一个专门的通道给小任务执行，但是这样会预先占用一些资源，大任务只能利用80%的资源，就导致大任务的运行时间要大于FIFO的大任务的运行时间；如上图，而且小任务前后会造成资源浪费 在Fair Scheduler调度器中，我们不需要预留资源，Fair调度器会动态运行所有job的资源，如上图，一开始0点的时候，job1占用所有集群的资源，当job2提交的时候，Fair调度器会分配一半资源给job2，让job1和job2并行的运行任务 当job2在1点钟提交任务的时候，获取资源会有 一定的延时 ，因为需要job1关闭掉一些container，释放一些资源；小任务完成后，释放自己的资源，然后大任务又获取所有集群的资源 最终Fair调度器提高了资源利用率，又保证了小任务的及时完成 在企业中并不是只有一个人来执行MapReduce程序单独使用Yarn的资源，实际开发中，会有很多人一起使用Yarn这个资源，如果每个人都提交了job，这个时候Yarn就需要进行调度去分配资源给job， 下面三种调度机制，默认的是FIFO机制，这种机制是先进先出队列机制，在企业中基本不会使用，第二种机制Capacity机制是使用最多的，它是开辟出两个队列分给不同的组来执行job，但相同的组还是要按照先进先出的队列机制，第三种机制也常有使用。
Yarn资源调度器
思考：
（1）如何管理集群资源
（2）如何给任务合理分配资源
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce程序相当于运行在操作系统上的应用程序
Yarn主要有ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
目前，Hadoop的调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler），Hadoop3.x默认的调度器就是Capacity Scheduler
具体配置位置在yarn-default.xml
FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务
Capacity Secheduler是Yahoo开发的多用户调度器
容量调度器资源分配算法
Fari Scheduler是Facebook开发的多用户调度器
DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存、CPU、网络带宽等，这样我们很难衡量两个应用应该分配的资源比例
那么在Yarn中，我们用DRF来决定如何调度：
例如集群一共有100CPU和10T内存，而应用A需要（2CPU、300GB），应用B需要（6CPU、100GB）。则两个应用分别需要A（2%CPU、3%内存）和B（6%CPU、1%内存）的资源，这就是意味着A是内存主导的，B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同的应用进行不同资源（CPU和内存）的一个不同比例的限制
Yarn状态的查询，除了可以在ip:8088页面查看外，还可以通过命令操作。常见命令操作如下所示
需求：执行WordCount案例，并用Yarn命令查看任务运行情况
调度机有哪些功能？
调度机具有集团电话交换机和程控交换机的所有功能，还具有行政生产调度，实现调度一键到位、调度录音、调度会议、群呼、选呼、强拆、强插、监听用等等。
1、调度主机：调度主机实现所有呼叫功能、交换功能、调度功能及组网功能，同时可根据用户需求采用不同的配置。调度主机可实现调度用户和行政用户两网合一，以充分利用资源。
2、调度台：目的就是实现调度一键到位，调度台是进行具体操作的平台。调度员可以通过调度台观察所有调度用户的使用状态，进行调度操作。调度台通过设置按键与被叫号码相对应，使调度台呼叫做到一键到位。
3、终端维护：终端维护的作用是控制与维护调度交换机主机的工作，包括数据管理、维护、会议电话管理和计费管理等功能。
4、调度录音系统：录音系统可对整个属于调度机系统任何调度总机或分机进行重要通话录音。
下一篇：没有了
