Hadoop3.x有哪些新特性？

YARN资源模型已被通⽤化，以⽀持⽤户定义的CPU和内存以外的可计数资源类型。例如，集群管理员可以定义资源，例如GPU，软件许可证或本地连接的存储。然后可以根据这些资源的可⽤性来调度YARN任务

基于HDFS路由器的联合添加了⼀个RPC路由层，该层提供了多个HDFS名称空间的联合视图。这简化了现有HDFS客户端对联合群集的访问。

单个DataNode可管理多个磁盘。在正常的写操作过程中，磁盘将被均匀填充。但是，添加或替换磁盘可能会导致DataNode内部出现严重偏差。原有的HDFS平衡器⽆法处理这种情况。新版本的HDFS中有平衡功能处理，该功能通过 hdfs diskbalancer CLI调⽤。

Hadoop现在⽀持与Microsoft Azure数据湖和Aliyun对象存储系统集成，作为与Hadoop兼容
的替代⽂件系统。

NameNode 的端⼝: 
50070 --> 9870, 
8020 --> 9820, 
50470 --> 9871;
Secondary NameNode 的端⼝: 
50091 --> 9869, 
50090 --> 9868;
DataNode 的端⼝: 
50020 --> 9867,
50010 --> 9866, 
50475 --> 9865, 
50075 -->9864;
Hadoop KMS 的端⼝: 
16000 --> 9600

在之前的版本中，HDFS的⾼可⽤最多⽀持两个NameNode。在HDFS 3.x 版本中，通过将编辑复制到法定数量的三个JournalNode，该体系结构能够容忍系统中任何⼀个节点的故障。但是，某些部署需要更⾼的容错度。这个新特性启⽤了这⼀点，该功能允许⽤户运⾏多个备⽤NameNode。

也就是增加了对map输出到本地的支持，这样子对于shuffle密集型的task会减少网络传输，提升了性能。

纠删码是⼀种持久存储数据的⽅法，可节省⼤量空间。与标准HDFS副本机制的3倍开销相⽐，像Reed-Solomon(10,4) 这样的标准编码的空间开销是1.4倍。
由于纠删码在重建期间会带来额外的开销，并且⼤多数情况下会执⾏远程读取，因此传统上已将其⽤于存储较冷，访问频率较低的数据。
在部署此功能时应考虑纠删码机制的⽹络和CPU开销。