一篇文章搞懂HDFS的数据负载均衡策略
写在前面
本专栏目录结构和文献引用请见
解答
什么是数据负载均衡策略？
HDFS的架构支持数据均衡策略。
如果某个 DataNode 节点上的空闲空间低于特定的临界点，按照均衡策略系统就会自动地将数据从这个 DataNode 移动到其他空闲的 DataNode。
当对某个文件的请求突然增加，那么也可能启动一个计划创建该文件新的副本，并且同时重新平衡集群中的其他数据。
当HDFS负载不均衡时，需要对 HDFS 进行数据的负载均衡调整，即对各节点机器上数据的存储分布进行调整，从而让数据 均匀的分布在各个 DataNode 上，以均衡 IO 性能、平衡 IO、平均数据、平衡集群，防止热点的发生
start-balancer.sh
在 Hadoop 中，包含一个 start-balancer.sh 脚本，通过运行这个工具，启动 HDFS 数据均衡服务。
$HADOOP_HOME/bin 目录下的 start-balancer.sh 脚本就是该任务的启动脚本。
启动命令为
$HADOOP_HOME/bin/start-balancer.sh -threshold
影响 Balancer 的几个参数:
-threshold
- 默认设置:10
- 参数取值范围:0-100
- 参数含义:判断集群是否平衡的阈值。
- 参数含义：理论上，该参数值越小整个集群就越平衡
dfs.balance.bandWidthPerSec
- 默认设置:1048576(M/S)
- 参数含义: Balancer运行时允许占用的带宽
上一篇：
JS实现多线程数据分片下载
下一篇：
HDFS的读写流程(大数据面试高频一)