内存分配参数
- yarn.nodemanager.resource.memory-mb：控制节点可用内存总量，设置过大可能导致系统交换，过小则浪费资源，建议预留物理内存的20%给系统和其他进程,剩余分配给YARN。
- mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb：指定Map和Reduce任务的内存上限，根据数据量调整，对于数据倾斜明显的作业,适当增大Reduce内存。
- yarn.scheduler.maximum-allocation-mb：限制单个容器最大内存，避免任务过度占用，通常设置为与mapreduce.reduce.memory.mb一致或略大。
CPU与并行度参数
- yarn.nodemanager.resource.cpu-vcores：定义节点可分配的虚拟核数，通常设置为物理核数的1-2倍，超线程开启时可取2倍,关闭时取1倍。
- mapreduce.map.cpu.vcores 和 mapreduce.reduce.cpu.vcores：任务请求的虚拟核数，影响并行度，建议与内存比例匹配,如4GB内存配1核。
- mapreduce.task.io.sort.mb：排序缓冲区大小，适当增大可减少磁盘溢出，默认值较小，建议根据map内存的50%左右设置。
I/O缓冲区参数
- io.file.buffer.size：文件系统缓冲区大小，默认为4096，较大值可提升顺序读写性能，对于HDFS顺序读写的场景,建议设置为65536或更大。
- mapreduce.task.io.sort.factor：合并文件时的流数，增大可减少合并轮次，默认值10，建议增大到30-50,但需考虑文件描述符限制。
调整时建议结合集群硬件配置逐步试探，避免一次性改动过大，业内专家指出，先从内存参数入手，再调整CPU和I/O,成功率较高。
hadoop参数调优实战：场景化优化方法
不同作业类型对参数敏感度不同，以下针对常见场景给出调整方向，掌握这些技巧,你就能在类似场景中快速定位瓶颈。
小文件场景
小文件过多会导致NameNode压力大，Map任务数激增,建议：
- 使用CombineFileInputFormat合并小文件,减少Map任务数。
- 减小mapreduce.task.io.sort.mb,避免任务过多内存不足。
- 适当调大mapreduce.input.fileinputformat.split.maxsize,使更多小文件合并到一个分片。
大内存作业场景
对于排序、Join等需要大量内存的作业：
- 适当增大mapreduce.map.memory.mb和mapreduce.reduce.memory.mb,确保任务不溢出磁盘。
- 确保yarn.scheduler.maximum-allocation-mb大于单体任务内存需求。
- 调大mapreduce.task.io.sort.mb以容纳更多中间数据,减少磁盘溢出次数。
实时查询与批处理对比
实时查询要求低延迟，批处理侧重吞吐量,参数配置截然不同：
- 实时查询：适当减少Map和Reduce任务的内存，加快任务启动速度；调小task.io.sort.mb,降低排序开销。
- 批处理：增大内存和缓冲区，延长任务执行时间换取效率；调大sort.factor和sort.mb,减少合并轮次。
行业共识认为，场景化调优比通用调优更有效，建议先分析作业日志,再针对性调整。
hadoop与spark参数对比：资源分配决策
很多团队在Hadoop和Spark之间做选型时，往往忽略参数配置差异，了解两者的资源分配模型,有助于做出更合理的架构决策。
内存管理模型对比
| 特性 | Hadoop MapReduce | Spark |
|---|---|---|
| 内存分配方式 | 静态分配，任务独占容器内存 | 动态分配，统一内存管理（executor内存分为存储和执行） |
| 参数调整重点 | mapreduce.map.memory.mb、mapreduce.reduce.memory.mb | spark.executor.memory、spark.memory.fraction、spark.memory.storageFraction |
| 内存利用率 | 浪费较多，因为每个任务固定内存 | 较高，通过内存共享和动态调整减少浪费 |
CPU利用率差异
| 特性 | Hadoop MapReduce | Spark |
|---|---|---|
| CPU分配方式 | 按任务请求核数，Map和Reduce阶段独立 | 按executor并发执行task数，可动态调整 |
| 并行度参数 | mapreduce.map.cpu.vcores、mapreduce.reduce.cpu.vcores | spark.executor.cores、spark.default.parallelism |
| 适用场景 | CPU密集型且作业稳定时更可控 | 混合负载时弹性更好 |
适用场景选择
如果业务以批处理为主，且数据量巨大但作业逻辑简单，Hadoop的静态配置更易预测，如果业务包含迭代计算、交互式查询或机器学习，Spark的动态内存管理能更好利用资源，在参数配置上，Hadoop侧重限定容器资源,Spark侧重平衡执行与存储内存。
hadoop配置参数常见问题
问题1：如何安全地调整hadoop配置参数？
先在测试环境对单个参数或少量节点进行改动，观察作业运行状态和日志，使用Cloudera Manager或Apache Ambari可简化配置分发和回滚，建议每次只调整一个参数,确认效果后再继续。
问题2：hadoop参数配置错误导致任务失败怎么办？
检查yarn-site.xml和mapred-site.xml中内存和CPU设置是否超过节点实际资源，常见错误包括yarn.nodemanager.resource.memory-mb大于物理内存、mapreduce.map.memory.mb超过最大分配值，查看ResourceManager日志中的容器分配失败原因,调小参数后重启NodeManager。
问题3：hadoop参数配置对性能影响有多大？
参数配置不当是集群资源浪费的主要原因之一，据行业共识，未正确配置内存和并行度的集群，资源利用率可能低于50%，通过合理调整，大多数作业的执行时间能缩短30%以上，且集群吞吐量明显提升，建议从内存和CPU入手,逐步迭代优化。
掌握hadoop配置参数的核心逻辑，就能在资源有限的情况下最大化集群吞吐量，建议从内存和CPU入手，先确保容器不溢出，再通过调整I/O参数降低磁盘开销,最终实现作业稳定高效运行。