跳到主要内容

CDH 6.3.2 参数调整

1.主机配置​

cdh-host-config

配置项：内存调拨过度验证阈值 推荐配置 0.9 举例：内存64g, (1-0.9)*64=6.4,6.4g 即服务器预留内存 特例：服务器内存不统一，无法进行统一预留，择可以选择分组管理。点击 管理主机覆盖项 ，在选择对应的主机进行分组，更改对应的阈值

cdh-host-config-2

详细描述

  • 验证主机上的 RAM 分配时所使用的阈值。

  • 0 表示将所有的内存预留给系统使用。

  • 1 表示不预留任何内存。其值的变动范围为 0 至 1。

2.HDFS 参数调整​

默认参数一般就够用，后面根据具体性能调整即可

3.Hive 参数调整​

HiveServer2 最大线程数量 hive.server2.thrift.max.worker.threads

默认 100

调整 200

如果部署HA,可适当调整此参数

搜索 HiveServer2 的 Java 堆栈大小（字节）

调整到 8g

Java 进程堆栈内存的最大大小（以字节为单位）。已传递到 Java -Xmx。

根据业务量和集群资源进行调整

搜索 **自动重启进程 ** 勾选

设置后，此角色的进程将在发生意外故障时自动（并以透明方式）重启

添加 jar 包辅助目录：

Hive 辅助 JAR 目录 /usr/share/hive

hive-aux.jars

其他参数可根据后续使用情况调整

4.Yarn 参数调整​

搜索 mapreduce.reduce.memory.mb 设置为2g

搜索 mapreduce.map.memory.mb 设置为2g

搜索 yarn.nodemanager.resource.cpu-vcores

单个计算节分配出来的核数，如果计算几点64核，这里可以设置为60-62

搜索 yarn.scheduler.minimum-allocation-vcores 设置为 2

搜索 yarn.nodemanager.resource.memory-mb

单个计算节点分配出来的内存，如果计算节点是 64g,这是可以设置为 50g。（剩余主机内存保留，加上其他角色预留预留）

5.Impala 参数调整​

搜索 Impala Daemon 的 Java 堆栈大小（字节） 设置为 8g（内存少，给4G也能跑）

搜索 Impala Daemon 内存限制 设置为 10g（越多越好）

一般默认 5个节点 x8g,内存充足适当上调

搜索 Impala Daemon Max Client Connections 200

注意​

1.如果集群资源存在 多核少内存，核心和内存可配置 1:1 ，例如 mapreduce.reduce.memory.mb =2 mapreduce.map.memory.mb =2 和 yarn.scheduler.minimum-allocation-vcores = 2

2.如果集群资源存在 少核多内存，可适当调整内存参数 1:4 或者更高 ，例如 yarn.scheduler.minimum-allocation-vcores 1 、 mapreduce.reduce.memory.mb =4 和 mapreduce.map.memory.mb =4

本页导航