Appearance
Hadoop3.x修改默认配置
有时集群可能与现有端口冲突，或者出于安全考虑会要修改默认端口或存储。下面列出了整理的常用配置项。
修改默认端口
| 涉及组件 | 配置项 | 默认端口 | 配置文件 |
|---|---|---|---|
| zookeeper | 端口 | 2181 | |
| zkui | 9093 | /data/software/zkui/config.cfg | |
| hadoop | namenode的web访问 | 9870 | hdsf-site.xml / dfs.namenode.http-address.mycluster.nn1 |
| hadoop | namenode的RPC地址 | 8020 | hdsf-site.xml / dfs.namenode.rpc-address.mycluster.nn1 |
| hadoop | 历史服务器 | 10020 | mapred-site.xml / mapreduce.jobhistory.address |
| hadoop | 历史服务器web | 19888 | mapred-site.xml / mapreduce.jobhistory.webapp.address |
| yarn | webapp地址 | 8088 | yarn-site.xml / yarn.resourcemanager.webapp.address yarn.resourcemanager.webapp.address.rm1 |
| yarn | 日志聚集服务 | 19888 | yarn-site.xml / yarn.log.server.url |
| hive | metastore | 9083 | hive-site.xml / hive.metastore.port |
| hive | hive.metastore.uris | 9083 | hive-site.xml / hive.metastore.uris |
| hive | webui | 10002 | hive-site.xml / hive.server2.webui.port |
| hive | thrift | 10000 | hive-site.xml / hive.server2.thrift.port |
| hive | thrift http | 10001 | hive-site.xml / hive.server2.thrift.http.port |
| 同步修改hivectl.sh脚本中的端口 | |||
| hive | RPC port for LLAP | 15004 | hive-site.xml / hive.llap.management.rpc.port |
| hive | YARN shuffle port for LLAP | 15551 | hive-site.xml / hive.llap.daemon.yarn.shuffle.port |
| hive | LLAP daemon web UI | 15002 | hive-site.xml / hive.llap.daemon.web.port |
| hive | LLAP daemon output service | 15003 | hive-site.xml / hive.llap.daemon.output.service.port |
| spark | spark webui | 8081 | spark-env.sh / SPARK_MASTER_WEBUI_PORT |
| spark | spark master port | 7077 | spark-env.sh / SPARK_MASTER_PORT |
| spark | spark master port | 7077 | spark-defaults.conf / spark.master |
| spark | spark.ui.port | 4040 | spark-defaults.conf / spark.ui.port |
| hbase | hbase.master.port | 16000 | hbase-site.xml / hbase.master.port |
| hbase | master webui | 16010 | hbase-site.xml / hbase.master.info.port |
| hbase | regionserver port | 16201 | hbase-site.xml / hbase.regionserver.port |
| hbase | regionserver web | 16301 | hbase-site.xml / hbase.regionserver.info.port |
| dolphinscheduler | apiserver | 12345 |
修改默认存储
| 涉及组件 | 配置文件 | 新的配置 |
|---|---|---|
| zookeeper | zoo.cfg / dataDir | /data/soft_data/zookeeper/data |
| zookeeper | zoo.cfg / dataLogsDir | /data/logs_data/zookeeper/logs |
| hadoop | core-site.xml / hadoop.tmp.dir | /data/soft_data/hadoop/tmp |
| hadoop | hdfs-site.xml / dfs.journalnode.edits.dir | /data/soft_data/hadoop/journalnode |
| hive | hive-site.xml / hive.exec.local.scratchdir | /data/soft_data/hive/tmp/hiveuser |
| hive | hive-site.xml / hive.downloaded.resources.dir | /data/soft_data/hive/tmp/${hive.session.id}_resources |
| hive | hive-site.xml / hive.server2.logging.operation.log.location | /data/soft_data/hive/tmp/operation_logs |
| hbase | hbase-site.xml / hbase.tmp.dir | /data/soft_data/hbase/tmp |
记得移动原目录/appdata下的文件到新目录
记得删除zk中/hbase目录(若HMaster启动失败)