上海建设安全生产协会网站武汉seo搜索引擎优化
目录
1：系统服务分布图
3台分布式架构
1台单机架构
服务版本介绍
2：服务目录
存储相关
数据采集
任务调度
即席查询
数据可视化
集群监控
元数据管理
用户认证
权限管理
第三方windows客户端
1：系统服务分布图
3台分布式架构
| node01(6G内存) | node02(6G内存) | node03(6G内存) | |
| NameNode | √ | √ | |
| DataNode | √ | √ | √ |
| ResourceManager | √ | √ | |
| NodeManager | √ | √ | √ |
| JobHistoryServer 历史服务器 | √ | ||
| Zookeeper | √ | √ | √ |
1台单机架构
| node100(20G内存) | |
| NameNode | √ |
| DataNode | √ |
| ResourceManager | √ |
| NodeManager | √ |
| JobHistoryServer 历史服务器 | √ |
| Zookeeper | √ |
服务版本介绍
| 框架 | 版本 |
| java | 8 |
| mysql | 5.7 |
| zookeeper | 3.5.7 |
| kafka | 2.12-2.2.0 |
| hadoop | 3.2.2 |
| hive | 3.1.2 |
| hbase | 2.3.6 |
| Elasticsearch | 7.8.0 |
| ClickHouse | 21.7.314 |
| spark | 3.0.0 |
| flink | 1.13.0 |
| flume | 1.9.0 |
| sqoop | 1.4.7 |
| DataX | 3.0.0 |
| Maxwell | 1.29.2 |
| Cannal | 1.1.2 |
| Azkaban | 3.90.0 |
| DolphinScheduler | 2.0.3 |
| Superset | 1.3.2 |
| Kylin | 3.0.1 4X要求spark3.1x |
| Presto | 0.189 |
| Atlas | 2.1.0 |
2：服务目录
Mysql系列：Mysql5.7编译安装
Mysql系列：Mysql5.7 Docker安装
Apache Hadoop生态部署-安装Java8环境
Apache Hadoop生态部署-3台设置的免密登录，xsync分发脚本，jpsall脚本
存储相关
Apache Hadoop生态部署-zookeeper单机安装
Apache Hadoop生态部署-zookeeper分布式安装
Apache Hadoop生态部署-kafka单机安装
Apache Hadoop生态部署-kafka分布式安装
Apache Hadoop生态部署-hadoop单机安装
Apache Hadoop生态部署-hadoop伪分布式安装
Apache Hadoop生态部署-hadoop分布式安装(HA)
Apache Hadoop生态部署-hive单节点安装
Apache Hadoop生态部署-hbase单节点安装
Apache Hadoop生态部署-hbase分布式安装
Apache Hadoop生态部署-ClickHouse单节点安装
Apache Hadoop生态部署-ClickHouse分片集群安装
Apache Hadoop生态部署-Elasticsearch单节点安装
Apache Hadoop生态部署-Elasticsearch分片集群安装
数据采集
Apache Hadoop生态部署-Flume采集节点安装
Apache Hadoop生态部署-sqoop(离线数据同步)采集节点安装
Apache Hadoop生态部署-DataX(离线数据同步)采集节点安装
Apache Hadoop生态部署-Maxwell(实时数据同步)采集节点安装
Apache Hadoop生态部署-Cannal(实时数据同步)采集节点安装
任务调度
Apache Hadoop生态部署-Azkaban集群模式安装
Apache Hadoop生态部署-DolphinScheduler安装
即席查询
Apache Hadoop生态部署-Kylin安装
Apache Hadoop生态部署-Presto安装
Apache Hadoop生态部署-Druid安装
Apache Hadoop生态部署-Doris安装
数据可视化
Apache Hadoop生态部署-Superset安装
集群监控
Apache Hadoop生态部署-Zabbix安装
Apache Hadoop生态部署-Prometheus安装
元数据管理
Apache Hadoop生态部署-Atlas安装
用户认证
Apache Hadoop生态部署-Kerberos安装
Apache Hadoop生态部署-Kerberos集成hdfs
Apache Hadoop生态部署-Kerberos集成yarn
Apache Hadoop生态部署-Kerberos集成hive
Apache Hadoop生态部署-Kerberos集成hbase
权限管理
Apache Hadoop生态部署-Ranger安装
第三方windows客户端
Apache Hadoop生态部署-zookeeper客户端prettyZoo
Apache Hadoop生态部署-kafka客户端kafkatool
Apache Hadoop生态部署-DBeaver客户端-连接hive
Apache Hadoop生态部署-DBeaver客户端-连接hive+kerberos
Apache Hadoop生态部署-DBeaver客户端-连接hbase
Apache Hadoop生态部署-DBeaver客户端-连接hbase+kerberos