项目名称 | 项目介绍 | 详细介绍 | 技术框架 |
---|---|---|---|
bdp-metric | 模拟数据源生产仿真数据 | 模拟外部数据源,主要用于生成dummy metric数据,然后写入MySQL,该项目主要由shell脚本组成。 | Shell |
bdp-import | 批量数据导入 | 负责从外部数据源以批量的方式采集数据。 | Sqoop |
bdp-collect | 实时数据采集 | Camel、Kafka | |
bdp-dwh | 构建数据仓库 | 负责构建数据仓库,是批处理的核心项目。 | Spark SQL |
bdp-master-server | 主数据管理 | 主数据系统的服务器端,负责维护主数据,它有两个存储介质:MySQL、Redis,前者用于主数据的持久化存储,后者作为Cache为实时流处理提供主数据查询服务。 | Spring Boot、Redis |
bdp-master-client | 主数据读写客户端 | 专门为读取主数据开发的客户端程序,从bdp-master-server维护的Redis上读取数据,供流处理项目bdp-stream使用 | Scala、Redis |
bdp-stream | 实时流计算 | 负责实时流处理,是实时处理的核心项目。 | Spark Streaming、HBase |
bdp-workflow | 作业调度 | 负责所有批处理的作业编排和调度 | Oozie |
bdp-parent | 管理依赖 | 负责统一维护以上所有项目的依赖类库和插件版本,这是Maven项目中常见的做法。 |
项目 | 配置项 | 配置项说明 | Maven Profile | |
standalone | cluster | |||
bdp-metric | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
bdp-import | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
bdp.metric.db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
bdp.master.db.host | bdp_master的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
bdp-collect | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
bdp.metric.db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
kafka.brokers | kafka的broker服务器列表 | node1.cluster:6667 | worker1.cluster:6667, worker2.cluster:6667, worker3.cluster:6667 |
|
bdp-dwh | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
bdp.metric.db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
bdp.master.db.host | bdp_master的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
bdp-master-server | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
bdp.master.db.host | bdp_master的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
bdp-master-client | redis.host | Redis服务器 | node1.cluster | gateway1.cluster |
bdp-stream | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
app.cluster.bodes | Spark Driver+Executor的服务器列表 | node1.cluster | gateway1.cluster, worker1.cluster, worker2.cluster, worker3.cluster |
|
hbase.zkQuorum | hbase的zkQuorum服务器列表 | node1.cluster:2181 | master1.cluster:2181, master2.cluster:2181, utility1.cluster:2181 |
|
kafka.brokers | kafka的broker服务器列表 | node1.cluster:6667 | worker1.cluster:6667, worker2.cluster:6667, worker3.cluster:6667 |
|
bdp-workflow | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
cluster.namenode | Namenode服务器 | node1.cluster | nameservice1.cluster | |
cluster.resourcemanager | resourcemanager服务器 | node1.cluster | master1.cluster | |
cluster.oozie.host | Oozie服务器 | node1.cluster | utility1.cluster |