UHP介绍

UHP

UHP是UC Hadoop Platfrom的缩写,是用于管理Hadoop的工具。UHP由UcWeb自主研发,是一个以Hadoop为核心的大数据平台,囊括了Zookeeper,Hdfs,Yarn,Hbase,Hive,Impala等常用服务,后续会根据需要添加更多的诸如storm,spark等的大数据相关的服务。

UHP的目标

1. 提高系统稳定性： Hadoop无论从配置安装到监控运行都是复杂和繁琐的。UHP希望能屏蔽掉这些细节,暴露简单的接口提供使用。
2. 节约运维成本：Hadoop需要专业的工程师运维，学习成本高,运维难度大。UHP希望能通过提供简单的管理界面,完成日常的运维工作。
3. 监控服务并告警：针对生产环境中的容易暴露的问题进行监控并告警,防患于未然。
4. 轻量级,可以降级服务:Uhp部署后的Hadoop可以通过UHP的界面,ansible命令行,甚至登录到该机器进行控制维护。

UHP的一些特性

• UHP是主要以Python写作的应用软件，通过Web服务和Daemon程序管控Hadoop。
• UHP部署在单台机器上，UHP不需要和Hadoop主机部署在相同机器上，但习惯上是部署在一起的。
• UHP和Hadoop没有强的依赖关系，UHP程序崩溃不会影响Hadoop运行。
• UHP期望是无单点故障的，它的主要数据存储在Mysql中。在实际部署中,Mysql部署成主主互备。
• 如果UHP所在机器故障，在另一个机器Git代码，连上原有数据库，启动即可继续服务。
• UHP使用Ansible脚本执行任务，使用Yum安装Cloudera的CDH。1.1版本中使用ganglia作为底层的数据采集和存储。
• UHP安装在单一用户下，要求此用户有sudo权限。

服务版本

当前,UHP不提供Hadoop版本选择功能。后续,会加入不同版本的支持。 以下是一些UHP的服务信息：

• 选择了CDH4.2.1版本作为底层的Hadoop安装版本,并加上一些重要的bugfix包。
• 使用qjm作为Namenode的High Availability方案。
• 使用YARN,并使用公平调度器
• 使用cloudera search 1.0.0