cdh搭建文档
此文档是为了方便快速搭建一套测试使用的cdh环境，通过这个文档，傻瓜应该都能上手
包含kerberos的配置
| 名称 | 版本号 | 备注 |
|---|---|---|
| CDH | 7.1.4 | 截至2020年11月23日最新 |
| HADOOP | 3.1.1 | |
| HDFS | 3.1.1 | |
| HBase | 2.2.3 | |
| Hive | 3.1.3 | |
| Kafka | 2.4.1 | |
| ZooKeeper | 3.5.5 |
软件：VMware® Workstation 15 Pro 系统镜像：CentOS-7-x86_64-DVD-1810.iso
请将以下需要的文件下载作为备用(推荐某雷下载,会比较快)
| mysql驱动包,可以到mvn repository仓库下载,这里直接附上链接,下载后要将文件名改成mysql-connector-java.jar,而不是mysql-connector-java-5.1.49.jar |
|---|
| https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar |
这一步其实可以省略，看你需要，我这里会将机器的静态ip设置为192.168.68.220
这里配置为[single-cdh]
hostnamectl set-hostname single-cdhvi /etc/hosts记住，这里的hosts末尾有s的，不是host，是hosts
加入你的机器名和ip的映射关系
192.168.68.220 single-cdh
systemctl stop firewalld.service
systemctl disable firewalld.service该步骤单机版不知道需不需要,这里也做上吧
ssh-keygen后面一路回车即可
setenforce 0若centos的时区跟实际对不上,那就使用以下命令切换一下
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimedocker pull mysql:5.7docker run --name mysql -e MYSQL_ROOT_PASSWORD=root -d --restart=always -p 3306:3306 mysql:5.7CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE ranger DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;这里采用离线安装,否则使用网络安装,可能会因为网络问题而失败
一般来说centos是自带的,如果没有,使用yum装一下就可以了
yum install httpd createrepo -y启动
systemctl start httpd
systemctl enable httpd创建目录
mkdir -p /var/www/html/cm7/7.1.4/将备用的rpm包上传到/var/www/html/cm7/7.1.4/
mv cloudera-manager-* /var/www/html/cm7/7.1.4/
mv allkeys.asc /var/www/html/cm7/7.1.4/
mv openjdk8-8.0+232_9-cloudera.x86_64.rpm /var/www/html/cm7/7.1.4/
mv enterprise-debuginfo-7.1.4-6363010.el7.x86_64.rpm /var/www/html/cm7/7.1.4/
mv RPM-GPG-KEY-cloudera /var/www/html/cm7/7.1.4/上传结束后,运行命令,注意后面的点
createrepo .制作repo源
cd /etc/yum.repos.d
vim cm7.repo填写内容如下,注意地址跟你本机匹配,这里是single-cdh
[cm7]
name=cm7
baseurl=http://single-cdh/cm7/7.1.4
gpgcheck=0
enabled=1创建目录
mkdir -p /var/www/html/cdh7/7.1.4mv CDH* /var/www/html/cdh7/7.1.4
mv manifest.json /var/www/html/cdh7/7.1.4将备用的parcel包上传到/var/www/html/cdh7/7.1.4
这里不用使用命令createrepo .,这只是用来做文件服务器,又不是建立rpm本地源
还记的yum源里有一个jdk安装包吗,去到他的目录,直接运行以下命令安装
rpm -ivh openjdk8-8.0+232_9-cloudera.x86_64.rpm安装好后,应该会出现以下目录
/usr/java上传到以下的目录
/usr/share/javamv mysql-connector-java.jar /usr/share/javayum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server直接运行即可
JAVA_HOME=/usr/java/jdk1.8.0_232-cloudera /opt/cloudera/cm-agent/bin/certmanager setup --configure-services直接执行下面语句,后面两个参数是数据库账号和密码
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root root若你走到了这里,建议此时此刻保存一下虚拟机的快照,免得后面的操作有问题可以快速回复
启动命令：
systemctl start cloudera-scm-server.service查看日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log停止
systemctl stop cloudera-scm-server.servicevi /etc/cloudera-scm-agent/config.ini修改server_host=single-cdh
启动
systemctl start cloudera-scm-agent查看状态
systemctl status cloudera-scm-agent查看日志
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log打开浏览器 http://192.168.68.220:7180/
选择60天试用
扫描并选中主机名
选择配置parcel源
将url全部删掉，留下我们自己配置的仓库url，输入后点击“save & Verify Configuration”
这里一定要选择7.1.4的版本，如果没有这个版本选择，那估计是前面的步骤哪里没做好了，只能重做
这里输入机器的账号密码，这里都是root
如无意外，会来到这个页面，这个页面下载不会很慢，因为我们自己配置了下载仓库，耐心等待
选择自定义服务
这里为了提高安装服务的成功率，建议一个一个安装，首先安装hdfs
需要配置Reports Manager的时候，如下配置
再安装zookper
再安装yarn
最后再安装hive
数据库配置如下
要为WebHcat和HiveServer2设置节点，默认是无的
最终一个简单的cdh服务就搭建好了
一定要先将ssl关闭，如下，关闭后重启一下Hive配置
连接命令：
!connect jdbc:hive2://single-cdh:10000/;账号和密码都是hive
效果如图：
