debug 记录：专治各种疑难杂症

[geekyouth]

MoveTask. Unable to move source hdfs:

hdfs 权限问题导致的

手动删除或者重新分配 hdfs 文件权限，建议使用 hive 账户操作 hive 文件，
sudo -u hdfs hadoop fs -chown -R hive:super-group /warehouse

[geekyouth]

HUE api 各种报错解决。。。

0647-6.1.1-Hue集成HBase出现Api Error异常分析(续) - 云+社区 - 腾讯云
https://cloud.tencent.com/developer/article/1442402

[geekyouth]

debug 记录：
java.io.IOException: rename for src path: hdfs:

1- hive.warehouse.subdir.inherit.perms=false 无效
2-hive.insert.into.multilevel.dirs=true 无效
3-hive.exec.scratchdir=/warehouse/.hive-staging 无效

最终：hue 切换到 hdfs 可以正常 overwrite
hdfs 权限：

[geekyouth]

IDEA 连接 HIVE 查询超时异常，尤其是加了过滤排序等操作，会影响结果集返回时间：

[42000][30041] Error while processing statement: FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 32cc2c16-d909-4f4a-924f-81dad77a1d1a_1: java.util.concurrent.TimeoutException: Client '32cc2c16-d909-4f4a-924f-81dad77a1d1a_1' timed out waiting for connection from the Remote Spark Driver
处理方案：延长超时客户端的超时时间，具体时常主要取决于你的查询耗时，hive on spark 查询在我的集群平均耗时 12 秒左右，这里我设置 30s

hive-site.xml 高级代码段安全阈：

<property>
<name>hive.spark.client.connect.timeout</name>
<value>30000ms</value>
</property>

[geekyouth]

hue报错修复：

‘ascii’ codec can’t encode characters in position xxx ordinal not in range(12_python_大笨花猫的博客-CSDN博客
https://blog.csdn.net/love_rongrong/article/details/17119261

cd $CDH_HOME
vim lib/hue/build/env/lib/python2.7/site-packages/sitecustomize.py
# encoding=utf8
import sys

reload(sys)
sys.setdefaultencoding('utf8')

重启即可，此方法一劳永逸