使用Azkaban命令作业在bash下执行Hive CLI

时间:2019-12-10 07:58:00

标签: hadoop hive hiveql kerberos azkaban

我想将Azkaban用作我的Hive工作的调度程序。问题是我的工作实际上是带有某些设置/验证逻辑的bash脚本,然后使用Hive CLI执行Hive查询,因​​此我无法使用Azkaban的Hive作业类型。将这些脚本拆分为多个Azkaban作业也是一种选择,但是它们非常复杂,我目前没有资源来做。​​

我的Hadoop集群要求使用使用密钥表文件的Kerberos进行身份验证。

我尝试使用command作业类型并将user.to.proxy设置为Hive中具有适当权限的用户,但我总是收到此错误:https://pastebin.com/ZDknitvu

我目前的解决方法是在每个作业中运行kinit -kt /path/to/keytabfile.keytab ${USER} && kinit -R。这行得通,但是我不确定是否有适合我的情况的更好的解决方案。你们能帮我吗?谢谢你!

0 个答案:

没有答案
相关问题