HDInsight持久Hive设置

时间:2013-09-25 12:48:19

标签: azure hive hdinsight

Azure HDInsight群集每隔几天(随机?)重启一次,并且在此过程中对hive-site.xml的任何自定义更改(例如添加JsonSerde)都会丢失,而不会发出任何预先警告,并且结果来自Excel / PowerPivot的配置单元查询开始破坏。

您应该如何处理这种情况 - 我们是否被迫将数据存储为CSV文件?

2 个答案:

答案 0 :(得分:0)

如果在创建群集时使用自定义配置对象指定Hive config参数,则应该保留该参数。此处的链接http://hadoopsdk.codeplex.com/wikipage?title=PowerShell%20Cmdlets%20for%20Cluster%20Management提供了有关使用自定义配置创建群集的更多详细信息。

答案 1 :(得分:0)

MSDN上的这篇博文有一个表格,显示了通过不同方法支持哪些自定义,以及使用PowerShell或SDK创建具有自定义Hive配置参数的集群的示例(Powershell示例中的第62-64行) :http://blogs.msdn.com/b/bigdatasupport/archive/2014/04/15/customizing-hdinsight-cluster-provisioning-via-powershell-and-net-sdk.aspx

这是保留这些设置的唯一方法,因为可以为Azure服务事件(如安全更新)重置群集节点,并在发生这种情况时将配置设置回初始值。