在Nifi中使用ConvertJSONToSQL处理器时出错

时间:2017-10-10 12:28:41

标签: apache-nifi

我使用的是2.5 HDP。我在ConvertJSONToSQL处理器中遇到问题我尝试将批量(1GB)大小的Avro文件转换为SQL格式,首先我将Avro格式转换为JSON格式(通过使用ConvertAvroToJSON处理器)之后我将JSON格式转换为SQL格式(通过使用ConvertJSONToSQL处理器)那个时候我遇到了我在下面提到的问题。

enter image description here

enter image description here

1 个答案:

答案 0 :(得分:4)

首先,您尝试使用在Nifi中存在的SplitAvro处理器将批量大小的Avro格式文件拆分为一些小尺寸,然后将其转换为json

配置SplitAvro处理器的处理器

configure processor of SplitAvro processor

有关详细信息,请参阅此link