从JSON文件中提取大于4MB的对象

时间:2018-08-01 12:18:02

标签: json azure azure-data-lake u-sql

我正在尝试从由一系列带有特殊分隔符的JSON文档组成的JSON文件中提取对象。最初,我修改了Microsoft.Analytics.Samples.Formats.Json的MultiLevelJsonExtractor来容纳分隔符,但遇到了4mb的大小限制。做一些研究时,我遇到了Micheal Rys撰写的MultiLineJsonExtractor。 https://github.com/kszicsillag/usql/tree/jsontweaks/Examples/DataFormats/Microsoft.Analytics.Samples.Formats#using-the-multiline-json-extractor 据我了解,这个提取器解决了4mb的大小限制,但是当我尝试从json文件中提取大于4mb的对象(JSON文档)时,仍然遇到问题。

0 个答案:

没有答案