大型参考数据

时间:2017-10-05 19:23:28

标签: azure-stream-analytics

在我的Azure Streaming Analytics作业中,我正在尝试地理定位IP地址。我使用的参考大约是165 MB。参考数据blob每个限制为100 MB,但documentation表示以下内容:

  

Stream Analytics的每个blob限制为100 MB,但作业可以使用路径模式属性处理多个参考blob。

我将如何利用这一点?我已将数据拆分为两个85 MB文件iplookup1.csviplookup2.csv,但似乎无法弄清楚如何将参考数据输入同时作为大型数据集。

作为一个止损,我可能会尝试创建两个参考数据输入,然后在两者之间进行左连接并拉出非空值。

1 个答案:

答案 0 :(得分:0)

根据我的理解,对于参考数据,您可以在Path Pattern属性中指定静态数据(例如products/products.csv),或者您可以指定这些变量的一个或多个实例({date},{{1像} {time}一样刷新你的参考数据。

根据您的场景,我假设您需要创建两个参考数据输入,然后您可以利用Union操作将两个或多个查询的结果合并到一个结果中。对于参考数据JOIN,您可以关注here

<强>更新

products/{date}/{time}/products.csv
相关问题