Azure IoT数据仓库更新

Question

我正在为我的BI项目构建Azure IoT解决方案。现在，我有一个应用程序，每个设置的时间窗口一次将.csv blob发送到Azure Blob存储，名称中包含增量编号。所以过了一段时间我会在我的存储文件中，例如＆lt; data1.csv＆＃39;，＆＃39; data2.csv＆＃39;，＆＃39; data3.csv＆＃39;等等。

现在我需要将这些数据加载到一个数据库中，该数据库将使用Azure Stream Analytics作业作为我的仓库。问题可能是.CSV文件将具有重叠数据。它们将每4小时发送一次并包含过去24小时的数据。我需要始终只读取最后一个文件（编号最大）并准备查找，以便正确更新仓库中的数据。什么是使Stream Analytics只读取最新文件和更新数据库记录的最佳方法？

编辑： 澄清 - 我完全清楚ASA无法成为ETL工作。我的问题是使用物联网工具对我的案例最好的方法

Answer 1

我建议使用以下两种方法之一：

• 使用ASA在临时SQL表中写入，并使用SQL触发器 使用diff更新DW的主表。
• 或者通过添加如下所述的唯一约束来删除重复项： https://blogs.msdn.microsoft.com/streamanalytics/2017/01/13/how-to-achieve-exactly-once-delivery-for-sql-output/

谢谢， JS - Azure流分析