PDI Kettle表输入步骤如何加载数据？

Question

我是Kettle的新手。我想知道表输入步骤是否会立即将表中的所有数据加载到内存中。如果是，我该如何避免内存溢出？

Answer 1

如果它像人们一样在大数据场景中如何使用它？ :)不要担心会没事的。如果可以避免，PDI不会将数据存入本地存储器。对于所有输入步骤，这都是相同的。它创建一个游标（如流），只获取当前工作的数据，然后在到达管道末尾时从内存中释放它。