用数据填充数组

Question

问题： 我正在使用API​​。 我想从此API检索数据并用它填充数组。问题在于此API包含大量数据。我的脚本似乎在处理大数据时遇到问题。我在一个小的数据集上测试了我的脚本，它起作用了。当我尝试使用大数据集时，它只是不执行预期的操作。

我的方法：

require_once('classes.php');
$simplicate_companies = [];
$callmonkey_companies = [];
ini_set('display_errors', '1');

for($x=0; $x<1000000000000000000000; $x++){

    $y = $x * 50;

$simplicate_request = $SimplicateApi->makeApiCall('GET' , '/crm/organization?qlimit=50&offset='.$y);
$simplicate_data = $simplicate_request['data'];
$simplicate_companies = array_merge($simplicate_companies , $simplicate_data);
if(count($simplicate_data) === 0){
    break;
}

}

这里发生的是： 我在循环之前定义了一个空数组。

我做一个循环。 （我知道这可能是一个while循环，但这也可行。） 使用$ simplicate_request变量，我从API获取所有数据。 然后，我将数据合并到空数组中。 这个过程一直持续到我没有数据为止，当我没有数据时，循环中断。

问题： 这适用于小数据。对于大数据，这成为一个问题。 我的朋友说了一些关于批处理的事情。但是可悲的是我不知道这是什么。我试图用谷歌搜索，但没有找到明确的答案。我希望这里有人可以指出正确的方向。