我在MySQL中创建一些扁平化表格用于报告目的，我使用的数据源是Google BigQuery。这些聚合表的主要目的是减少读取周期的数量并降低成本，因为它将在一天内运行一次后台作业，然后在MySQL中存储计数。稍后，报告代码从MySQL表中读取并继续此过程。
现在我面临的问题是限制。如果我从bigquery获取总计数并在一个loo中运行查询，一次说100条记录，它将执行一些读取，因为它是一个聚合查询，它将处理Bigquery表中的所有数据在成本方面不会有任何优势，因为它在后台工作中进行相同的多次查询。我打算一次运行查询并获得所有结果，但随后我正在耗尽PHP内存大小，因为我得到了一个非常庞大的数据集。
实际上在这种情况下我该怎么办？我有一个redis实例，是否有可能直接写入redis，而不是通过PHP处理？