使用copy_expert将查询数据拆分为多个CSV文件-psycopg2

Question

我正在尝试使用copy_expert将结果复制到单个csv文件中。但是，这导致文件系统无法处理如此大的文件15GB~ csv数据。

是否有更好的方法将查询数据拆分为多个csv（100MB）文件，每个文件包含标头？

当前实施：

csv_query = """COPY ({}) TO STDOUT WITH CSV HEADER;""".format(
    query
)

with open(file_name, 'wb') as file_object:
    cursor.copy_expert(csv_query, file_object, size=100 * 1024 * 1024)