如何使用pyarrow.RecordBatchStreamWriter编写压缩的实木复合地板文件?

时间:2019-06-04 15:15:35

标签: python pyarrow

我有一个要求,我需要定期将传入的数据写入并追加到压缩的镶木地板文件中。

我正在尝试使用pyarrow RecordBatchStreamReader解决它。

n    T(n)
-    ----
1    c
2    c + c + 1 = 2c + 1
3    2c+1 + c + 1 = 3c + 2
4    2c+1 + 2c+1 + 1 = 4c + 3
5    3c+2 + 2c+1 + 1 = 5c + 4
6    4c+3 + 2c+1 + 1 = 6c + 5
…    …
9    6c+5 + 3c+2 + 1 = 9c + 8
…    …
k    kc + k - 1 = k(c + 1) - 1

似乎RecordBatchStreamWriter不支持压缩输出流。有其他选择吗?


ArrowNotImplementedError错误回溯(最近一次调用最近)  在()中       5       i在范围(numBatches)中为6: ----> 7 stream_writer_compress.write_batch(batch)

〜\ AppData \ Local \ Continuum \ anaconda3 \ envs \ HistPy \ lib \ site-packages \ pyarrow \ ipc.pxi在pyarrow.lib._CRecordBatchWriter.write_batch()

pyarrow.lib.check_status()中的

〜\ AppData \ Local \ Continuum \ anaconda3 \ envs \ HistPy \ lib \ site-packages \ pyarrow \ error.pxi

ArrowNotImplementedError:无法告诉()压缩流

0 个答案:

没有答案