读取用zstd压缩的实木复合地板文件

时间:2019-08-01 16:58:05

标签: file-io julia parquet zstd

我是Julia的新手,我正在尝试移植一些我在Python中所做的事情。

我有一个用Python编写的文件,使用 zstd 压缩库(两个 pandas 均支持)将DataFrame转换为 parquet 文件和 fastparquet (实木复合地板文件写入)。

由于 ParquetFiles FileIO (不确定哪个负责解压缩),不支持 zstd ,因此出现错误。

关于如何在Julia中读取此文件的任何想法?

using DataFrames
using ParquetFiles
using FileIO

test = DataFrame(load("test.parquet"))

Unknown compression codec for column chunk: 6  
Stacktrace:
 [1] error(::String) at ./error.jl:33 
 [2] bytes at /home/morgado/.julia/packages/Parquet/qSvbc/src/reader.jl:149 [inlined]  
 [3] bytes at /home/morgado/.julia/packages/Parquet/qSvbc/src/reader.jl:140 [inlined]  
 [4] values(::ParFile, ::Parquet.Page) at /home/morgado/.julia/packages/Parquet/qSvbc/src/reader.jl:232  
 [5] values(::ParFile, ::Parquet.PAR2.ColumnChunk) at /home/morgado/.julia/packages/Parquet/qSvbc/src/reader.jl:178  
 [6] setrow(::ColCursor{Int64}, ::Int64) at /home/morgado/.julia/packages/Parquet/qSvbc/src/cursor.jl:144  
 [7] ColCursor(::ParFile, ::UnitRange{Int64}, ::String, ::Int64) at /home/morgado/.julia/packages/Parquet/qSvbc/src/cursor.jl:115  
 [8] (::getfield(Parquet, Symbol("##11#12")){ParFile,UnitRange{Int64},Int64})(::String) at ./none:0  
 [9] collect(::Base.Generator{Array{AbstractString,1},getfield(Parquet, Symbol("##11#12")){ParFile,UnitRange{Int64},Int64}}) at ./generator.jl:47  
 [10] RecCursor(::ParFile, ::UnitRange{Int64}, ::Array{AbstractString,1}, ::JuliaBuilder{ParquetFiles.RCType361}, ::Int64) at /home/morgado/.julia/packages/Parquet/qSvbc/src/cursor.jl:269 (repeats 2 times)  
 [11] getiterator(::ParquetFiles.ParquetFile) at /home/morgado/.julia/packages/ParquetFiles/cLLFb/src/ParquetFiles.jl:74 
 [12] nondatavaluerows(::ParquetFiles.ParquetFile) at /home/morgado/.julia/packages/Tables/IT0t3/src/tofromdatavalues.jl:16  
 [13] columns at /home/morgado/.julia/packages/Tables/IT0t3/src/fallbacks.jl:173 [inlined]  
 [14] #DataFrame#393(::Bool, ::Type, ::ParquetFiles.ParquetFile) at /home/morgado/.julia/packages/DataFrames/VrZOl/src/other/tables.jl:34  
 [15] DataFrame(::ParquetFiles.ParquetFile) at /home/morgado/.julia/packages/DataFrames/VrZOl/src/other/tables.jl:25  
 [16] top-level scope at In[25]:8

0 个答案:

没有答案
相关问题