如何将MultiIndex Pandas数据框转换为Dask数据框

Question

我试图将两个变量（一个ID和一个DateTime变量）上的MultiIndexed的熊猫数据框转换为dask数据框，但是出现以下错误；

"NotImplementedError: Dask does not support MultiIndex Dataframes" 

我正在使用以下代码

import pandas as pd
import dask.dataframe as dd

dask_df = dd.from_pandas(pandas_df)

实际上，我有700多个pandas数据帧（每个超过100 MB），我计划将每个pandas数据帧转换为dask，然后将它们全部附加到一个大的dask数据帧中以分析整个数据。我认为MultiIndex是唯一的问题。请让我知道我是否对此采取了错误的方法。

Answer 1

当前，Dask DataFrame不支持具有MultiIndexes的数据帧。

您可能考虑使用reset_index将除索引索引列之外的所有索引列转换为普通列。