将生成器从pandas中的read_sql转换为dataframe失败

时间:2018-09-03 06:57:45

标签: python pandas

我想从我的甲骨文读取数据,我使用熊猫的read_sql并设置参数chunksize=20000

from sqlalchemy import create_engine
import pandas as pd
engine = create_engine("my oracle")
df = pd.read_sql("select clause",engine,chunksize=20000)

它返回一个迭代器,我想使用df = pd.DataFrame(df)将此生成器转换为数据帧,但这是错误的,如何将迭代器转换为数据帧?

1 个答案:

答案 0 :(得分:2)

此迭代器可以串联,然后返回一个数据帧:

df = pd.concat(df)

您可以查看pandas.concat文档。

如果您不能直接使用concat,请尝试以下操作:

gens = pd.read_sql("select clause",engine,chunksize=20000)
dflist = []
for gen in gens:
    dflist.append(gen)
df = pd.concat(dflist)