将大量数据附加到数据帧的最佳方法

时间:2017-11-03 08:45:11

标签: pandas memory append

while 1:  
    lines = cur.fetchmany(pageSize)  
    if len(lines)==0:  
        break 
    df.append(lines)# method1:df never change
    df = df.append(lines)# method2:df change but too many memory used.

我将一个包含40列和大约2M记录的表加载到df中,我只有8G内存。现在我使用csv文件解决方案,但它需要更多时间。 我想知道有没有像method1这样的方法,Pandas真的只是将数据附加到数据帧而没有任何副本?

0 个答案:

没有答案