Question

首先，我导入整个文件并获得1002.0+ KB的内存消耗

df = pd.read_csv(
    filepath_or_buffer="./dataset/chicago.csv"
)
print(df.info())

# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 32063 entries, 0 to 32062
# Data columns (total 4 columns):
# Name                      32062 non-null object
# Position Title            32062 non-null object
# Department                32062 non-null object
# Employee Annual Salary    32062 non-null object
# dtypes: object(4)
# memory usage: 1002.0+ KB
# None

然后我放弃NaN，再次运行脚本，并获得1.2+ MB的内存消耗

df = pd.read_csv(
    filepath_or_buffer="./dataset/chicago.csv"
).dropna(how="all")

# <class 'pandas.core.frame.DataFrame'>
# Int64Index: 32062 entries, 0 to 32061
# Data columns (total 4 columns):
# Name                      32062 non-null object
# Position Title            32062 non-null object
# Department                32062 non-null object
# Employee Annual Salary    32062 non-null object
# dtypes: object(4)
# memory usage: 1.2+ MB
# None

由于我要删除一行，所以我希望内存消耗下降或至少保持不变。

有人知道为什么会这样吗？或如何解决？还是这是一个错误？

编辑：chicago.csv

Answer 1

此更改是由于您的索引从RangeIndex更改为Int64Index，这会占用更多内存。

您可以通过在dropna()之后重新设置索引来“修复”此问题，但这会带来更改行索引的副作用（您可能并不在意）。

这是一个说明性示例：

首先创建一个示例数据框：

df = pd.DataFrame({"a": range(10000)})
df.loc[1000, "a"] = None

打印信息：

print(df.info())
#<class 'pandas.core.frame.DataFrame'>
#RangeIndex: 10000 entries, 0 to 9999
#Data columns (total 1 columns):
#a    9999 non-null float64
#dtypes: float64(1)
#memory usage: 78.2 KB

丢弃na值：

print(df.dropna().info())
#<class 'pandas.core.frame.DataFrame'>
#Int64Index: 9999 entries, 0 to 9999
#Data columns (total 1 columns):
#a    9999 non-null float64
#dtypes: float64(1)
#memory usage: 156.2 KB

重置（并删除）索引：

df.dropna().reset_index(drop=True).info()
#<class 'pandas.core.frame.DataFrame'>
#RangeIndex: 9999 entries, 0 to 9998
#Data columns (total 1 columns):
#a    9999 non-null float64
#dtypes: float64(1)
#memory usage: 78.2 KB

Answer 2

这不是错误。它正在按预期方式工作，正在加载文件，因此它像以前一样占用了一定数量的内存，但更多的原因是，然后您在数据帧中进行搜索并删除具有NaN的行，这会增加内存使用率。

.dropna（）增加内存使用量

2 个答案: