熊猫批处理API请求

时间:2018-12-12 10:19:19

标签: python pandas persistence batch-processing

我有一个熊猫数据框,其中只包含一列。通过此列(作为关键字),可以执行Web API查找并将结果添加为其他列。

是否有一种简单的方法来批量操作(即100个项目),并且对于每个完整的项目都将结果持久化?

或者是实现此目的的唯一方法是批量手动遍历数据框?

1 个答案:

答案 0 :(得分:1)

IIUC,您可以使用awk来实现:

np.array_split

因此array_split如果无法将df进行均等分割,则会将df分成不等大小的分割,因此,我通过了索引的长度并将其四舍五入,因此加2使其产生第4个块,如果我没有这样做:

In[24]:
df = pd.DataFrame(np.random.randn(10,3), columns=list('abc'))
for chunk in np.array_split(df,(len(df.index)+2)/3):
    print(chunk)

          a         b         c
0  0.013657  0.075587  0.422208
1  0.380518 -1.941691  2.465324
2 -0.530724 -0.074501 -0.527502
          a         b         c
3  0.959920  0.282187  1.277451
4 -0.013171  1.610865  0.492687
5  0.353947 -1.406726 -0.402013
          a         b         c
6 -0.462242  1.267895 -0.477148
7 -0.735699 -0.567091 -1.212561
          a         b         c
8 -1.416133  0.355858 -0.053821
9 -0.942774 -0.331276 -0.234650

在四舍五入后,这种方法试图简单地生成大小为3的块。

相关问题