如何在Elastic Search批量插入中计算最佳元组大小

时间:2018-12-04 09:29:00

标签: python pandas elasticsearch elasticsearch-6

我正在从python的Elasticsearch中插入数据。分析数据并将其存储在pandas数据框中。数据帧将转换为dict,然后转换为元组,以插入数据。这可行,但有时会给出超时错误。我一直在寻找避免超时的方法。

es = Elasticsearch([target_elasticSearchUrl])
j = helpers.bulk(es,tuple(insert_df.to_dict(orient='records')), index = target_index,doc_type='doc')

因此,我尝试将元组的大小限制为500,这减少了超时实例,但是却极大地影响了性能。因为我要上传的记录超过100万。

我正在寻找避免对性能造成影响的方法,或者寻求除批量插入之外的其他在Elasticsearch中插入数据的方法。

0 个答案:

没有答案