搜索大的CSV

Question

我有一个大约1m行的csv参考数据文件。我有一个3m行的csv数据文件。我需要为1m行csv文件中的3m行中的每行执行参考数据查找。

由于各种原因，我只能使用python和cvs。我试图将1m行表放在内存中的熊猫中，但是整个过程非常缓慢。

有人可以推荐一种替代方法吗？

Answer 1

正如我上面提到的，解决这类问题的一个好方法是将CSV转储到sqlite数据库中，并根据需要进行公正的查询：）

Answer 2

这是一个主意。

import csv
# Asks for search criteria from user
search_parts = input("Enter search criteria:\n").split(",")
# Opens csv data file
file = csv.reader(open("C:\\your_path_here\\test.csv"))
# Go over each row and print it if it contains user input.
for row in file:
    if all([x in row for x in search_parts]):
        print(row)