识别重复 - csv dict阅读器

Question

我正在迭代一个csv文件的行，我想跳过处理中的行，如果它是从任何早期处理的行重复。

以下是我的代码：

import csv
csv_contents = request.vars['file'].value.decode('utf-8')
file = csv_contents.splitlines()
file_data = [row for row in csv.DictReader(file)]
for data in file_data: 
    #if duplicate, continue. skip the row

如何识别文件中的行是否重复。

Answer 1

要从列表中删除重复的条目，您可以将列表转换为集合并再次将其转换为列表。

import csv
csv_contents = request.vars['file'].value.decode('utf-8')
file = csv_contents.splitlines()
# Duplicate entries are removing
file_data = list(set([row for row in csv.DictReader(file)]))

正如Serge Ballesta所说，使用这种方法不能保存列表顺序。