Question

我所做的大部分工作都涉及编写简单的解析脚本，从一个文件读取搜索词并逐行搜索另一个文件。找到搜索词后，该行和有时后续行将写入另一个输出文件。我使用的代码很简陋，可能很粗糙。

#!/usr/bin/env python

data = open("data.txt", "r")
search_terms = ids.read().splitlines()
data.close()
db = open("db.txt", "r")

output = open("output.txt", "w")

for term in search_terms:
    for line in db:
        if line.find(term) > -1:
            next_line = db.next()
            output.write(">" + head + "\n" + next_line)
            print("Found %s" % term)

这里有一些问题。首先，我不认为它是最有效和最快的逐行搜索，但我并不完全确定。其次，我经常遇到光标放置问题，当找到搜索词时，光标不会重置到文件的开头。第三，虽然我通常确信所有条款都可以在数据库中找到，但很少有时候我无法确定，因此我希望在迭代整个数据库时写入另一个文件。无法找到这个词。我已经尝试添加一个计算数据库行数的片段，所以如果find（）函数到达最后一行并且找不到该术语，那么它会输出到另一个＆＃34;不是发现＆＃34;文件，但我还没有能够让我的elif和其他循环正确。

总的来说，我喜欢任何可以使这种脚本更有效和更强大的提示或更正。

感谢。

Answer 1

除非它是一个非常大的文件，为什么不逐行迭代？如果输入文件的大小是计算机可用资源（内存）的一小部分，那么您可能需要查看缓冲输入以及计算机正在执行的其他更低级别的抽象。但是，如果你在一台相对现代的机器上谈论几百MB或更少，那么让计算机进行计算;）

你可能想要养成使用内置上下文管理器with的习惯。例如，在您的代码段中，您没有调用output.close()。

with open('data.txt', 'r') as f_in:
    search_terms = f_in.read().splitlines()

现在search_terms是一个列表的句柄，它将data.txt中的每一行都作为字符串（但删除了换行符）。由于data.txt，with已关闭。

事实上，我也会使用db.txt文件执行此操作。

with open('db.txt', 'r') as f_in:
    lines = f_in.read().splitlines()

语境管理员很酷。

作为旁注，您现在可以打开目标文件，并在整个时间内打开解析和结果跟踪，但我希望尽可能多地关闭尽可能多的文件。

我建议在循环外部设置最大的对象，我猜是db.txt内容。最外面的循环通常只迭代一次，所以不妨把最重要的东西放在那里。

results = []
for i, line in enumerate(lines):
    for term in search_terms:
        if term in line:
            # Use something not likely to appear in your line as a separator
            # for these "second lines". I used three pipe characters, but
            # you could just as easily use something even more random
            results.append('{}|||{}'.format(line, lines[i+1]))

if results:
    with open('output.txt', 'w') as f_out:
        for result in results:
            # Don't forget to replace your custom field separator
            f_out.write('> {}\n'.format(result.replace('|||', '\n')))
else:
    with open('no_results.txt', 'w') as f_out:
        # This will write an empty file to disk
        pass

这种方法的好处是db.txt中的每一行都为search_terms中的每个search_term检查一次。但是，缺点是任何一行都会记录它所包含的每个搜索词，也就是说，如果它包含三个搜索词，那么该行将在output.txt中出现三次。

所有文件都神奇地关闭了。

语境管理员很酷。

祝你好运！

Answer 2

您的关键问题是您可能以错误的顺序循环 - 在您发布的代码中，您总是会耗尽db寻找第一个字词，所以在第一次传递之后外部for循环db将结束，不再需要阅读的行，也不会找到其他字词。

其他改进包括使用with语句来保证文件关闭，并使用set来跟踪找不到哪些搜索词。（在您发布的代码中也存在拼写错误，例如以data打开文件，然后将其作为ids读取。）

所以，例如，像：

with open("data.txt", "r") as data:
    search_terms = data.read().splitlines()

missing_terms = set(search_terms)

with open("db.txt", "r") as db, open("output.txt", "w") as output:
    for line in db:
        for term in search_terms:
            if term in line:
                missing_terms.discard(term)
                next_line = db.next()
                output.write(">" + head + "\n" + next_line)
                print("Found {}".format(term))
                break

if missing_terms:
    diagnose_not_found(missing_terms)

diagnose_not_found函数执行任何操作以警告用户缺少术语。

此处有一些假设，例如您不在乎某个其他搜索字词是否存在于您找到前一个或下一个搜索字词的行中;如果不适用，他们可能会花大量的工作来修复，并且需要您使用非常完整和明确的规范列表来编辑您的Q.

如果你的db实际上足够小，可以舒适地放入记忆中，那么一劳永逸地将它全部放入线条列表中，可以更容易地适应更苛刻的规格（在这种情况下，你可以很容易地去来回迭代，虽然迭代一个文件意味着你一次只能前进一行），所以如果你的规格确实要求更高，请澄清这个关键条件是否成立，或者说你需要这个脚本来处理潜在的巨大{ {1}}文件（比如gigabyte-plus尺寸，以便不＆＃34;舒适地适合内存＆＃34;，具体取决于您的平台）。

Answer 3

search_terms将整个data.txt保存在内存中。它一般不好，但在这种情况下它并不是很糟糕。

逐行查看是不够的，但如果案例很简单且文件不是太大，那就没什么大不了的了。如果你想要更高的效率，你应该对data.txt文件进行排序，并把它放到一些类似树的结构中。这取决于内部的数据。

使用seek后，您必须使用next将指针移回。

这里最简单的方法是生成两个行列表并使用in进行搜索，如：

`db = open('db.txt').readlines()
 db_words = [x.split() for x in db]
 data = open('data.txt').readlines()
 print('Lines in db {}'.format(len(db)))
 for item in db:
     for words in db_words:
         if item in words:
            print("Found {}".format(item))`

我如何编写一个简单的Python解析脚本？

3 个答案: