Question

情况：我使用mmap将CVD（ClamAV病毒数据库）文件加载到RAM中。 CVD文件中每行的格式与CSV文件（'：'分隔）的格式相同。以下是代码片段：

def mapping():
    with open("main.cvd", 'rt') as f:
        global mapper
        mapper = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ)
        csv.register_dialect('delimit', delimiter=':', quoting=csv.QUOTE_NONE)

def compare(hashed):
    for row in csv.reader(mapper, dialect='delimit'):
        if row[1] == hashed:
            print('Found!')

问题：运行时，会返回错误_csv.Error: iterator should return strings, not bytes (did you open the file in text mode?)

问题：如何将CSV文件读取为已加载到内存的文本？

其他信息1：我尝试过使用StringIO，它会引发错误TypeError: initial_value must be str or None, not mmap.mmap

附加信息2：我需要将文件放在RAM中以便更快地访问文件，我不能使用诸如readline()

之类的功能来逐行阅读它

Answer 1

csvfile构造函数＆＃34;的csv.reader参数可以是任何支持迭代器协议的对象，每次调用next()方法时都返回一个字符串＆＃34;。

这意味着＆＃34;对象＆＃34;可以是生成器函数或生成器表达式。在下面的代码中，我实现了一个名为mmap_file_reader()的生成器函数，它将内存映射中的字节转换为字符串，并将yield检测到的每一行输出。

我使mmap.mmap构造函数调用条件，因此它也适用于Windows。如果您使用access=关键字而不是prot=关键字，则无需这样做，但我无法对其进行测试，因此如图所示。

import csv
import mmap
import sys

def mapping():
    with open("main.cvd", 'rt') as f:
        global mapper
        if sys.platform.startswith('win32'):
            mmf = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)  # windows
        else:
            mmf = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ)  # unix
        mapper = mmap_file_reader(mmf)
        csv.register_dialect('delimit', delimiter=':', quoting=csv.QUOTE_NONE)

def mmap_file_reader(mmf):
    '''Yield successive lines of the given memory-mapped file as strings.

    Generator function which reads and converts the bytes of the given mmapped file
    to strings and yields them one line at a time.
    '''
    while True:
        line = mmf.readline()
        if not line:  # EOF?
            return
        yield str(line, encoding='utf-8')  # convert bytes of lineread into a string

def compare(hashed):
    for row in csv.reader(mapper, dialect='delimit'):
        if row[1] == hashed:
            print('Found!')

从RAM读取CSV文件

1 个答案: