Question

我是python和生物信息学领域的新手。我正在使用python-2.6。现在我正在尝试选择所有fastq.gz文件，然后选择gzip.open（只需几行，因为它太庞大且浪费时间），然后计算'J'，然后挑选那些'J'计数不相等的文件到0。

以下是我的代码：

#!/usr/bin/python

import os,sys,re,gzip

path = "/home/XXX/nearline"

for file in os.listdir(path):
  if re.match('.*\.recal.fastq.gz', file):
    text = gzip.open(file,'r').readlines()[:10]
    word_list = text.split()
    number = word_list.count('J') + 1
    if number !== 0:
      print file

但是我遇到了一些错误：

Traceback (most recent call last):
  File "fastqfilter.py", line 9, in <module>
    text = gzip.open(file,'r').readlines()[:10]
  File "/share/lib/python2.6/gzip.py", line 33, in open
    return GzipFile(filename, mode, compresslevel)
  File "/share/lib/python2.6/gzip.py", line 79, in __init__
    fileobj = self.myfileobj = __builtin__.open(filename, mode or 'rb')
IOError: [Errno 2] No such file or directory: 'ERR001268_1.recal.fastq.gz'

这是什么回溯：文件...... 这里的gzip有什么问题吗？为什么不能找到ERR001268_1.recal.fastq.gz？它是列表中的第一个fastq文件，并且存在DOES。

希望给我一些线索，并指出脚本中的任何其他错误。

感谢很多。

编辑：大家好。我听从了Dan的建议。我首先尝试了一个fastq文件。我的脚本如下：

#!/usr/bin/python

import os,sys
import gzip
import itertools

file = gzip.open('/home/xug/nearline/ERR001274_1.recal.fastq.gz','r')
list(itertools.islice(file.xreadlines(),10))
word_list = list.split()
number = word_list.count('J') + 1
if number != 0:
  print 'ERR001274_1.recal.fastq.gz'

那么错误是：

Traceback (most recent call last):
  File "try2.py", line 8, in <module>
    list(itertools.islice(text.xreadlines(),10))
AttributeError: GzipFiles instance has no attribute 'xreadlines'

再次编辑：丹先生，我昨天解决了这个问题。似乎GzipFiles不支持xreadlines。所以我尝试了以后建议的类似方式。它有效。见下文：

#!/usr/bin/python

import os,sys,re
import gzip
from itertools import islice

path = "/home/XXXX/nearline"

for file in os.listdir(path):
  if re.match('.*\.recal.fastq.gz', file):
    fullpath = os.path.join(path, file)
    myfile = gzip.open(fullpath,'r')
    head = list(islice(myfile,1000))
    word_str = ";".join(str(x) for x in head)
    number = word_str.count('J')
    if number != 0:
      print file

Answer 1

在这一行：

text = gzip.open(file,'r').read()

file是文件名，不是完整路径，所以

fullpath = os.path.join(path, file)
text = gzip.open(fullpath,'r').read()

约F.readlines()[:10]会将整个文件读入行列表，然后取第10个

import itertools
list(itertools.islice(F.xreadlines(),10))

这不会将整个文件读入内存，只会将前10行读入列表

但是因为gzip.open返回一个没有.xreadlines（）的对象，但是因为文件可以在它们的行上迭代：

list(itertools.islice(F,10))

可以在此测试中显示：

>>> import gzip,itertools
>>> list(itertools.islice(gzip.open("/home/dan/Desktop/rp718.ps.gz"),10))
['%!PS-Adobe-2.0\n', '%%Creator: dvips 5.528 Copyright 1986, 1994 Radical Eye Software\n', '%%Title: WLP-94-int.dvi\n', '%%CreationDate: Mon Jan 16 16:24:41 1995\n', '%%Pages: 6\n', '%%PageOrder: Ascend\n', '%%BoundingBox: 0 0 596 842\n', '%%EndComments\n', '%DVIPSCommandLine: dvips -f WLP-94-int.dvi\n', '%DVIPSParameters: dpi=300, comments removed\n']

Answer 2

将您的代码更改为：

#!/usr/bin/python

import os,sys,re,gzip

path = "/home/XXX/nearline"

for file in os.listdir(path):
  if re.match('.*\.recal.fastq.gz', file):
    text = gzip.open(os.path.join(path,file),'r').readlines()[:10]
    word_list = text.split()
    number = word_list.count('J') + 1
    if number !== 0:
      print file

Answer 3

它正在尝试从工作目录中打开ERR001268_1.recal.fastq.gz，而不是从/home/XXX/nearline打开。

Gzip问题，回溯和IOError：[Errno 2]没有这样的文件或目录

3 个答案: