Question

我有一个非常大的文件，我需要删除一个特定的行（行号941573）

我对这种环境有些新意，但我一直在谷歌搜索这个问题无济于事。

我已经尝试过使用sed命令了，但它似乎没有工作

sed -e '941572,941574d' filenameX > newfilenameY

我也试过

sed -e '941573d' filenameX > newfilenameY

然而'newfilenameY'文件和原始文件'filenameX'仍然包含我要删除的行。这是一个fastq文件，但我不知道这会有什么不同。就像我说我是unix的新手所以也许我的sed命令错了

Answer 1

d删除一行/一行。所以你的第二种方法有效。

$ sed '941573d' input > output

长例：

% for i in $(seq 1000000)
do
echo i >> input
done
% wc -l input
1000000 input
% sed '941573d' input > output
% wc -l output
999999 output
% diff -u input output                                      :(
--- input       2012-10-22 13:22:41.404395295 +0200
+++ output      2012-10-22 13:22:43.400395358 +0200
@@ -941570,7 +941570,6 @@
 941570
 941571
 941572
-941573
 941574
 941575
 941576

简短示例：

% cat input
foo
bar
baz
qux
% sed '3d' input > output
% cat output             
foo
bar
qux

Answer 2

以下是如何从文件中删除一行或多行。

语法：

sed '{[/]<n>|<string>|<regex>[/]}d' <fileName>      
sed '{[/]<adr1>[,<adr2>][/]d' <fileName>
/.../=delimiters
n = line number
string = string found in in line
regex = regular expression corresponding to the searched pattern
addr = address of a line (number or pattern )
d = delete

Answer 3

我生成了一个包含1000000行的测试文件并尝试了sed -e '941573d' filenameX > newfilenameY，它在Linux上运行良好。

也许我们还有其他一些误解。行号从1开始计数，而不是零。如果从零开始计算，那么你会发现缺少941572行。

你试过diff filenameX newfilenameY吗？这将突出任何意想不到的变化。

我对FASTQ格式了解不多，但您确定我们在讨论文本文件行号而不是序列号吗？

一般的行长度限制为4096字节，你的任何行都超过了吗？（这不太可能，但我觉得值得这个问题。）

如何从unix中的文件中删除特定行？

3 个答案: