Question

遗留应用程序具有巨大的字符串缓冲区（大小有时高达Mb），并且按顺序处理它以修改内容。我必须实现一个更改，其中我需要更新字符串缓冲区以删除某些特定单词开头的行。有哪些实现方法？

例如：

ABC:djfk kdjf kdsjfk#
ABC:jfue eijf iefe# 
DEL:kdjfi efe eei # 
DEL:ieeif dfddf dfdf#
HJU:heuir fwer ouier# 
ABC:dsf erereree ererre #

我需要删除以 DEL 开头的行。将字符串缓冲区拆分为字符串，处理这些行并再次连接字符串以创建字符串缓冲区将会有点昂贵。请告诉我可能的解决方案。

由于

Answer 1

将字符串缓冲区拆分为字符串，处理线路并再次加入用于创建字符串缓冲区的字符串会有点贵。

删除行实际上更多代价高昂，因为你最终会为你删除的每一行复制剩余的缓冲区。

最快的方式可能是java.util.regex.Matcher.replaceAll()来获取缓冲区的副本而不需要你不想要的所有行。

Answer 2

可以有效地就地执行此操作。您必须以适当的间隔覆盖缓冲区中的字符，然后用setLength逻辑缩短缓冲区。它会非常复杂，但它会就位并且O(N)。

您想要覆盖而不是使用delete / insert的原因是因为那将是O(N^2)，因为事情需要不必要地转移。

这样做是非常简单的O(N)，但需要一个辅助缓冲区，使空间需求加倍。

证明的概念

这是一个简单的概念验证。 removeIntervals需要StringBuffer和int[][] intervals。假设每个int[]是一对{ start, end }值（半开范围，独占上限）。在线性时间和就地时，这些间隔将通过简单的StringBuffer从overwrite中删除。当间隔被排序且不重叠并从左到右处理时，这种方法有效。

然后使用setLength缩短缓冲区，切断删除的字符数。

static void overwrite(StringBuffer sb, int dst, int srcFrom, int srcTo) {
    for (int i = srcFrom; i < srcTo; i++) {
        sb.setCharAt(dst++, sb.charAt(i));
    }
}
static int safeGet(int[][] arr, int index, int defaultValue) {
    return (index < arr.length) ? arr[index][0] : defaultValue;
}
static void removeIntervals(StringBuffer sb, int[][] intervals) {
    int dst = safeGet(intervals, 0, 0);
    int removed = 0;
    for (int i = 0; i < intervals.length; i++) {
        int start = intervals[i][0];
        int end   = intervals[i][1];
        int nextStart = safeGet(intervals, i+1, sb.length());
        overwrite(sb, dst, end, nextStart);
        removed += end - start;
        dst += nextStart - end;
    }
    sb.setLength(sb.length() - removed);
}

然后我们可以按如下方式测试它：

    String text = "01234567890123456789";
    int[][][] tests = {
        { { 0, 5, },
        }, // simple test, removing prefix
        { { 1, 2, }, { 3, 4, }, { 5, 6, }
        }, // multiple infix removals
        { { 3, 7, }, { 18, 20, },
        }, // suffix removal
        {
        }, // no-op
        { { 0, 20 },
        }, // remove whole thing
        { { 7, 10 }, { 10, 13 }, {15, 15 }, 
        }, // adjacent intervals, empty intervals
    };

    for (int[][] test : tests) {
        StringBuffer sb = new StringBuffer(text);
        System.out.printf("> '%s'%n", sb);
        System.out.printf("- %s%n", java.util.Arrays.deepToString(test));
        removeIntervals(sb, test);
        System.out.printf("= '%s'%n%n", sb);
    }

打印（as seen on ideone.com）：

> '01234567890123456789'
- [[0, 5]]
= '567890123456789'

> '01234567890123456789'
- [[1, 2], [3, 4], [5, 6]]
= '02467890123456789'

> '01234567890123456789'
- [[3, 7], [18, 20]]
= '01278901234567'

> '01234567890123456789'
- []
= '01234567890123456789'

> '01234567890123456789'
- [[0, 20]]
= ''

> '01234567890123456789'
- [[7, 10], [10, 13], [15, 15]]
= '01234563456789'

获取间隔

在这种特定情况下，间隔可以在初步传递中构建（使用indexOf），或者如果绝对需要，则可以在一次传递中完成整个过程。关键是，这绝对可以在线性时间内就地完成（如果绝对必要，可以在单程中完成）。

一种不合时宜的解决方案

这使用辅助缓冲区和正则表达式是不合适的。由于其简单性，它提供考虑。除非证明需要进一步优化（在证据性分析结果之后），否则这应该足够好了：

    String text =
        "DEL: line1\n" +
        "KEP: line2\r\n" +
        "DEL: line3\n" +
        "KEP: line4\r" +
        "DEL: line5\r" +
        "DEL: line6\r" +
        "KEP: line7\n" +
        "DEL: line8";
    StringBuffer sb = new StringBuffer(text);
    Pattern delLine = Pattern.compile("(?m)^DEL:.*$");
    String cleanedUp = delLine.matcher(sb).replaceAll("<deleted!>");
    System.out.println(cleanedUp);

打印（as seen on ideone.com）：

<deleted!>
KEP: line2
<deleted!>
KEP: line4
<deleted!>
<deleted!>
KEP: line7
<deleted!>

参考

Answer 3

如果stringbuffer中的行由换行符分隔，则可以读取它并创建一个新缓冲区。对于1兆字节的缓冲区，这在几十毫秒内完成，并且比正则表达式更快。您可以创建一个自定义版本的StringReader来直接读取StringBuffer而不是转换为字符串以节省更多时间。


final String NEWLINE = System.getProperty("line.separator");
StringBuffer nuBuffer = new StringBuffer();
BufferedReader br = new BufferedReader(new StringReader(sbData.toString()));
String line;
while ( (line = br.readLine()) != null) {
    if (!line.startsWith("DEL:")) {  // don't copy lines starting with DEL:
        nuBuffer.append(line).append(NEWLINE);
    }
}
br.close();

从StringBuffer中删除某些行

3 个答案:

证明的概念

获取间隔

一种不合时宜的解决方案

参考