Question

我正在开发一个需要对大量字符串值进行快速字符串搜索的项目。我决定使用Trie进行搜索，这种方法很快。这是与我的问题相关的项目的一部分：

class TTrieNode{
public:
    char c;
    bool data;
    TTrieNode *left, *mid, *right;  
    TTrieNode(){
        left = mid = right = NULL;
        c = data = 0;
    }
};

class TTrie{
private:
    TTrieNode *root;
    TTrieNode *insert(TTrieNode*n, char *s, int idx){
        char ch = s[idx];
        if(!n){
            n = new TTrieNode();
            n->c = ch;
        }
        if(ch < (n->c)){
            n->left = insert(n->left, s, idx);
        }else if(ch > (n->c)){
            n->right = insert(n->right, s, idx);
        }else if(idx+1 < strlen(s))
            n->mid = insert(n->mid, s, idx+1);
        else
            n->data = true;
        return n;
    }
public:
    TTrie() {
        root = NULL;
    }
    void insert(char *s) {
        root = insert(root, s, 0);
    }
};

在我们测试真实数据的Trie之前，一切都很好。根据我对节点数量和每个节点占用的空间量的计算，它应该占用大约40GB的RAM，但令我惊讶的是它耗费了大约70GB。起初我以为这是因为每个节点的内存对齐（只是一个原始猜测！），所以我使用__attribute__((packed, aligned(1)))定义了TTrieNode！使用它并没有太大的区别。经过大量测试后，我使用了一些手动内存分配。因此，每次我想为新节点分配内存时，我都没有调用new，而是在程序的beginnig中分配了大约50GB的RAM，并使用了以下自定义新函数：

TTrieNode *memLoc;
int memIdx;
void initMemory(){
    memLoc = (TTrieNode*) malloc(MAXNODES * sizeof(TTrieNode));
    memIdx = 0;
}
TTrieNode*myNew(){
    memLoc[memIdx].left =  memLoc[memIdx].right =  memLoc[memIdx].mid = NULL;
    memLoc[memIdx].c =  memLoc[memIdx].data = 0;
    return &memLoc[memIdx ++];
}

这是非常令人惊讶的，但这一次，该程序完全占用了我期待的内存量！

现在我的问题是：

为什么每个new (malloc)都有一些额外的内存？每个内存分配在内核/用户级别是否有某种指针？我没有在Windows（或任何其他操作系统）中测试我的代码，但是想知道这些操作系统上是否也有类似的行为。

Answer 1

每个块分配的开销为8到16字节。在典型的x86_64分配器中，需要8字节的开销才能在释放时正确组织内存块。还有一个16字节的对齐要求，因此一个已经是16个字节的倍数的块获得基本的8字节开销需要浪费另外8个字节。

典型的64位设计：每个块前面都有一个8字节的控制字。大多数控制字都需要给出该块的大小，因此可以释放它。最后几位可用于其他目的，因为大小可以被16整除。这些目的中最重要的是知道前面的块是否是空闲的。当释放这个块时，如果前一个块已经空闲，它就会被合并。如果可能的话，它还会与下一个块进行整合。但是能够做到这一点并不需要额外的信息。

常见的最小信息是令人惊讶的（并且优雅），尤其是每个块头必须包含一个位来说明前一个块是否空闲，但是不需要一点来说明当前块是否是自由。对于合并，您可以找到下一个块，因为您知道此块的大小。但是只需要很少的信息，你就无法找到上一个块，除非你已经知道它是免费的，但除非它是免费的，否则你不需要找到它。因此，在一个空闲块的末尾，有一个指针（或等效大小）到它的开头。因此，如果它是免费的，您可以从其后继者导航到它。但是如果它不是免费的，那么它是所用数据的一部分，而不是开销。通过前往继任者的继任者，看看其前任是否是免费的，你可以看出继任者是否有空。这比使用多一个备用位更优雅，但不一定更好。

为什么linux在分配动态内存时需要额外的空间？

1 个答案: