数据重复数据删除的想法

Question

刚刚在C＃中构建了一个小的重复数据删除代码块，想要检查是否有人之前做过类似的事情，如果是的话，怎么做？是否有公开的代码？

我写的代码是在http://gist.github.com/273880的GitHub上。

目前，没有物理支持存储，也没有办法存储哪些块属于哪些文件，但是想把它们放到数据库中。另外，使用SHA512进行校验求和，但这可能有点过分......

Answer 1

我认为这基本上是有限的dictionary coder。