Question

在过去，我创建了一个从字符串生成唯一ID（数字）的函数。今天我发现它不是那么独特。从来没有看到过问题。今天，两个不同的输入生成相同的id（数字）。

我在Delphi，C ++，PHP和Javascript中使用相同的技术来生成相同的id，因此当项目涉及不同的语言时没有区别。例如，对于HTML id，tempfiles等，这可以很方便地进行通信。

通常，我所做的是计算字符串的CRC16，添加总和并将其返回。

例如，这两个字符串生成相同的id（数字）：

o.uniqueId( 'M:/Mijn Muziek/Various Artists/Revs & ElBee - Tell It To My Heart.mp3' );
o.uniqueId( 'M:/Mijn Muziek/Various Artists/Dwight Yoakam - The Back Of Your Hand.Mp3');

他们都生成了224904的id。

以下示例是一个javascript示例。我的问题是，我怎样才能避免（稍微改变）它产生重复？（如果您可能想知道'o。'的含义，它是这些函数所属的对象）：

o.getCrc16 = function(s, bSumPos) {
  if(typeof s !== 'string' || s.length === 0) {
    return 0;
  }
  var crc = 0xFFFF,
    L = s.length,
    sum = 0,
    x = 0,
    j = 0;
  for(var i = 0; i < L; i++) {
    j = s.charCodeAt(i);
    sum += ((i + 1) * j);
    x = ((crc >> 8) ^ j) & 0xFF;
    x ^= x >> 4;
    crc = ((crc << 8) ^ (x << 12) ^ (x << 5) ^ x) & 0xFFFF;
  }
  return crc + ((bSumPos ? 1 : 0) * sum);
}
o.uniqueId = function(s, bres) {
  if(s == undefined || typeof s != 'string') {
    if(!o.___uqidc) {
      o.___uqidc = 0;
    } else {
      ++o.___uqidc;
    }
    var od = new Date(),
      i = s = od.getTime() + '' + o.___uqidc;
  } else {
    var i = o.getCrc16(s, true);
  }
  return((bres) ? 'res:' : '') + (i + (i ? s.length : 0));
};

如何使用对代码稍作更改来避免重复？

Answer 1

好的，做了大量的测试并且来了。由以下内容生成的相对较短的唯一ID：

o.lz = function(i,c)
{
  if( typeof c != 'number' || c <= 0 || (typeof i != 'number' && typeof i != 'string') )
   { return i; }
  i+='';

  while( i.length < c )
   { i='0'+i; }
  return i;  
}

o.getHashCode = function(s)
{
 var hash=0,c=(typeof s == 'string')?s.length:0,i=0;
 while(i<c) 
 {
   hash = ((hash<<5)-hash)+s.charCodeAt(i++);
   //hash = hash & hash; // Convert to 32bit integer
 }

 return ( hash < 0 )?((hash*-1)+0xFFFFFFFF):hash; // convert to unsigned
}; 

o.uniqueId = function( s, bres )
{ 
  if( s == undefined || typeof s != 'string' )
  { 
     if( !o.___uqidc )
      { o.___uqidc=0; }
     else { ++o.___uqidc; } 
     var od = new Date(),
         i = s = od.getTime()+''+o.___uqidc; 
  }
  else { var i = o.getHashCode( s ); }
  return ((bres)?'res:':'')+i.toString(32)+'-'+o.lz((s.length*4).toString(16),3);  
};

示例：

o.uniqueId( 'M:/Mijn Muziek/Various Artists/Revs & ElBee - Tell It To My Heart.mp3' );
o.uniqueId( 'M:/Mijn Muziek/Various Artists/Dwight Yoakam - The Back Of Your Hand.Mp3');

将生成以下ID：

dh8qi9t-114
je38ugg-120

为了我的目的，它似乎足够独特，额外的长度也增加了一些独特性。在大约40.000个mp3文件的文件系统上测试它并没有发现任何冲突。

如果您认为这不是可行的方法，请告诉我。

Answer 2

您应该增加哈希函数创建的位数。假设您的散列函数在空间上大致均匀，您可以在数学上推导出观察碰撞的概率。

这与birthday paradox密切相关。在CRC16的情况下，哈希值为17位（虽然您的实现可能有错误;我不知道您如何获得224094，因为它大于2^17），您将拥有当您存储超过大约2 ^ 8项时，碰撞概率超过50％。此外，CRC并不是一个很好的散列函数，因为它用于错误检测，而不是统一的散列。

This table shows mathematical probabilities of collision based on hash length。例如，如果您有128位散列键，则在碰撞概率增加超过10^31之前，您最多可以存储10^-15个元素。作为比较，这个概率低于您的硬盘驱动器故障，或者您的计算机被闪电击中，所以使用安全号码。

只需根据您计划识别的字符串数量增加哈希长度，然后选择一个您可以接受的冲突概率。

根据Javascript中的字符串输入生成唯一编号

2 个答案: