Question

我已经阅读了许多关于机器学习的分类变量的特征哈希的在线文章。不幸的是，我仍然无法理解这个概念并理解它是如何工作的。我将通过下面从另一个站点抓取的示例数据集和散列函数来说明我的困惑：

>>>data

   pop     state  year
0  1.5      Ohio  2000
1  1.7      Ohio  2001
2  3.6  New York  2002
3  2.4    Nevada  2001
4  2.9    Nevada  2002
5  1.8    Oregon  2003

>>> def hash_col(df, col, N):
       cols = [col + "_" + str(i) for i in range(N)]
       def xform(x): tmp = [0 for i in range(N)]; tmp[hash(x) % N] = 1; return pd.Series(tmp,index=cols)
       df[cols] = df[col].apply(xform)
       return df.drop(col,axis=1)

以下函数用于通过指定不同数量的维度（或换句话说，散列特征）来打印出不同的变换输出：

>>> print(hash_col(data, 'state',4))

   pop  year  state_0  state_1  state_2  state_3
0  1.5  2000        0        0        1        0
1  1.7  2001        0        0        1        0
2  3.6  2002        0        0        0        1
3  2.4  2001        0        1        0        0
4  2.9  2002        0        1        0        0
5  1.8  2003        0        0        0        1

>>> print(hash_col(data, 'state',5))
   pop  year  state_0  state_1  state_2  state_3  state_4
0  1.5  2000        1        0        0        0        0
1  1.7  2001        1        0        0        0        0
2  3.6  2002        1        0        0        0        0
3  2.4  2001        0        0        1        0        0
4  2.9  2002        0        0        1        0        0
5  1.8  2003        0        0        0        0        1

>>> print(hash_col(data, 'state',6))
   pop  year  state_0  state_1  state_2  state_3  state_4  state_5
0  1.5  2000        0        0        0        0        1        0
1  1.7  2001        0        0        0        0        1        0
2  3.6  2002        0        0        0        0        0        1
3  2.4  2001        0        0        0        1        0        0
4  2.9  2002        0        0        0        1        0        0
5  1.8  2003        0        0        0        0        0        1

我能理解的是＆＃39; state_0＆＃39; state_1＆＃39;，＆＃39; state_2＆＃39; 列代表。此外，由于我的数据集中有4个独特的状态（俄亥俄州，纽约州，内华达州，俄勒冈州），为什么所有的＆＃39; 1 ＆＃39;分配给3个＆＃39; state_n＆＃39; 列而不是4个热门编码？例如，当我将维数设置为6时，输出有两个＆＃39; 1 ＆＃39;在 state_3，state_4 和 state_5 中，但没有＆＃39; 1 ＆＃39;在 state_0 ， state_1 和 state_2 。任何反馈将不胜感激！

Answer 1

当您不知道分类变量的所有可能值时，通常会使用特征哈希。因此，我们无法创建从分类值到列的静态映射。因此，哈希函数用于确定每个分类值对应的列。

这不是最好的用例，因为我们知道有50个状态，只能使用一个热编码。

散列函数也会发生冲突，其中不同的值映射到相同的值。这就是这里发生的事情。在散列函数中的模运算之后，两个不同的状态名称散列为相同的值。

缓解碰撞的一种方法是使您的要素空间（列数）大于可能的分类值的数量。

功能哈希是如何工作的？

1 个答案: