在Python中为大型数据集创建邻接矩阵

时间:2016-06-25 15:33:27

标签: python numpy matrix adjacency-matrix bigdata

我在Python中的Adjacency Matrix中表示网站用户行为时遇到问题。我想分析43个不同网站之间的用户交互,看看哪些网站一起使用。

给定数据集具有大约13.000.000行,具有以下结构:

 user website
 id1  web1
 id1  web2
 id1  web2
 id2  web1
 id2  web2
 id3  web3
 id3  web2

我想想象一下邻接矩阵中网站之间的互动,如下所示:

     web1 web2 web3
 web1  2    2    0
 web2  2    4    1
 web3  0    1    1

我很高兴任何建议

1 个答案:

答案 0 :(得分:5)

import scipy.sparse

data = """
 id1  web1
 id1  web2
 id1  web2
 id2  web1
 id2  web2
 id3  web3
 id3  web2
"""

data = np.array(data.split()).reshape(-1, 2)
_, i = np.unique(data[:, 0], return_inverse=True)
_, j = np.unique(data[:, 1], return_inverse=True)

incidence = scipy.sparse.coo_matrix((np.ones_like(i), (i,j)))
adjecency = incidence.T * incidence

print(adjecency.todense())