Question

稀疏张量与自身或密集张量的乘法似乎在TensorFlow中不起作用。以下示例

from __future__ import print_function
import tensorflow as tf

x = tf.constant([[1.0,2.0],
                 [3.0,4.0]])
y = tf.SparseTensor(indices=[[0,0],[1,1]], values=[1.0,1.0], shape=[2,2])
z = tf.matmul(x,y)

sess = tf.Session()
sess.run(tf.initialize_all_variables())
print(sess.run([x, y, z]))

失败并显示错误消息

TypeError: Input 'b' of 'MatMul' Op has type string that does not match type 
float32 of argument 'a'

两个张量都具有float32类型的值，通过在没有乘法运算的情况下对它们进行求值来看。 y与其自身的乘法返回类似的错误消息。 x与其自身的乘法运算良好。

Answer 1

TensorFlow目前尚未实现tf.SparseTensor的通用乘法。但是，有三种部分解决方案，选择正确的解决方案取决于数据的特征：

如果您有tf.SparseTensor和tf.Tensor，则可以使用tf.sparse_tensor_dense_matmul()将它们相乘。如果其中一个张量过大而无法在内存中加密，则这比下一个方法更有效：文档对如何在这两种方法之间做出决定提供了更多指导。请注意，它接受tf.SparseTensor作为第一个参数，因此要解决您的确切问题，您需要使用adjoint_a和adjoint_b参数，并转置结果
如果你有两个稀疏张量并且需要将它们相乘，那么最简单（如果不是最高效）的方法是将它们转换为密集并使用tf.matmul：
```
a = tf.SparseTensor(...)
b = tf.SparseTensor(...)

c = tf.matmul(tf.sparse_tensor_to_dense(a, 0.0),
              tf.sparse_tensor_to_dense(b, 0.0),
              a_is_sparse=True, b_is_sparse=True)
```
请注意，可选的a_is_sparse和b_is_sparse参数表示“a（或b）具有密集表示，但其大量条目为零”，这会触发使用不同的乘法算法。
对于稀疏 vector 的特殊情况（通过（可能是大的和分片的）密集矩阵乘法，并且向量中的值为0或1，tf.nn.embedding_lookup运算符可以更合适。 This tutorial讨论了何时可以使用嵌入以及如何更详细地调用运算符。
对于稀疏矩阵的特殊情况（可能是大的和分片的）密集矩阵，tf.nn.embedding_lookup_sparse()可能是合适的。此函数接受一个或两个tf.SparseTensor个对象，sp_ids表示非零值，可选sp_weights表示其值（否则默认为1）。
< / LI>

Answer 2

最近，添加了tf.sparse_tensor_dense_matmul(...)，允许将稀疏矩阵乘以密集矩阵。

https://www.tensorflow.org/versions/r0.9/api_docs/python/sparse_ops.html#sparse_tensor_dense_matmul

https://github.com/tensorflow/tensorflow/issues/1241

Answer 3

似乎

tf.sparse_matmul(
    a,
    b,
    transpose_a=None,
    transpose_b=None,
    a_is_sparse=None,
    b_is_sparse=None,
    name=None
)

不适用于两个SparseTensors的乘法。

a和b Tensors不是SparseTensors。我尝试过，它不能与SparseTensors一起使用。

Answer 4

在 TF2.4.1 中，您可以使用 tensorflow.python.ops.linalg.sparse.sparse_csr_matrix_ops 中的方法乘以任意 SparseTensor（我认为最多 3 个维度）。

应该使用类似下面的东西（通常你把稀疏张量变成 CSR 表示）

import tensorflow as tf
from tensorflow.python.ops.linalg.sparse import sparse_csr_matrix_ops


def tf_multiply(self, a: tf.SparseTensor, b: tf.SparseTensor):
    a_sm = sparse_csr_matrix_ops.sparse_tensor_to_csr_sparse_matrix(
        a.indices, a.values, a.dense_shape
    )

    b_sm = sparse_csr_matrix_ops.sparse_tensor_to_csr_sparse_matrix(
        b.indices, b.values, b.dense_shape
    )

    c_sm = sparse_csr_matrix_ops.sparse_matrix_sparse_mat_mul(
        a=a_sm, b=b_sm, type=tf.float32
    )

    c = sparse_csr_matrix_ops.csr_sparse_matrix_to_sparse_tensor(
        c_sm, tf.float32
    )

    return tf.SparseTensor(
        c.indices, c.values, dense_shape=c.dense_shape
    )

有一段时间我更喜欢 scipy 乘法（通过 py_function），因为 TF（2.3 和 2.4）中的这种乘法表现不如 scipy。我最近再次尝试，要么我对代码进行了更改，要么在 2.4.1 中进行了一些修复，使 TF 稀疏乘法在 CPU 和 GPU 中都比使用 scipy 更快。

Answer 5

使答案更完整：

tf.sparse_matmul(
    a,
    b,
    transpose_a=None,
    transpose_b=None,
    a_is_sparse=None,
    b_is_sparse=None,
    name=None
)

也存在：

https://www.tensorflow.org/api_docs/python/tf/sparse_matmul

Answer 6

tf.sparse_matmul用于将两个密集张量而不是稀疏类型的数据结构相乘。如果给定的矩阵（或两个矩阵）都具有许多零值，则该函数只是张量乘法的优化版本。同样，它不接受稀疏张量数据类型。它接受密集的张量数据类型。如果值大多为零，则可能会加快计算速度。

据我所知，没有实现两种稀疏类型张量消除。但是只有一个稀疏的密度为tf.sparse_tensor_dense_matmul（x，y）！

是否在TensorFlow中实现了稀疏张量乘法？

6 个答案: