具有注意的Tensorflow 2.1自定义RNN单元

时间:2020-01-28 15:57:46

标签: tensorflow tensorflow2.0

有人可以给我提供一个示例,例如带有可变文本序列和RNN的神经机器翻译模型吗?

要实现具有可变长度序列的seq2seq模型并非易事,因为存在许多问题,例如:

  • 您在哪里更新每个步骤的输出? python列表将是图形模式的问题。
  • 您如何实现tensorflow-addons中尚未实现的自定义注意?我尝试了一下,并使用了一个额外的参数使代码无法正常工作,例如,我还想返回注意力得分,而不仅仅是解码器的输出。
  • 如何读取存储的数据集,即按长度排序,类似长度的批次样本并根据当前批次的最大大小填充每个批次?

这些东西中是否有任何教程或示例?

0 个答案:

没有答案