长序列的可变长度RNN模型

Question

我正试图提出一种在单个模型中训练可变长度序列的方法。

数据集的每个输入都是一个频谱图，基本上是二维图像，高度恒定，宽度可变。每个频谱图的输出是一个宽度相等的热序列。

我认为可能的方法是：

1. 将频谱图轴交换到其时间，功能（以便RNN可以使用它）
2. 将整个转置频谱图输入模型
3. 将（duration，num_features）的输入分批填充到（num_batches，seq_length，num features）
4. 处理具有循环层的批次
5. 组合批次
6. 裁剪输出以匹配输入

我认为类似这样的方法可能行得通，至少我不明白为什么不给RNN做批量训练。我不知道TF框架是允许它还是仅仅训练太多。

如果有人知道执行步骤3和5的最佳方法，请帮帮我。

谢谢