如何使用tensorflow预测图像中所有先前像素的下一个像素

Question

就像一个项目一样，我想看看是否有可能在给定所有先前像素的情况下预测图像中的下一个像素。
例如：假设我有一个带有 x 像素的图像。给定第一个 y 像素，我希望能够在某种程度上准确地预测 y + 1 像素。我该如何解决这个问题。

Answer 1

您正在寻找某种生成模型。 RNN是常用的，并且有一篇很棒的博客文章here展示了逐个字符的文本生成。

相同的原理可以应用于任何有序序列。您将图像称为像素序列，但图像具有固有的2D结构（如果包含颜色，则为3）如果采用与文本生成完全相同的方法，则会丢失。一些想法：

1. 使用tensorflow＆＃39; s GridLSTMCell s
2. 将一列像素视为序列的单个元素并逐列（或逐行）预测
3. 将想法2与列/行上的一些1D卷积相结合
4. 使用图像部分中的要素作为generative adversarial network的种子。有关基本实现，请参阅this repository。