使用Tensorflow tf.data

时间:2018-04-30 23:53:32

标签: python tensorflow tfrecord convolutional-neural-network

设置

数据是一维时间序列数据。滑动窗口(框架)在数据上运行并提取特征f_ {i}(t_ {j})的100维向量,其中i是文件索引,j是帧的时间索引。来自n个连续帧的能量被堆叠以形成2D"图像",其是分类器的输入。

基本方法

只需将堆积的矢量保存在tfrecords文件中即可。缺点是堆叠的矢量具有大量重复数据并且消耗大量空间。如果我们有10演出的特征向量,那么堆叠10帧历史将需要50演出(+开销)的空间。但是,我们可以让tf.data进行洗牌,预取,批量创建等等。很方便!

期望的方法

一种实现,我们只将特征向量保存为tfrecords文件,并动态创建堆叠特征向量(图像)。

问题

之前是否遇到并处理过这个问题?大多数人会不关心他们的数据中的高重复次数或消耗的空间量?

获得所需的实施有多困难。即使天真地改变数据也会扰乱订购时间。我也只是以一种方式使用tf.data,我调用iterator.get_next()来获取功能和标签形式的一个例子,然后将其提供给图形。我想我还需要弄清楚如何不仅获得当前示例的专长和标签,而且还要及时了解它的前辈们!所以,我正在寻找有关如何实现这一目标的一些提示。

这是由2帧特征向量形成的图像处理的图像。请注意,在这种情况下,每个特征向量将在tfrecords数据文件中出现两次:

enter image description here

0 个答案:

没有答案
相关问题