在重新训练的开始阶段使用批处理请求

Question

我正在尝试使用来自Tensorflow的retrain.py在经过重新训练的Inception模型上使用批处理请求（实际上在中心存储库上可用）。不幸的是，我找不到任何可用的文档。

基本上，我使用inception_client.py在docker容器上执行对tensorflow_model_server的请求，并且在有一个图像（即使参数为--enable_batching的情况下）也能很好地工作。我尝试使用tf.stack()使用10张图像的堆叠列表来测试批处理，但是会引发以下异常：

  

AbortionError（code = StatusCode.INVALID_ARGUMENT，details =“要重塑的输入是具有20480个值的张量，但请求的形状为2048 [[节点：pool_3 / _reshape =重塑[T = DT_FLOAT，Tshape = DT_INT32，_output_shapes = [[1,2048]]，_device =“ / job：localhost /副本：0 /任务：0 /设备：CPU：0”]（pool_3，pool_3 / _reshape / shape）]]）

我猜我的模型不支持批处理请求。那么，我应该如何重新训练Inception模型以支持批处理请求？

Answer 1

这是批处理的示例： https://www.tensorflow.org/serving/serving_advanced

尝试先阅读该教程，希望它能回答一些问题。