gunicorn-为每个工作进程设置环境变量

时间:2019-03-06 14:31:31

标签: python tensorflow gunicorn

我已经开发了一个简单的python API。此api中的一个端点使用tensorflow-gpu对图像执行对象检测。这一切都很好,很花哨。

我将这个api托管在亚马逊p3.8xlarge实例上。该实例类型具有4个GPUS。为了使api的总吞吐量最大化,我打算将Gunicorn与4个工作进程一起使用。

我想将这些工作进程中的每一个限制为1 gpu。我发现执行此操作的唯一可靠方法是设置CUDA_VISIBLE_DEVICES变量(例如CUDA_VISIBLE_DEVICES =“ 0”),我需要为每个工作进程执行此操作。 (例如,工人1的CUDA_VISIBLE_DEVICES =“ 0”,工人2的CUDA_VISIBLE_DEVICES =“ 1”,等等)

我似乎看不到用简单的方法来做到这一点?

0 个答案:

没有答案
相关问题