测量linux上的峰值nvidia GPU内存使用情况

Question

要测量我的程序当前使用的GPU内存，我可以使用以下命令（ubuntu linux，nvidia GPU）：

while true; do nvidia-smi --query-gpu=memory.used --format=csv; sleep .5; done|grep -v memory

它会定期输出如下值：

70 MiB
74 MiB
75 MiB
76 MiB
77 MiB
77 MiB
70 MiB

是否可以修改命令以始终显示最大值而不是最新值？

（如果可能的话，只用bash方式）

Answer 1

不确定，但你可以尝试这样的。

a=0
while true; do 
b=$(nvidia-smi --query-gpu=memory.used --format=csv|grep -v memory|awk '{print $1}')
[ $b -gt $a ] && a=$b && echo $a 
sleep .5
done