Gen6D icon indicating copy to clipboard operation
Gen6D copied to clipboard

训练模型时占用很多cpu,导致模型训练到一半终止。

Open lcl-git-3d opened this issue 1 year ago • 2 comments

我所使用的服务器是3090ti,为什么我训练detector训练了两天一夜,并且selector训练到一半被killed。我看了一下,服务器cpu已经满了,请问应该做哪些操作,使得程序在训练过程中不被杀死呢?或者加快训练时间呢?我基本上原程序并没有任何改动。

lcl-git-3d avatar Jul 09 '23 07:07 lcl-git-3d

作者你好,我看了一下,目前的程序训练是不是在线训练?是否可以改成批量训练呢,使用批量训练的话,会有什么影响呢?

lcl-git-3d avatar Jul 09 '23 09:07 lcl-git-3d

这个数据集比较大,可能读入不到内存里面。CPU上开的线程数量应该是固定的,并不会一直增长应该。

liuyuan-pal avatar Jul 10 '23 09:07 liuyuan-pal