jeffsjf

添加了os.environ["CUDA_VISIBLE_DEVICES"] = "1,0" 和 device_map='auto'，好像还不行，随着推理并发和交互的增多，一张卡的显存还是在飙升，另一张虽然有显存占用，但只有783M，而且一直不增加