PaddleNLP
PaddleNLP copied to clipboard
UIE的Taskflow在使用fp16时指定了GPU,实际进程还会占用其他的GPU
my_ie = Taskflow("information_extraction", schema=schema, task_path='./uie/checkpoint/model_best', device_id=1)
指定device_id=1运行在GPU1上,实际会在GPU0上拉起一个进程。当进行第一次推理pprint(my_ie("城市内交通费7月5日金额114广州至佛山"))之后,又会在GPU1上拉起一个进程。如图。
如果不使用fp16,就没有这个问题。猜测应该是使用fp16时onnx的原因。是否可以后续统一到指定的GPU上?