xiaoduozhou
Results
5
comments of
xiaoduozhou
我也有这种问题， batch_size=1 和 batch_size=10 的时候 同一个输入推理出来的不一样，这个怎么办吗
我也遇到这个问题了， gpu版的， 跑完以后就报错了， 释放GPU内存的代码似乎有问题 Error: CUDA error when release memory! CUDA error = 4, cudaErrorCudartUnloading at /fastllm/src/devices/cuda/fastllm-cuda.cu:1493 'driver shutting down'
> see #363 十分感谢，和这个人的情况一样， 退出的时候手动释放内存就可以了， model.release_memory()。
有效果的， 我实验过差不多节省了一半的时间