gtcrn icon indicating copy to clipboard operation
gtcrn copied to clipboard

Published 20 hours ago • verified publisher icon Xiaobin-Rong

offline和online推理速度差异

Open CaA23187 opened this issue 7 months ago • 1 comments

我在X86平台和ARM平台上测试offline和online的RTF, 发现online版本会慢上27倍左右. 但是从CPU占用率上看, 两个版本的GTCRN的使用率都接近100%, 请问这运行速度上的差异可能是什么原因导致的?

CaA23187 avatar Jul 23 '24 06:07 CaA23187