gtcrn icon indicating copy to clipboard operation
gtcrn copied to clipboard

Published 20 hours ago • verified publisher icon Xiaobin-Rong

模型在rk3566上的速度依旧有点慢

Open yuyun2000 opened this issue 6 months ago • 3 comments

我承认这个模型的速度已经非常快，但是在rk3566 四核心a55上，依然满足不了实时的要求 流式的模型单次推理16ms，端侧推理一次耗时14-16ms，再加上其他应用很容易就rtf>1了 有可能进一步减少模型的size吗？

yuyun2000 avatar Aug 16 '24 02:08 yuyun2000