Bulua
Results
1
comments of
Bulua
我也是4090，在启动run_webui.py时，加上--half和--compile，实测后推理速度快很多，从20token/sec直接飙升到200+token/sec