Orion icon indicating copy to clipboard operation
Orion copied to clipboard

Published 20 hours ago • verified publisher icon OrionStarAI

longchat版本用那种框架训练的？

Open cizhenshi opened this issue 1 year ago • 2 comments

我现在用huggingface 感觉一不小心显存就炸了

cizhenshi avatar Jan 25 '24 10:01 cizhenshi

感谢关注。可以检查是否使用flash-attn进行加速，可以在config.json里面添加"_flash_attn_2_enabled": true来保证使用flash-attn。

chenxingphh avatar Jan 26 '24 03:01 chenxingphh

可以试试使用vllm推理框架进行推理

liuyongqiangjava avatar Jan 26 '24 03:01 liuyongqiangjava