Orion
Orion copied to clipboard
longchat版本用那种框架训练的?
我现在用huggingface 感觉一不小心显存就炸了
感谢关注。可以检查是否使用flash-attn进行加速,可以在config.json里面添加"_flash_attn_2_enabled": true来保证使用flash-attn。
可以试试使用vllm推理框架进行推理