chenxing
chenxing
感谢关注。加载Orion-14B-Chat-RAG大概需要28G的显存，推理的话需要按照长度来计算。建议使用vLLM来进行推理
感谢关注。详见：https://github.com/OrionStarAI/Orion/tree/master/gradio_demo/plugin_task
> 使用的linux系统，T4卡，安装不上flash-attn库，可以绕过flash-attn库进行运行吗 感谢关注。目前是需要安装flash-attn
感谢关注。可以检查是否使用flash-attn进行加速，可以在config.json里面添加"_flash_attn_2_enabled": true来保证使用flash-attn。
感谢关注。可能是prompt使用造成的。chat的prompt格式详见：https://huggingface.co/OrionStarAI/Orion-14B-Chat/blob/main/generation_utils.py
感谢关注。Chat的微调prompt详见：https://huggingface.co/OrionStarAI/Orion-14B-Chat/blob/main/generation_utils.py