Chinese-LLaMA-Alpaca icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca copied to clipboard

Chinese-LLaMA-Plus-13B,推理过程中报错

Open heshuguo opened this issue 1 year ago • 3 comments

感谢您使用Issue提问模板,请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue,感谢您的配合。

提示:将[ ]中填入x,表示打对钩。提问时删除上面这两行。请只保留符合的选项,删掉其他。

详细描述问题

Chinese-LLaMA-Plus-13B,推理过程中报错:

运行截图或log

image

heshuguo avatar May 11 '23 09:05 heshuguo

GPU推理还是CPU推理?像是内存不足的问题

iMountTai avatar May 12 '23 06:05 iMountTai

GPU推理还是CPU推理?像是内存不足的问题

GPU,内存将近400G,应该不是内存不足的问题 @iMountTai

heshuguo avatar May 12 '23 07:05 heshuguo

您好,我这边没有复现相关问题,不过因为transformers推理代码目前不支持多轮对话,所以您可以尝试llama.cpp或者webui等方式

iMountTai avatar May 13 '23 09:05 iMountTai