Chinese-LLaMA-Alpaca
Chinese-LLaMA-Alpaca copied to clipboard
Chinese-LLaMA-Plus-13B,推理过程中报错
感谢您使用Issue提问模板,请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue,感谢您的配合。
提示:将[ ]中填入x,表示打对钩。提问时删除上面这两行。请只保留符合的选项,删掉其他。
详细描述问题
Chinese-LLaMA-Plus-13B,推理过程中报错:
运行截图或log
GPU推理还是CPU推理?像是内存不足的问题
GPU推理还是CPU推理?像是内存不足的问题
GPU,内存将近400G,应该不是内存不足的问题 @iMountTai
您好,我这边没有复现相关问题,不过因为transformers推理代码目前不支持多轮对话,所以您可以尝试llama.cpp或者webui等方式