Bruce

在这个 notebook 中: https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/notebooks/convert_and_quantize_chinese_llama.ipynbusp=sharing#scrollTo=EjkXqaqbmrVZ 使用如下命令: 能成功运行 ` !cd Chinese-LLaMA-Alpaca/ && python scripts/my_gradio_demo.py \ --base_model 'decapoda-research/llama-7b-hf' \ --lora_model 'ziqingyang/chinese-alpaca-lora-7b' ` 在这个 notebook ： https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/notebooks/finetune_chinese_alpaca_lora.ipynb ` !cd Chinese-LLaMA-Alpaca/ && python scripts/my_gradio_demo.py \...

已解决: load_type = torch.float16 改为如下: load_type = torch.float32

@airaria 您好，我是在 google colab 运行，目前遇见 GPU 显存 OOM, 请问一下，需要多少显存，是否考虑提供一个 notebook 哈 启动成功，当我输入问题“李白的诗是什么风格” 报错如下: 

我在 google colab A100 上成功运行了，以下是 notebook https://colab.research.google.com/drive/1U8iZOP2xJ2abTbMqoVqS1z4Rk37lp1HB?usp=sharing

这是来自QQ邮箱的假期自动回复邮件。你好，我最近正在休假中，无法亲自回复你的邮件。我将在假期结束后，尽快给你回复。

@fntlnz can work on cgroups v1?