goodbai

thanks.

参考：ssue https://github.com/OpenLMLab/MOSS/issues/65 注释掉 models/custom_autotune.py 后依然报下面错误： > except #triton.compiler.OutOfResources: > return float('inf') $ python3 moss_cli_demo.py /usr/lib/python3/dist-packages/requests/__init__.py:89: RequestsDependencyWarning: urllib3 (1.26.15) or chardet (3.0.4) doesn't match a supported version! warnings.warn("urllib3 ({}) or chardet...

少了文件这个提示的很清楚，但我要如何才能正确切换使用int8的模型呢？

> 可以参考Readme中加载量化模型的步骤，并使用Huggingface Hub上最新的量化模型文件~ 官方readme中并没有找到步骤，只有一段不同模型的简介啊。方便分享一下是哪里找得到。

hello

官方提示如下，实际上我32G显存是跑不起来FP16的，所以需要在启动文件中修改模型文件。 量化等级 | 加载模型 | 完成一轮对话（估计值） | 达到最大对话长度2048 -- | -- | -- | -- FP16 | 31GB | 42GB | 81GB Int8 | 16GB | 24GB | 46GB Int4...

没有人回答，自己来。

> 我moss-moon-003-sft-int4，gpu 32GB 也是报gpu内存不足，和你的一样 我换了int4OK了，出现了另一个语法错误。out of mem错误没有了。 但int8不行，out of mem错误依然存在。

好吧，不用merge也可以，直接混合模式运行即可。试了主页几个问题答案也接近了，但是还是有重复念经发生，效果比较一般。 下面命令运行： python webui.py \ --load_8bit False \ --base_model 'minlik/chinese-alpaca-plus-7b-merged' \ --lora_weights 'entity303/lawgpt-lora-7b-v2' \ --prompt_template "law_template" \ --server_name "0.0.0.0" \ --share_gradio True \

> Can you make sure you've used the latest version1.7.0 of flagai? 今天中文从github拉取的代码，