Xin Yao

When layer_distill_version=3 no longer reports an error, it may be that some layers are lost.But another problem arises, when I fine-tune, the following code needs to be changed  is...

@TobiasLee Have you ever encountered a situation where mnli task acc remains unchanged？

这应该是cuda和torch版本不一致导致的，建议通过`torch.cuda.is_available`()确认一下 可以通过cpu运行，如下 ``` python server.py --model llama-7b-hf --lora chinese-alpaca-lora-7b --cpu ```

我拉取了webui最新代码并尝试运行相关命令，未复现您的问题，还请检查相关环境或到webui下提一个issue,以下是我的输出及结果 ``` (torch1.13-cpu) [/text-generation-webui]$ python server.py --model llama-7b-hf --lora chinese-alpaca-lora-7b --cpu INFO:Gradio HTTP request redirected to localhost :) INFO:Loading llama-7b-hf... Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████| 2/2 [00:13

> > > 我这边llama是从meta那边下载的，中文的alpaca权重是从hf下载的，哈希都没问题 > > > > > > 因为peft变动比较大，大多数情况下是peft的问题；建议更新peft，使用新的合并脚本再试一下。 > > 我看了别的issue，用的是0.2.0的peft，所以感觉还是需要你们公开一下对应的peft版本和哈希值，不然真的测试不了你们的效果 @zixiliuUSC 根据transformers版本(commit:151425ddb29d4ad1a121e8cce62000a2ac52d3ba)，peft=0.3.0.dev0,得到的merge_file文件的哈希值为： ``` 4451b242b4786341a1490e443088dc0c090787fb4d29eee2e590df0b6c77aa80 pytorch_model-00001-of-00003.bin 8d3a927a1196398d114ea1829c4c6828e0fbe8d51b958fb9f661b5d4c99df53d pytorch_model-00002-of-00003.bin 6930dc76c6b25b526516b9eb3145e6dc77d722221259e9a316544cc70c295dd0 pytorch_model-00003-of-00003.bin ``` 但是该哈希值并不一定具有参考性，因为[sha256](https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/SHA256.md#merged-files-consolidatedpth) 另外您所说的无法达到公布性能，还请说明**环境配置、解码参数**等详细信息，也方便我们定位相关问题，我们目前已发布[llama.cpp](https://github.com/ymcui/Chinese-LLaMA-Alpaca#llamacpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2)、[transformers](https://github.com/ymcui/Chinese-LLaMA-Alpaca#%E4%BD%BF%E7%94%A8transformers%E6%8E%A8%E7%90%86)、[text-generation-webui](https://github.com/ymcui/Chinese-LLaMA-Alpaca#%E4%BD%BF%E7%94%A8text-generation-webui%E6%90%AD%E5%BB%BA%E7%95%8C%E9%9D%A2)等三种本地推理与快速部署方式，欢迎尝试

> 我也遇到这个问题，13B的几个文件sha256值和给出的sha256完全一致，peft也是0.2.0，但感觉13B比7B效果差很多 @a101269 方便给出推理方式及具体解码参数吗？

@aceai84 还请给出具体推理方式及解码参数，方便我们定位问题～另外readme已更新，目前已发布[llama.cpp](https://github.com/ymcui/Chinese-LLaMA-Alpaca#llamacpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2)、[transformers](https://github.com/ymcui/Chinese-LLaMA-Alpaca#%E4%BD%BF%E7%94%A8transformers%E6%8E%A8%E7%90%86)、[text-generation-webui](https://github.com/ymcui/Chinese-LLaMA-Alpaca#%E4%BD%BF%E7%94%A8text-generation-webui%E6%90%AD%E5%BB%BA%E7%95%8C%E9%9D%A2)等三种本地推理与快速部署方式，欢迎尝试

您可以参考我们的[预训练代码](https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/scripts/run_clm_pt_with_peft.py)加载多个小文件并合并成一个数据集

设置的可训练参数是什么？模型以fp16加载？

有按照脚本中提示的peft版本安装吗？