hf转换后的13B model无法达到公布性能，求公开模型hf格式的模型权重哈希值以及transformer版本

[zixiliuUSC]

目前采用你们main branch的merge_llama_with_chinese_lora_to_hf.py代码直接转换hf llama 转换过程是首先运行hf的main branch，版本是151425d，转换原始llama模型到hf模型。然后运行merge_llama_with_chinese_lora_to_hf.py合并你们在hf中公开的权重，得到最终模型。 我的hf llama 13B的权重哈希值是

sha256sum pytorch_model-00001-of-00003.bin
dd20cdee2637408c6ab88c13f5c27d153bacd0e99f2d55f6a66fbd0269944436  pytorch_model-00001-of-00003.bin

sha256sum pytorch_model-00002-of-00003.bin
1aba886c5f28d2e2e9b04ab3c4f5bc250c6b06efc1baa3f557677b3097f70e6a  pytorch_model-00002-of-00003.bin

sha256sum pytorch_model-00003-of-00003.bin
2efc56cddb7877c830bc5b402ee72996aedb5694c9e8007bf1d52d72c0d97d26  pytorch_model-00003-of-00003.bin

使用merge_llama_with_chinese_lora_to_hf.py转换后得到的权重哈希值为

sha256sum pytorch_model-00001-of-00003.bin
7b15487829d195378000b331f4f5a9b3c5b45af8ef68caf6b7e625b44f94a958  pytorch_model-00001-of-00003.bin

sha256sum pytorch_model-00002-of-00003.bin
9a37849f1e865ac8977a0e608e69567a9dcd75b188efaaa20910c4909cd2ab46  pytorch_model-00002-of-00003.bin

sha256sum pytorch_model-00003-of-00003.bin
cc4fd1e28164c93970326966e09c11811ccb50b1a228d8dcf9388ae1ee5874b5  pytorch_model-00003-of-00003.bin

[ymcui]

所以你融合的是什么模型？LLaMA-13b还是Alpaca-13b？

[ymcui]

huggingface-transformers的llama相关实现近期有一些小变动，所以建议你主要是聚焦于源头是否一致，例如llama-13b原版（pytorch）和下载的中文llama/alpaca权重文件。 https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/SHA256.md

[zixiliuUSC]

所以你融合的是什么模型？LLaMA-13b还是Alpaca-13b？

融合的是alpaca模型

[zixiliuUSC]

我这边llama是从meta那边下载的，中文的alpaca权重是从hf下载的，哈希都没问题

[airaria]

我这边llama是从meta那边下载的，中文的alpaca权重是从hf下载的，哈希都没问题

因为peft变动比较大，大多数情况下是peft的问题；建议更新peft，使用新的合并脚本再试一下。

[zixiliuUSC]

我这边llama是从meta那边下载的，中文的alpaca权重是从hf下载的，哈希都没问题

因为peft变动比较大，大多数情况下是peft的问题；建议更新peft，使用新的合并脚本再试一下。

我看了别的issue，用的是0.2.0的peft，所以感觉还是需要你们公开一下对应的peft版本和哈希值，不然真的测试不了你们的效果

[ymcui]

准备工作里已经写了peft==0.2.0 😂 另外你也可以参考notebook里的转换脚本，看看是哪个步骤出现的问题。 https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/notebooks/convert_and_quantize_chinese_llama.ipynb

[iMountTai]

我这边llama是从meta那边下载的，中文的alpaca权重是从hf下载的，哈希都没问题

因为peft变动比较大，大多数情况下是peft的问题；建议更新peft，使用新的合并脚本再试一下。

我看了别的issue，用的是0.2.0的peft，所以感觉还是需要你们公开一下对应的peft版本和哈希值，不然真的测试不了你们的效果

@zixiliuUSC 根据transformers版本(commit:151425ddb29d4ad1a121e8cce62000a2ac52d3ba)，peft=0.3.0.dev0,得到的merge_file文件的哈希值为：

4451b242b4786341a1490e443088dc0c090787fb4d29eee2e590df0b6c77aa80  pytorch_model-00001-of-00003.bin
8d3a927a1196398d114ea1829c4c6828e0fbe8d51b958fb9f661b5d4c99df53d  pytorch_model-00002-of-00003.bin
6930dc76c6b25b526516b9eb3145e6dc77d722221259e9a316544cc70c295dd0  pytorch_model-00003-of-00003.bin

但是该哈希值并不一定具有参考性，因为sha256 另外您所说的无法达到公布性能，还请说明环境配置、解码参数等详细信息，也方便我们定位相关问题，我们目前已发布llama.cpp、transformers、text-generation-webui等三种本地推理与快速部署方式，欢迎尝试

[a101269]

我也遇到这个问题，13B的几个文件sha256值和给出的sha256完全一致，peft也是0.2.0，但感觉13B比7B效果差很多

[iMountTai]

我也遇到这个问题，13B的几个文件sha256值和给出的sha256完全一致，peft也是0.2.0，但感觉13B比7B效果差很多

@a101269 方便给出推理方式及具体解码参数吗？

[zixiliuUSC]

感谢！！！！！

[aceai84]

我的sha256的hash 值是对上的，也是13B的效果比7B差很多

[iMountTai]

@aceai84 还请给出具体推理方式及解码参数，方便我们定位问题～另外readme已更新，目前已发布llama.cpp、transformers、text-generation-webui等三种本地推理与快速部署方式，欢迎尝试

[a101269]

我也遇到这个问题，13B的几个文件sha256值和给出的sha256完全一致，peft也是0.2.0，但感觉13B比7B效果差很多

@a101269 方便给出推理方式及具体解码参数吗？

推理方式：7B、13B都没量化，在V100上直接跑的。 参数13B {temperature=0.7, top_k=40, top_p=0.95, do_sample=True, num_beams=1, repetition_penalty=1.3, max_new_tokens=400}，也试过7B用的这组{ temperature=0.2, top_k=40, top_p=0.9, do_sample=True, num_beams=1, repetition_penalty=1.3, max_new_tokens=400}，效果都不如7B

[a101269]

我也遇到这个问题，13B的几个文件sha256值和给出的sha256完全一致，peft也是0.2.0，但感觉13B比7B效果差很多

@a101269 方便给出推理方式及具体解码参数吗？

推理方式：7B、13B都没量化，在V100上直接跑的。 参数13B {temperature=0.7, top_k=40, top_p=0.95, do_sample=True, num_beams=1, repetition_penalty=1.3, max_new_tokens=400}，也试过7B用的这组{ temperature=0.2, top_k=40, top_p=0.9, do_sample=True, num_beams=1, repetition_penalty=1.3, max_new_tokens=400}，效果都不如7B

用的transformers推理

[minlik]

我也遇到了同样的问题，13B的效果比7B的要差不少。我是自己转换的模型，不知道问题出在哪里。 模型用的是下面两个： https://huggingface.co/minlik/chinese-alpaca-7b-merged https://huggingface.co/minlik/chinese-alpaca-13b-merged

[YSLLYW]

我也遇到了同样的问题，13B的效果比7B的要差不少。我是自己转换的模型，不知道问题出在哪里。 模型用的是下面两个： https://huggingface.co/minlik/chinese-alpaca-7b-merged https://huggingface.co/minlik/chinese-alpaca-13b-merged

我下载了您发布的7b模型，问答效果效果几乎没有，只会重复问题：

[YSLLYW]

我也遇到了同样的问题，13B的效果比7B的要差不少。我是自己转换的模型，不知道问题出在哪里。 模型用的是下面两个： https://huggingface.co/minlik/chinese-alpaca-7b-merged https://huggingface.co/minlik/chinese-alpaca-13b-merged

请问您测试的效果如何？

[minlik]

我也遇到了同样的问题，13B的效果比7B的要差不少。我是自己转换的模型，不知道问题出在哪里。 模型用的是下面两个： https://huggingface.co/minlik/chinese-alpaca-7b-merged https://huggingface.co/minlik/chinese-alpaca-13b-merged

请问您测试的效果如何？

我看你用的是llama-7b，问答用alpaca-7b

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[LiemLin]

我也遇到了同样的问题，13B的效果比7B的要差不少。我是自己转换的模型，不知道问题出在哪里。 模型用的是下面两个： https://huggingface.co/minlik/chinese-alpaca-7b-merged https://huggingface.co/minlik/chinese-alpaca-13b-merged

我下载了您发布的7b模型，问答效果效果几乎没有，只会重复问题：

prompt的格式改成下面的 prompt = “Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n我能用lightning数据线给安卓手机充电吗？\n\n### Response:\n”

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.