Chinese-LLaMA-Alpaca-2
Chinese-LLaMA-Alpaca-2 copied to clipboard
ymcui
中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
### 提交前必须检查以下项目 - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 - [X] 我已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。 - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[LangChain](https://github.com/hwchase17/langchain)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，同时建议到对应的项目中查找解决方案。 ### 问题类型 模型训练与精调 ### 基础模型 Chinese-LLaMA-2 (7B/13B) ### 操作系统 Linux ### 详细描述问题 在`scripts/training/run_clm_pt_with_peft.py` Line [502](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/blob/main/scripts/training/run_clm_pt_with_peft.py#L502) 中，`result["labels"] = result["input_ids"].copy()`把label和input_ids设置成完全相同。但预训练过程应该是预测下一个词，所以是否应该将labels右移一位呢？或者是否右移一位的操作已经在transformers或PEFT里已经实现了，所以这里才这样写的呢？谢谢！...
模型微调
### 提交前必须检查以下项目 - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 - [X] 我已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。 - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[LangChain](https://github.com/hwchase17/langchain)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，同时建议到对应的项目中查找解决方案。 ### 问题类型 None ### 基础模型 Chinese-Alpaca-2 (7B/13B) ### 操作系统 Linux ### 详细描述问题 ``` # 请在此处粘贴运行代码（请粘贴在本代码块里） ``` 微调7B的alpaca时模型的数据量和epoch应该设置为多少比较合适 ###...
### 提交前必须检查以下项目 - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 - [X] 我已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。 - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[LangChain](https://github.com/hwchase17/langchain)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，同时建议到对应的项目中查找解决方案。 ### 问题类型 模型推理 ### 基础模型 Others ### 操作系统 Linux ### 详细描述问题 ``` # 请在此处粘贴运行代码（请粘贴在本代码块里） ``` ### 依赖情况（代码类问题务必提供） ```...
### 提交前必须检查以下项目 - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 - [X] 我已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。 - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[LangChain](https://github.com/hwchase17/langchain)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，同时建议到对应的项目中查找解决方案。 ### 问题类型 模型训练与精调 ### 基础模型 Chinese-Alpaca-2 (7B/13B) ### 操作系统 Linux ### 详细描述问题 ``` ### 人类偏好对齐（RLHF）版本评测 ## 对齐水平 为评估中文模型与人类价值偏好对齐程度，我们自行构建了评测数据集，覆盖了道德、色情、毒品、暴力等人类价值偏好重点关注的多个方面。实验结果以价值体现正确率进行呈现（体现正确价值观题目数...
I realized that there is no control for padding token when using sft trainer. So we can control it for custom tokenizers.
原因：Llama-2-70B transformer结构num_heads与num_key_value_heads不相等，会导致在forward阶段计算attention时维度出现错误。参考transformers进行修改: https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/modeling_llama.py#L263
这是 lmdeploy 相关的知乎介绍和测试结果 * 《使用 LMDeploy 轻松部署 Llama-2 系列模型》 https://zhuanlan.zhihu.com/p/645877584 * 《LLM 低成本 GPU 部署方案 lmdeploy 开源 》 https://zhuanlan.zhihu.com/p/642934459 * 《6G显存玩转大模型，更快更省的4bit量化推理硬核开源》 https://zhuanlan.zhihu.com/p/650233050 由于 wiki 没法 PR，只能 owner 调整 wiki 目录，我...
