Neo LLama

原版本llama-3-8B-Instruct 评测问题

1

### 提交前必须检查以下项目 - [X] 请确保使用的是仓库最新代码（git pull） - [X] 已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-3/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-3/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。 - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，建议优先去对应的项目中查找解决方案。 ### 问题类型 模型推理 ### 基础模型 Llama-3-Chinese-8B-Instruct（指令模型） ### 操作系统 Linux ### 详细描述问题 求问作者在进行原版本llama-3-8B-Instruct的CEVAL评测时有没有遇到这个问题：选择with_prompt，0shot的情况分数很低，只有20多分，5shot正常，但with_prompt=False时，0shot和5shot分数都正常，和你readme中的分数一致，所以推断作者应该也是使用with_prompt=False进行评测，不太清楚这是什么原因 ### 依赖情况（代码类问题务必提供） _No response_ ### 运行日志或截图...

how can i extend this model to multilingual version

1

excuse me ,I'm new to this field,i want to extend this model to multilingual version,there are oneproblem: 1. for audio,how can i realize multilingual version,should i just extend text encoder...

使用Adgen广告数据微调Qwen-MoE，输出问题

4

我使用Adgen广告数据微调Qwen-MoE-chat模型时，输出开头会有一些特殊的字段  如”Humanmade“、”Humanity“、”Human“等，我的训练数据中没有这些字段，我的prompt构造也是符合你们的模板，在微调其他MoE模型时均没有出现过这种情况？