micronetboy

Run build_win.bat got error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2022\\BuildTools\\VC\\Tools\\MSVC\\14.35.32215\\bin\\HostX86\\x64\\cl.exe' failed with exit code 2

2

**Describe the bug** Run build_win.bat got error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2022\\BuildTools\\VC\\Tools\\MSVC\\14.35.32215\\bin\\HostX86\\x64\\cl.exe' failed with exit code 2 **To Reproduce** Steps to reproduce the behavior: 1. Go to '...' 2....

多轮对话后回复为空，或者只回复 2,3个字

1

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 每次对话会传入最多 15 个 history 以及 对话的 content，多轮对话后回复为空，或者只回复 2,3个字 ### Expected Behavior...

💡 [REQUEST] - 您好 评测分数是否在 vLLM 部署下跑过，大家反映 vLLM部署和 huggingface 部署 输出差别很大

1

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 您好 评测分数是否在 vLLM 部署下跑过，大家反映 vLLM部署和...

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary QLora 微调 gptq 模型后，什么时候能支持模型合并 ###...

[BUG] A100 80G，vLLM 运行 qwen-7b-chat 报错 torch.cuda.OutOfMemoryError。实际可用显存有 70G

3

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...

💡 [Question] - 您好，请教个问题，微调多轮对话的数据格式是什么样的？如何在微调中加history？

1

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 您好，请教个问题，微调多轮对话的数据格式是什么样的？如何在微调中加history？ ### 基本示例 | Basic...

💡 [Question] - 微调数据格式，from字段可以是回答问题的人物吗？

3

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 微调数据格式，可以增加回答问题的人物吗？比如让大模型扮演诸葛亮，是否可以用如下的格式微调模型？ [ { "id": "identity_0",...

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 您好，想把一下专有名词的翻译微调到模型里，数据格式应该如何组织。比如 中文：帕拉蒂兰德 英文：Paratheland。需要写instruction吗？ ### 基本示例...

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 您好，请教个问题，微调中的 model_max_length。是指输入最大长度？还是指输出最大长度？比如我设置 model_max_length=256。微调后，输入最大长度会改变为256吗？输出最大长度会改变为256吗？ ### 基本示例...

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 您好，请教个问题，微调的数据格式，能加 instruction吗？比如这种格式的： { "instruction": "将以下句子从一种时态转换为另一种时态",...