Chat-Haruhi-Suzumiya
Chat-Haruhi-Suzumiya copied to clipboard
LC1332
Chat凉宫春日, An open sourced Role-Playing chatbot Cheng Li, Ziang Leng, and others.
大佬你好，根据您的README中所提到的内容，在抽取特定动画角色台词时支持从字幕同步的动画片段。我想了解这个工具何时上线。我目前也在尝试重新训练柯南中远山和叶的VITS模型，但由于缺乏足够的音频数据来进行微调，许多从B站获取的人物音频切片都带有背景音乐，无法分离。因此，我认为您提到的额外工具对于收集人物语音数据以训练VITS模型非常实用。如果您不介意的话，我也很愿意参与这个工具的开发，为日后适配更多动漫人物提供一些帮助。
我希望能够将原本通过手动执行脚本来提取人物语料以及构建向量库的方式转变为通过一个成熟的系统来一键式完成。比如直接在页面上建立角色，通过通过页面点击的方式为角色配置声纹、抽取文本语料等功能。这个系统功能已经完成了大部分功能，非常希望能够参与到项目中来。
我把`/ChatHaruhi/Haruhi-2-Dev/ChatHaruhi/ChatGLM2GPT.py`的`get_response()`函数改成了: ``` response, history = self.model.chat(self.tokenizer, self.messages, history=[], do_sample=False), ``` 基座模型Chatglm2-6b的`modeling_chatglm.py`的chat()改成了 ``` def chat(self, tokenizer, query: str, history: List[Tuple[str, str]] = None, max_length: int = 8192, num_beams=1, do_sample=True, logits_processor=None, **kwargs):...
### 问题描述 - 请问论文中提到的 s-R-D-H-q 输入，是使用了一个模板对这几部分进行了组合？还是将这些字符串拼接起来得到最终的输入？ - 就是图中这部分的具体实现，希望可以得到您的回答，谢谢 
你好，我仔细阅读了你们的报告（https://github.com/LC1332/Chat-Haruhi-Suzumiya/blob/main/notebook/arxiv_paper.md ） ，报告中提到了提示词的构建、数据集收集和评价方法。不过未提到新的模型结构，是否可以理解为，只需要数据集到位任何语言模型都可以达到类似的效果？
@LC1332 感谢作者项目的无私分享，我在学习您的数据生成时发现一些疑惑，想请教一下： 具体参考的数据 https://huggingface.co/datasets/silk-road/Haruhi-Zero/tree/main 1、对于RoleLLM-sample.jsonl，Haruhi52_sample.jsonl等，**我大致总结了一下数据组织方式，_问题 1：_ 不知是否正确？** a. 通过embedding相似度获取context，并以\n###\n分割； b. 数据组织成from,value这种shareGPT格式； c. 每个对话使用「和」括住； **疑惑：** 我跟进了您最新上传的novel_50_xx-sample.jsonl以及tranlsated_and_split_PIPPA_sample.jsonl，\ 发现似乎并不按照上述方式组织，【**似乎没有了相似度获取的context，以及每个对话使用「和」括住；**】\ **问题2：** 类似多种数据组织方式对于训练的影响大吗？
作者的项目非常赞，我有几个问题想请教下： 1. 多个角色数据，是一起训练吗？还是每个角色训一个单独的 lora 2. 比如训练【令狐冲】角色，那就是SFT的 QA微调，A=令狐冲的话，Q=上一条和令狐冲对话人的话，是这样格式吗？ 3. SFT微调是单轮微调，还是多轮微调？ 4. 怎么划分连续上下文呢？避免答非所问的QA 5. 关于角色背景信息，还要进行指令微调吗？比如【令狐冲】的人物关系、角色技能等，光靠 system prompt不够充分吧 谢谢。
