Xingchen Song(宋星辰)
Xingchen Song(宋星辰)
> 目前使用官方提供的p-tuning方案在羊驼52k中文数据上微调，出来的效果直接影响到原始的模型本来回答很好的内容，52K中文数据的回答也不尽人意，不知道在微调方面是不是还有什么技巧。目前有调整的是文本的输入输出长度，其他的跟官方给的参数一致。 我认为这个是正常的，原因同楼上 @songxxzp 所说，p-tuning更适合某个专一领域任务（比如举例的角色扮演），这里羊驼52k某种程度上还是一种open domain的QA，此时lora方式会更合适点
Hi teams, any plan to support amp O1 in ZeRO?
met the same issue. The only difference is I manually download dolly-v2-3b from hf and replace `_name_or_path: EleutherAI/pythia-2.8b` with `_name_or_path: databricks/dolly-v2-3b` in config.json to pass the check from this function...
> I tried the nightly build of TVM Unity by following the instructions [here](https://github.com/mlc-ai/mlc-llm/blob/main/ios/README.md#step-1-install-tvm-unity), and it works for me. > > ``` > pip3 install mlc-ai-nightly -f https://mlc.ai/wheels > ```...
准备以后也是ckpt重命名的方式引入llm吗？（而不是import transformers）
torchaudio 2.1 https://arxiv.org/pdf/2310.17864v1.pdf, 是提供了一个对齐接口 https://pytorch.org/audio/stable/tutorials/ctc_forced_alignment_api_tutorial.html
> @robin1001 @xingchensong @whiteshirt0429 [openai/whisper#1762](https://github.com/openai/whisper/discussions/1762) whisper v3 开源了 是否可以考虑 支持这个的推理， 他看着有些粤语的方言 可以用用 v3结构上和v2一样，所以一支百支 ：)
这个whisperX集成了vad、force align、speaker diarization、timestamp。对制作数据应该比较有用 - https://arxiv.org/abs/2303.00747 - https://github.com/m-bain/whisperX
> > 如何保证数据不包含低质量的tts数据，以及考虑高质量的tts数据来进行更好的覆盖，这两个事情都比较重要，现在网络上低质量tts数据太多了 > > 可以用声纹的方式， 提前找些常用角色（从原视频上着） 或者直接从各大厂的tts api合成一些？微软，火山，魔音工坊，合成的语音和真实语音来训个二分类模型？