VideoLingo icon indicating copy to clipboard operation
VideoLingo copied to clipboard

如何修改代码添加对朝鲜语的支持(增加其他语种的方法?)

Open IPENCIL666 opened this issue 1 year ago • 4 comments

IPENCIL666 avatar Nov 23 '24 02:11 IPENCIL666

  1. 参见 whisperX 的语言支持,虽然 whisper 支持大部分语言,但是 whisperX 有使用w av2vac 对齐的步骤,如果不在列表内需要添加 wav2vac 模型下载地址。
  2. 可选:在 core 下的 spacy_utils 中增加不同语言使用 nlp 进行初步分割的词汇

Huanshere avatar Nov 23 '24 05:11 Huanshere

whisperX已经支持的wav2vac 模型还挺多的:link 但是spacy的model还不够多

piagodai avatar Nov 25 '24 13:11 piagodai

whisperX已经支持的wav2vac 模型还挺多的:link 但是spacy的model还不够多

感谢提供链接!!!是的 spacy 的模型并不多,但这个步骤其实完全可以被 llm 替代,只是提前分割节省一下成本(但至少至少,对这个语言的转录要有标点符号!),因此理论上确实可以扩展到多语言!!!我会抽空对不同语言的 wav2vac 模型进行测试看看效果(至少对于现有的来说,日语的模型选择就需要更换)

Huanshere avatar Nov 25 '24 16:11 Huanshere

whisperX已经支持的wav2vac 模型还挺多的:link 但是spacy的model还不够多

感谢提供链接!!!是的 spacy 的模型并不多,但这个步骤其实完全可以被 llm 替代,只是提前分割节省一下成本(但至少至少,对这个语言的转录要有标点符号!),因此理论上确实可以扩展到多语言!!!我会抽空对不同语言的 wav2vac 模型进行测试看看效果(至少对于现有的来说,日语的模型选择就需要更换)

还是没有印尼语吗?

vanch007 avatar Dec 04 '24 15:12 vanch007