Chenyme-AAVT
Chenyme-AAVT copied to clipboard
chenyme
这是一个全自动（音频）视频翻译项目。利用Whisper识别声音，AI大模型翻译字幕，最后合并字幕视频，生成翻译后的视频。
首先感谢作者开源了本项目，整体还是非常好用的，个人非常喜欢 下面列出几个我遇到的bug，希望能帮助项目变得更好： - `project\video.py`: - 64行: 变量 `vad` 的赋值应为boolean而非string，即 `vad = True if VAD_on else False`。在当前实现中，vad无论UI如何选择都会开启 - 95行：”本地模型“的UI创建中未定义`language2`，将会导致后续调用 `local_translate` 函数出现未定义引用；另外`language = ('中文', 'English', '日本語', '한국인', 'Italiano', 'Deutsch')`也许可以放在更早的位置（如93行）进行赋值，以覆盖不同翻译设置 关于翻译使用的prompt，本人测试的时候使用性能较弱的本地部署的ChatGLM3-6B-int4，发现当前prompt的翻译效果并不理想，模型会输出很多废话。个人目前将prompt改成如下，可以实现无废话的翻译： ``` messages=[...
“视频”模块下开启代理选项仍旧识别为官方API 设置中已正确填写key和api地址 
OpenMP
本地调用模式 加载模型：D:/BigModel/Chenyme-AAVT-main/models/medium OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That...
开webui后，chrome后台就报错，但是前端能正常交互，但是点击“运行程序”就还是报错  Failed to load resource: net::ERR_NAME_NOT_RESOLVED main.eccc579f.js:2 GET http://localhost:8501/%E9%9F%B3%E9%A2%91(Audio)/_stcore/health net::ERR_CONNECTION_REFUSED (anonymous) @ main.eccc579f.js:2 xhr @ main.eccc579f.js:2 ke @ main.eccc579f.js:2 _request @ main.eccc579f.js:2 request @ main.eccc579f.js:2 P.forEach.Be. @ main.eccc579f.js:2...
假如再大胆一点 - [whisper](https://github.com/openai/whisper)解决语音到字幕的问题 - LLMs(chatgpt,google translate)解决多国语言翻译问题 - [MockingBird](https://github.com/babysor/MockingBird)或者[so-vits-svc-fork](https://github.com/voicepaw/so-vits-svc-fork)训练原配角色音色(声纹) - 根据分析出的文本时间轴，利用ffmpeg分割不同音色的视频到片段，同时用训练好的原配角色音色按照翻译后的文本生成音轨 - (可选)再用[GeneFace++](https://genefaceplusplus.github.io/)或者[Wav2Lip](https://github.com/Rudrabha/Wav2Lip)对应的口型矫正 - 最后合并回去(ffmpeg) 这个是不是就是`heygen video translation`的大致实现思路，当然我是一个rookie，真的过程想必远比这个复杂，这里最大的难点是，如何识别出不同的声音的前后时间轴，中间还有相关的去背景音，识别误差校准等很多问题
挂着程序在后台跑了两个多小时顺便看了部电影, 然后edge直接把挂在后台的标签页杀了, 命令行窗口还能看到网页上显示的东西全都跟被重置了一样. 程序跑完的结果根本看不到.
【建议】一些建议
- openai模型支持自定义模型名称，因为有很多接口支持openai的接口格式，但是模型名称有规定。 - 字幕嵌入视频时，显示在视频中的字幕内容会最后有逗号，看起来跟奇怪。希望可以处理一下相关逻辑。 - 视频上传的位置很不显眼，第一次用都在纳闷上传位置在哪里。
