完全使用本地大模型测试通过 请大家鉴定翻译质量

[lonrencn]

平台：ubuntu 24.04 2080TI 22G * 4 2680 v4 128G 用本地模型跑了个视频教程 使用videolingo平台完全使用本地大模型跑出来的videolingo+whisperX+ollama(qwen2.5b:32b)+GPT-sovite没花一分钱。

###【为什么要在今天选择FastAPI Why You Should Learn FastAPI Today】

完全用平台跑出来的，没有手动干预

https://www.bilibili.com/video/BV17Y1aY6EqW/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

###【怎样用Python建立 RESTful ： How to build modern RESTful APIs with Python】

下载1080平台提示格式不支持，但是下载的.mkv文件是正常的，然后用360p文件跑出来，用mkvtoolnix进行组装

https://www.bilibili.com/video/BV1mX1aYdEow/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

下载1080平台提示格式不支持，但是下载的.mkv文件是正常的，然后用360p文件跑出来，用mkvtoolnix进行组装

【怎么让Fastapi连接数据库 Python FastAPI Tutorial： How to Connect FastAPI to Database】 https://www.bilibili.com/video/BV1mX1aYdEQX/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

上传用的mkv是有字幕的，b站转格式把字幕丢了

完全用平台跑出来的，没有手动干预，下载1080没有提示格式不支持。 【fastapi与mongodb 的连接 Unlocking the Power of NoSQL_ FastAPI with MongoDB0】 https://www.bilibili.com/video/BV1yf1uYWEmY/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

qwen2:7b跑不通

喜大普奔啊，我把整个专集的32个视频教程全部跑了一遍，大家可以品鉴尝试了。 自认为效果非常好，这种有判断优化的机制太棒了，比其它的机械翻译工具强的不是一星半点。

[assassinliujie]

本来唯一要付钱的语言大模型就可以换啊（ 无非是效果差距罢了。 倒是希望有个专门特化的小模型能拿来用

[Huanshere]

对于某些复杂的场景需要大量的切句和对齐，目前测试下来只有claude能稳定思考并且输出合理的切句

[lonrencn]

对于某些复杂的场景需要大量的切句和对齐，目前测试下来只有claude能稳定思考并且输出合理的切句

英语不过关，实在看不出来切句有没有问题，只是能不能跑通，不完美的地方是语速处理的问题，和专业术语的念法。 如果有样本需要测试，可以发过来，跑一下试试。

[colin4k]

我也试了本地运行qwen2.5b:32b，还是会经常出一些 json 相关的问题，如果是 72b 就基本正常了

[lonrencn]

我也试了本地运行qwen2.5b:32b，还是会经常出一些 json 相关的问题，如果是 72b 就基本正常了

出错是概率问题，不是保证哪个模型一定不出错，就是claude我感觉也是会出错的，关键是你要会修复错误。刚刚又跑了一个限制级的动作片1个多小时，全片一直保持大量口语对话，出了两处错误，能看懂代码，很容易就能修复，手动改一下就没事了。 如果不会修复，就只能点只香，重新跑。

[ktmswzw]

试过换语音吗？

[lonrencn]

试过换语音吗？

不明白什么意思，你是想要重新换一个配音员吗？

[AlwaysBusyLzc]

请问你跑 qwen 2.5:32b 本地用的什么显卡

[lonrencn]

2080ti 22g

---原始邮件--- 发件人: @.> 发送时间: 2024年11月15日(周五) 中午11:58 收件人: @.>; 抄送: @.@.>; 主题: Re: [Huanshere/VideoLingo] 完全使用本地大模型测试通过 请大家鉴定翻译质量 (Issue #202)

请问你跑 qwen 2.5:32b 本地用的什么显卡

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[colin4k]

请问你跑 qwen 2.5:32b 本地用的什么显卡

我用的 macbook pro/m2 max/96g ram，用 ollama 跑的

[colin4k]

实际 72b 都跑得起来，不过就会比较慢，32b 的速度相对能接受一些

[lonrencn]

用苹果就告别ai吧，基本干啥啥不行

---原始邮件--- 发件人: "ZHU @.> 发送时间: 2024年11月15日(周五) 中午12:55 收件人: @.>; 抄送: @.@.>; 主题: Re: [Huanshere/VideoLingo] 完全使用本地大模型测试通过 请大家鉴定翻译质量 (Issue #202)

请问你跑 qwen 2.5:32b 本地用的什么显卡

我用的 macbook pro/m2 max/96g ram，用 ollama 跑的

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[ImJoyed]

我用docker安装的，不知道为什么无法访问主机的ollama，在容器里边执行curl http://host.docker.internal:11434 返回的是空 容器能够正常使用host.docker.internal域名，可以访问主机的proxy 主机的ollama也已经设置了绑定0.0.0.0和跨域了，并且别的机子也能通过ip访问ollama

[lonrencn]

我用docker安装的，不知道为什么无法访问主机的ollama，在容器里边执行curl http://host.docker.internal:11434 返回的是空 容器能够正常使用host.docker.internal域名，可以访问主机的proxy 主机的ollama也已经设置了绑定0.0.0.0和跨域了，并且别的机子也能通过ip访问ollama

网络配置问题，用的是docker的网络，要么把ollama改成0.0.0.0，接受广域网访问，要么把docker里的网络改成host模式。

[ImJoyed]

我用docker安装的，不知道为什么无法访问主机的ollama，在容器里边执行curl http://host.docker.internal:11434 返回的是空 容器能够正常使用host.docker.internal域名，可以访问主机的proxy 主机的ollama也已经设置了绑定0.0.0.0和跨域了，并且别的机子也能通过ip访问ollama

网络配置问题，用的是docker的网络，要么把ollama改成0.0.0.0，接受广域网访问，要么把docker里的网络改成host模式。

ollama已经设置了0.0.0.0了，局域网其它机子可以访问，就是容器里边无法访问

[Chentao981]

你好，请问您使用本地ollama qwen2.5b:32b 翻译10分钟的视频大概需要花多久时间？我使用本地Docker部署ollama qwen2.5b:32b，翻译一条10分钟的视频大概需要花费1小时多，我的显卡是4070Ti Super 16GB，不知道这种翻译速度是否正常？

[lonrencn]

正常，docker部署不适合用本地模型，出问题你看不到日志提示。

[Chentao981]

我看你的视频配音更换了声音模型，为啥还是会有外国人说中文的语气呢？这个不知道能不能避免。

[lonrencn]

我看你的视频配音更换了声音模型，为啥还是会有外国人说中文的语气呢？这个不知道能不能避免。

为什么要避免，这样才对味啊。

[seagull226]

两个问题求助 1.如果我想视频里只有单一字幕，应该改哪里？ 2.qwen 32b要多大显存和内存能跑起来？我8G显存，32G内存，3分钟的视频根本过不去 多谢各位！

[lonrencn]

两个问题求助 1.如果我想视频里只有单一字幕，应该改哪里？ 2.qwen 32b要多大显存和内存能跑起来？我8G显存，32G内存，3分钟的视频根本过不去 多谢各位！

1、你需要修改代码，如果需求少，需要手动制作mkv文件，把字幕做到里面。 2、qwen 32b需要 >16G 我是22G，16G不清楚，再小铁定不行，内存影响不大，16G估计是够了。

[seagull226]

两个问题求助 1.如果我想视频里只有单一字幕，应该改哪里？ 2.qwen 32b要多大显存和内存能跑起来？我8G显存，32G内存，3分钟的视频根本过不去 多谢各位！

1、你需要修改代码，如果需求少，需要手动制作mkv文件，把字幕做到里面。 2、qwen 32b需要 >16G 我是22G，16G不清楚，再小铁定不行，内存影响不大，16G估计是够了。

收到，谢谢，最总我32b在8G显卡，32G内存能跑了，但是非常慢1min中左右视频，大概30min左右，换成7b就5分钟吧 但是稍微长点的视频例如10分钟，基本都会报错。response里的数据不对，能分享一下，你怎么修复的吗？大致思路？

这是我一个10分钟视频的错误日志，谢谢~ Uploading error.json… sentence_splitbymeaning.json

[heiheiheibj]

我也试了本地运行qwen2.5b:32b，还是会经常出一些 json 相关的问题，如果是 72b 就基本正常了

我也是经常出些JSON的错，兄弟你是怎么解决的，除了换72B还有其它办法吗？本地机器显示跑不起来72B

[lonrencn]

我也试了本地运行qwen2.5b:32b，还是会经常出一些 json 相关的问题，如果是 72b 就基本正常了

我也是经常出些JSON的错，兄弟你是怎么解决的，除了换72B还有其它办法吗？本地机器显示跑不起来72B

完全不出问题是不可能的，只是你用的少还没出现。32B没有问题，这里的案例都是32B跑出来的。有问题你还是要想办法自己修复，不然只能重新跑。没有其它办法

[heiheiheibj]

我也试了本地运行qwen2.5b:32b，还是会经常出一些 json 相关的问题，如果是 72b 就基本正常了

我也是经常出些JSON的错，兄弟你是怎么解决的，除了换72B还有其它办法吗？本地机器显示跑不起来72B

完全不出问题是不可能的，只是你用的少还没出现。32B没有问题，这里的案例都是32B跑出来的。有问题你还是要想办法自己修复，不然只能重新跑。没有其它办法

谢谢。我不用OLLAMA了，用的QWE 72B的API，一切OK

[ImJoyed]

我也试了本地运行qwen2.5b:32b，还是会经常出一些 json 相关的问题，如果是 72b 就基本正常了

我也是经常出些JSON的错，兄弟你是怎么解决的，除了换72B还有其它办法吗？本地机器显示跑不起来72B

改源码。哪条出错了，就记录下来跳过，然后手动修改一下

[lonrencn]

源码里错误是不显示的，修改成显示，然后从过程文档里找到对应的位置处理错误。