VideoLingo icon indicating copy to clipboard operation
VideoLingo copied to clipboard

建议针对qwq做下优化

Open piagodai opened this issue 9 months ago • 3 comments

qwq的翻译质量很不错,个人体感是目前为止一张24G显卡支持本地能部署的质量最好的llm了 但是翻译过程中会报很多错, "Missing required key: split" "json_repair parsing failed." 等等(error.json见附件) 虽然这些报错不影响翻译,但是超过max retry会直接失败 一个workaround是把max retry调很大

建议针对优化一下,能够本机部署必然扩大用户群

error.json

piagodai avatar Mar 06 '25 17:03 piagodai

它报一堆error,日志返回也有很多是空 但是最后能翻译完, 所以我也不知道这些error到底啥情况

piagodai avatar Mar 20 '25 13:03 piagodai

结论:不建议使用推理模型。

在deepseek-r1出现以后我也尝试用推理模型替换VideoLingo的CoT prompt,但发现模型自带的推理过程会非常冗长,产出的结果却不一定更好(怀疑是长上下文导致的性能衰减),尤其最近 Chain of Draft 之类的论文说用更短的思维链可能取得更好的效果,我更坚信 CoT prompt + deepseek-v3 可能在特定场景优于 deepseek-r1

Huanshere avatar May 06 '25 16:05 Huanshere