DashPlayer icon indicating copy to clipboard operation
DashPlayer copied to clipboard

能否支持 ollama 本地大模型的支持?

Open josh9019 opened this issue 1 year ago • 7 comments

如题,因为对比过几乎所有的翻译平台,翻译质量还是本地大模型优于机器翻译,而 openai 需要付费或很多限制。。。ollama 还支持很多模型

josh9019 avatar May 23 '24 16:05 josh9019

收到

solidSpoon avatar May 24 '24 06:05 solidSpoon

请求的格式应该都是统一的标准,实现起来应该不难 :hugs:

ovo-Tim avatar May 25 '24 06:05 ovo-Tim

请求的格式应该都是统一的标准,实现起来应该不难 :hugs:

目前字幕翻译没用大模型,为了速度用的是批量翻译接口

我在想ollama翻译速度能跟上吗,万一出现幻觉翻译失败了再加个重试的按钮也不太方便啊

solidSpoon avatar May 25 '24 06:05 solidSpoon

只要把请求的BASE_URL开放出来供大家自定义,不只是本地的 ollama 其他只要是支持 openai 请求格式的大模型不就都能用了吗? :smile_cat:

ovo-Tim avatar May 25 '24 07:05 ovo-Tim

请求的格式应该都是统一的标准,实现起来应该不难 🤗

目前字幕翻译没用大模型,为了速度用的是批量翻译接口

我在想ollama翻译速度能跟上吗,万一出现幻觉翻译失败了再加个重试的按钮也不太方便啊

没关系 至少给我们一个选择 我想所有功能都能够使用本地语言模型 就是不想给钱hhh

manwallet avatar Jul 19 '24 16:07 manwallet

请求的格式应该都是统一的标准,实现起来应该不难 🤗

目前字幕翻译没用大模型,为了速度用的是批量翻译接口

我在想ollama翻译速度能跟上吗,万一出现幻觉翻译失败了再加个重试的按钮也不太方便啊

你好,主要是需那个AI长句学习那里需要OPENAI的api和密钥,希望可以把BASE_URL开放出来供大家自定义,这样我们就可以API调用一些openai格式的通用接口的其它大模型,像llama 3.1 450B 这样的开源模型很强了,供应商还经常提供免费使用,或者mixtral等。用这种模型来做AI长句学习的内容生成,完全特别够用了

YDTRINLEY avatar Oct 16 '24 18:10 YDTRINLEY

或是增加更多翻译云服务 image

HumanMus1c avatar Jan 05 '25 16:01 HumanMus1c