能否支持 ollama 本地大模型的支持?
如题,因为对比过几乎所有的翻译平台,翻译质量还是本地大模型优于机器翻译,而 openai 需要付费或很多限制。。。ollama 还支持很多模型
收到
请求的格式应该都是统一的标准,实现起来应该不难 :hugs:
请求的格式应该都是统一的标准,实现起来应该不难 :hugs:
目前字幕翻译没用大模型,为了速度用的是批量翻译接口
我在想ollama翻译速度能跟上吗,万一出现幻觉翻译失败了再加个重试的按钮也不太方便啊
只要把请求的BASE_URL开放出来供大家自定义,不只是本地的 ollama 其他只要是支持 openai 请求格式的大模型不就都能用了吗? :smile_cat:
请求的格式应该都是统一的标准,实现起来应该不难 🤗
目前字幕翻译没用大模型,为了速度用的是批量翻译接口
我在想ollama翻译速度能跟上吗,万一出现幻觉翻译失败了再加个重试的按钮也不太方便啊
没关系 至少给我们一个选择 我想所有功能都能够使用本地语言模型 就是不想给钱hhh
请求的格式应该都是统一的标准,实现起来应该不难 🤗
目前字幕翻译没用大模型,为了速度用的是批量翻译接口
我在想ollama翻译速度能跟上吗,万一出现幻觉翻译失败了再加个重试的按钮也不太方便啊
你好,主要是需那个AI长句学习那里需要OPENAI的api和密钥,希望可以把BASE_URL开放出来供大家自定义,这样我们就可以API调用一些openai格式的通用接口的其它大模型,像llama 3.1 450B 这样的开源模型很强了,供应商还经常提供免费使用,或者mixtral等。用这种模型来做AI长句学习的内容生成,完全特别够用了
或是增加更多翻译云服务