chat-ollama icon indicating copy to clipboard operation
chat-ollama copied to clipboard

rerank请问可以集成在chatollama的本地部署么, 不用调用api(第三方会不收集本地数据呢)

Open doriszhang2020 opened this issue 10 months ago • 5 comments

请问rerank集成在本地需要什么设备条件呢?步骤复杂么,如果调用api,数据会上传到第三方了么,既然chaoollama是一个本地知识库模型,为何不rerank本地部署呢?是因为未开源么

doriszhang2020 avatar Apr 23 '24 01:04 doriszhang2020

目前所支持的Cohere Reranker的模型是不开源的。

我新建了一个任务 - #335 来支持本地化的Reranker。目前介绍的比较多的实现都是基于Python的,需要看看如何用JavaScript实现,以便在ChatOllama中使用。

有兴趣可以参与开发。

sugarforever avatar Apr 23 '24 06:04 sugarforever

哈哈大大我是医学专业的,不太好编程,只会提建议哈哈

---原始邮件--- 发件人: @.> 发送时间: 2024年4月23日(周二) 下午2:59 收件人: @.>; 抄送: @.@.>; 主题: Re: [sugarforever/chat-ollama] rerank请问可以集成在chatollama的本地部署么, 不用调用api(第三方会不收集本地数据呢) (Issue #334)

目前所支持的Cohere Reranker的模型是不开源的。

我新建了一个任务 - #335 来支持本地化的Reranker。目前介绍的比较多的实现都是基于Python的,需要看看如何用JavaScript实现,以便在ChatOllama中使用。

有兴趣可以参与开发。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

doriszhang2020 avatar Apr 23 '24 07:04 doriszhang2020

哈哈大大我是医学专业的,不太好编程,只会提建议哈哈 ---原始邮件--- 发件人: @.> 发送时间: 2024年4月23日(周二) 下午2:59 收件人: @.>; 抄送: @.@.>; 主题: Re: [sugarforever/chat-ollama] rerank请问可以集成在chatollama的本地部署么, 不用调用api(第三方会不收集本地数据呢) (Issue #334) 目前所支持的Cohere Reranker的模型是不开源的。 我新建了一个任务 - #335 来支持本地化的Reranker。目前介绍的比较多的实现都是基于Python的,需要看看如何用JavaScript实现,以便在ChatOllama中使用。 有兴趣可以参与开发。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

没事没事。这个工作我来跟进。等我的消息吧。

sugarforever avatar Apr 23 '24 08:04 sugarforever

谢谢,期待,哈哈😃,如果能把本地模型的api接口弄出来就更好了,可以在本地文献管理的软件中直接调用api拿来阅读文献哈哈😄

---原始邮件--- 发件人: @.> 发送时间: 2024年4月23日(周二) 下午4:45 收件人: @.>; 抄送: @.@.>; 主题: Re: [sugarforever/chat-ollama] rerank请问可以集成在chatollama的本地部署么, 不用调用api(第三方会不收集本地数据呢) (Issue #334)

哈哈大大我是医学专业的,不太好编程,只会提建议哈哈 … ---原始邮件--- 发件人: @.> 发送时间: 2024年4月23日(周二) 下午2:59 收件人: @.>; 抄送: @.@.>; 主题: Re: [sugarforever/chat-ollama] rerank请问可以集成在chatollama的本地部署么, 不用调用api(第三方会不收集本地数据呢) (Issue #334) 目前所支持的Cohere Reranker的模型是不开源的。 我新建了一个任务 - #335 来支持本地化的Reranker。目前介绍的比较多的实现都是基于Python的,需要看看如何用JavaScript实现,以便在ChatOllama中使用。 有兴趣可以参与开发。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

没事没事。这个工作我来跟进。等我的消息吧。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

doriszhang2020 avatar Apr 23 '24 10:04 doriszhang2020

ollama社区似乎对支持rerank模型不太感兴趣

wwjCMP avatar May 05 '24 11:05 wwjCMP