chat-ollama

chat-ollama copied to clipboard

rerank请问可以集成在chatollama的本地部署么， 不用调用api（第三方会不收集本地数据呢）

5

请问rerank集成在本地需要什么设备条件呢？步骤复杂么，如果调用api，数据会上传到第三方了么，既然chaoollama是一个本地知识库模型，为何不rerank本地部署呢？是因为未开源么

doriszhang2020

两个建议

2

1、能够在搭建知识库的时候加入一个embedding的进度条 2、希望能引入huggingface里的其他模型，

jiansuer

加载本地模型的embedding

6

如何加载本地模型的embedding呢？目前我看提只提供了openai和gemini的embedding-001这2个。

lonerranger

sugarforever

基于知识库的问答响应缓慢：每次提问都释放并重新加载模型

8

## 部署方法 - 部署 ollama - 使用官方脚本 安装 ollama - 修改 ollama 监听地址：创建文件 `/etc/systemd/system/ollama.service.d/override.conf` 内容为： ``` [Service] Environment="OLLAMA_HOST=0.0.0.0" ``` - 拉取模型 ```bash ollama pull llama3:70b-instruct-q4_K_M ``` - 使用仓库中的 docker-compose.yaml 文件，使用...

expnn

Create a New Knowledge Base 画面中SelectFile和SelectFolder点击按钮没有反应

3


luckbinle

搞了一天，就是进不去知识库

8


shenshiguan

重启服务后，知识库加载不出来，新增知识库失败

5

Chroma getOrCreateCollection error: Error: TypeError: fetch failed  我是本地环境除了docker安装了ollama外，还直接安装了ollama客户端

moffefei

[FR] 支持 openrouter.ai

1

openrouter.ai 提供各种模型的api服务接口，也提供一些免费的模型

wwjCMP

支持设置 http 或 socks 代理 - [x] 模型支持代理 - [ ] 抓网页支持代理

satrong