Fan

一般是对话几轮会出现GPU OOM吧，因为逻辑上为了保持上下文，会把之前对话的问题和回答都放到下一次提问的request里，导致要处理的文本很长，消耗mem越来越大；同时减少从知识库匹配到的结果梳理即减少需要LLM处理的文本量；（我的理解） 所以小显存尝试关闭 LLM_HISTORY_LEN=0, 和减少VECTOR_SEARCH_TOP_K = 3, 甚至可以减少知识库上下文 CHUNK_SIZE=100，总之就是减少LLM需要处理的文本长度。 我本地3080 10GB测试，用的int8量化和text2vec，在CHUNK_SIZE=150，LLM_HISTORY_LEN=0，VECTOR_SEARCH_TOP_K=3的情况下，基本没有OOM了 不过注意的是这样等于关闭了上下文，每次都是独立提问，看你需求了，测试可以这么玩，实际需要上下文就得考虑加显存了。

> WARNING 2023-06-16 01:35:31,198-1d: No sentence-transformers model found with name /mnt/workspace/ernie-3.0-base-zh. Creating a new one with MEAN pooling. 这个warning一直有，但是不影响使用吧，实际是load到了embedding model了

嗯，load embedding model的时候出现一次，执行embedding的时候不会出。我用着没问题。 你看下你用的嵌入模型本身要求的是什么吧， GanymedeNil/text2vec-large-chinese 本身要求就是用mean pooling的 > First, you pass your input through the transformer model, then you have to apply the right pooling-operation on-top of the contextualized word...

Any update util Aug, 2023？

> 3.7以后的版本，通常升级下基础镜像就行了。 意思是algorithm-base/docker/Dockerfile里替换 FROM python:3.10-bullseye 用build-py37.sh（改下tag）build一下就行吗？ 看加密部分不是有部分代码是.SO的，这部分不是3.7可以吗

@cactusgame 试了一下，基础镜像From换到3.10 build成功，但是用这个3.10的基础镜像进行example项目镜像build的时候报错

> +1 > > For me the http://localhost:3000/api/graphql API is returning status 200, with following error > >  > > `{ "errors": [ { "locations": [ { "line": 2,...