xqxls

对Qwen1.5以上模型使用vllm加速推理依赖问题

1

linux环境下，对Qwen1.5以上模型使用vllm加速推理，需要vllm版本在0.3.0以上，我看vllm==0.3.3用的人比较多，有没有vllm==0.3.3对应的requirements.txt文件，目前用vllm==0.3.3会有各种python包依赖冲突

[FEATURE] 怎么实现一个tool，支持解析输入的参数，调用对应的外部url

1

比如，在输入框输入“打开百度首页”，然后自动新开一个浏览器页面，并且打开百度的首页。 这是我的实现： ```python from langchain.prompts import PromptTemplate from langchain.chains import LLMMathChain from server.agent import model_container from pydantic import BaseModel, Field PROMPT = PromptTemplate( input_variables=["url"], template="新开一个谷歌浏览器窗口，打开{url}这个url对应的网站" ) def myfunc(url: str): webbrowser.open("https://www.baidu.com")...

[BUG] vllm0.3.3加速Qwen1.5系列模型，报ImportError: cannot import name 'model_schema' from 'pydantic.schema'

1

2024-05-10 15:14:44 | INFO | stdout | 本地vllm加速模型 /home/xqxls/git/Langchain-Chatchat/venv/lib/python3.11/site-packages/pydantic/_internal/_config.py:334: UserWarning: Valid config keys have changed in V2: * 'schema_extra' has been renamed to 'json_schema_extra' warnings.warn(message, UserWarning) /home/xqxls/git/Langchain-Chatchat/venv/lib/python3.11/site-packages/pydantic/_internal/_fields.py:160: UserWarning: Field "model_name"...

[BUG] 新版本地知识库搜索算法有问题

5

新版langchain-chatchat的本地知识库搜索算法有问题，同样的搜索条件，我用老版的余弦相似度算法拿到的切片相似度还可以，但是新版bm25+向量库检索的方式，感觉搜索到的切片相关度比较低，而且只有bm25有效果，将ensemble切换到vectorstore，直接搜索不出来