chatglm.cpp
chatglm.cpp copied to clipboard
Published
20 hours ago •
li-plus
li-plus
【已解决，附解决方法】无法运行 LangChain API ，执行命令后报错， 能否提供能成功运行此命令的 python版本号 和 使用的环境中安装的包的列表
希望得到的帮助
求大佬提供：
- 提供解决办法
或
- 能成功运行
LangChain API的虚拟环境的python版本如：3.10.0、3.8.18 - 能成功运行
LangChain API的虚拟环境的中安装的包就是通过类似以下命令获得的txt文档(复制的也可以)conda list -n your_env_name > packages.txt
感恩
成功运行的内容：
按照文档的步骤，可以成功运行
- ./build/bin/main -i
- python3 ./examples/cli_demo.py -m ./chatglm-ggml.bin -i
- python3 ./examples/web_demo.py -m ./chatglm-ggml.bin
运行失败的内容
langchain api： MODEL=./chatglm2-ggml.bin uvicorn chatglm_cpp.langchain_api:app --host 127.0.0.1 --port 8000
尝试步骤
- cd chatglm.cpp
文档结构：
- conda activate chatglm_langchain
- CMAKE_ARGS="-DGGML_METAL=ON" pip3 install 'chatglm-cpp[api]'
pip3 是因为要这样才能装在我的虚拟环境中，不然会安装到默认环境中
- 然后运行 MODEL=./chatglm-ggml.bin uvicorn chatglm_cpp.langchain_api:app --host 127.0.0.1 --port 8000
环境
python版本
这里之截图了3.8版本，上述步骤我分别在3.8 / 3.10版本中均有尝试，都失败了报错内容相同
chatglm_langchain虚拟环境中安装的包的版本
# packages in environment at /Users/XXXXX/anaconda3/envs/chatglm_langchain:
#
# Name Version Build Channel
accelerate 0.25.0 pypi_0 pypi
aiofiles 23.2.1 pypi_0 pypi
altair 5.2.0 pypi_0 pypi
annotated-types 0.6.0 pypi_0 pypi
anyio 3.7.1 pypi_0 pypi
appnope 0.1.3 pypi_0 pypi
asttokens 2.4.1 pypi_0 pypi
attrs 23.1.0 pypi_0 pypi
backcall 0.2.0 pypi_0 pypi
backports-zoneinfo 0.2.1 pypi_0 pypi
blinker 1.7.0 pypi_0 pypi
ca-certificates 2023.08.22 hca03da5_0
cachetools 5.3.2 pypi_0 pypi
certifi 2023.11.17 pypi_0 pypi
charset-normalizer 3.3.2 pypi_0 pypi
chatglm-cpp 0.3.0 pypi_0 pypi
click 8.1.7 pypi_0 pypi
comm 0.2.0 pypi_0 pypi
contourpy 1.1.1 pypi_0 pypi
cycler 0.12.1 pypi_0 pypi
debugpy 1.8.0 pypi_0 pypi
decorator 5.1.1 pypi_0 pypi
dnspython 2.4.2 pypi_0 pypi
email-validator 2.1.0.post1 pypi_0 pypi
exceptiongroup 1.2.0 pypi_0 pypi
executing 2.0.1 pypi_0 pypi
fastapi 0.105.0 pypi_0 pypi
ffmpy 0.3.1 pypi_0 pypi
filelock 3.13.1 pypi_0 pypi
fonttools 4.46.0 pypi_0 pypi
fsspec 2023.12.0 pypi_0 pypi
gitdb 4.0.11 pypi_0 pypi
gitpython 3.1.40 pypi_0 pypi
gradio 3.50.0 pypi_0 pypi
gradio-client 0.6.1 pypi_0 pypi
h11 0.14.0 pypi_0 pypi
httpcore 1.0.2 pypi_0 pypi
httptools 0.6.1 pypi_0 pypi
httpx 0.26.0 pypi_0 pypi
huggingface-hub 0.19.4 pypi_0 pypi
idna 3.6 pypi_0 pypi
importlib-metadata 6.11.0 pypi_0 pypi
importlib-resources 6.1.1 pypi_0 pypi
ipykernel 6.27.1 pypi_0 pypi
ipython 8.12.3 pypi_0 pypi
itsdangerous 2.1.2 pypi_0 pypi
jedi 0.19.1 pypi_0 pypi
jinja2 3.1.2 pypi_0 pypi
jsonschema 4.20.0 pypi_0 pypi
jsonschema-specifications 2023.11.2 pypi_0 pypi
jupyter-client 8.6.0 pypi_0 pypi
jupyter-core 5.5.0 pypi_0 pypi
kiwisolver 1.4.5 pypi_0 pypi
libcxx 14.0.6 h848a8c0_0
libffi 3.4.4 hca03da5_0
markdown-it-py 3.0.0 pypi_0 pypi
markupsafe 2.1.3 pypi_0 pypi
matplotlib 3.7.4 pypi_0 pypi
matplotlib-inline 0.1.6 pypi_0 pypi
mdurl 0.1.2 pypi_0 pypi
mpmath 1.3.0 pypi_0 pypi
ncurses 6.4 h313beb8_0
nest-asyncio 1.5.8 pypi_0 pypi
networkx 3.1 pypi_0 pypi
numpy 1.24.4 pypi_0 pypi
openssl 3.0.12 h1a28f6b_0
orjson 3.9.10 pypi_0 pypi
packaging 23.2 pypi_0 pypi
pandas 2.0.3 pypi_0 pypi
parso 0.8.3 pypi_0 pypi
pexpect 4.9.0 pypi_0 pypi
pickleshare 0.7.5 pypi_0 pypi
pillow 10.1.0 pypi_0 pypi
pip 23.3.1 py38hca03da5_0
pkgutil-resolve-name 1.3.10 pypi_0 pypi
platformdirs 4.1.0 pypi_0 pypi
prompt-toolkit 3.0.41 pypi_0 pypi
protobuf 4.25.1 pypi_0 pypi
psutil 5.9.6 pypi_0 pypi
ptyprocess 0.7.0 pypi_0 pypi
pure-eval 0.2.2 pypi_0 pypi
pyarrow 14.0.1 pypi_0 pypi
pydantic 2.5.2 pypi_0 pypi
pydantic-core 2.14.5 pypi_0 pypi
pydantic-extra-types 2.2.0 pypi_0 pypi
pydantic-settings 2.1.0 pypi_0 pypi
pydeck 0.8.1b0 pypi_0 pypi
pydub 0.25.1 pypi_0 pypi
pygments 2.17.2 pypi_0 pypi
pyparsing 3.1.1 pypi_0 pypi
python 3.8.18 hb885b13_0
python-dateutil 2.8.2 pypi_0 pypi
python-dotenv 1.0.0 pypi_0 pypi
python-multipart 0.0.6 pypi_0 pypi
pytz 2023.3.post1 pypi_0 pypi
pyyaml 6.0.1 pypi_0 pypi
pyzmq 25.1.1 pypi_0 pypi
readline 8.2 h1a28f6b_0
referencing 0.31.1 pypi_0 pypi
regex 2023.10.3 pypi_0 pypi
requests 2.31.0 pypi_0 pypi
rich 13.7.0 pypi_0 pypi
rpds-py 0.13.2 pypi_0 pypi
safetensors 0.4.1 pypi_0 pypi
semantic-version 2.10.0 pypi_0 pypi
sentencepiece 0.1.99 pypi_0 pypi
setuptools 68.0.0 py38hca03da5_0
six 1.16.0 pypi_0 pypi
smmap 5.0.1 pypi_0 pypi
sniffio 1.3.0 pypi_0 pypi
sqlite 3.41.2 h80987f9_0
sse-starlette 1.8.2 pypi_0 pypi
stack-data 0.6.3 pypi_0 pypi
starlette 0.27.0 pypi_0 pypi
streamlit 1.29.0 pypi_0 pypi
sympy 1.12 pypi_0 pypi
tabulate 0.9.0 pypi_0 pypi
tenacity 8.2.3 pypi_0 pypi
tk 8.6.12 hb8d0fd4_0
tokenizers 0.15.0 pypi_0 pypi
toml 0.10.2 pypi_0 pypi
toolz 0.12.0 pypi_0 pypi
torch 2.1.1 pypi_0 pypi
tornado 6.4 pypi_0 pypi
tqdm 4.66.1 pypi_0 pypi
traitlets 5.14.0 pypi_0 pypi
transformers 4.35.2 pypi_0 pypi
typing-extensions 4.9.0 pypi_0 pypi
tzdata 2023.3 pypi_0 pypi
tzlocal 5.2 pypi_0 pypi
ujson 5.9.0 pypi_0 pypi
urllib3 2.1.0 pypi_0 pypi
uvicorn 0.24.0.post1 pypi_0 pypi
uvloop 0.19.0 pypi_0 pypi
validators 0.22.0 pypi_0 pypi
watchdog 3.0.0 pypi_0 pypi
watchfiles 0.21.0 pypi_0 pypi
wcwidth 0.2.12 pypi_0 pypi
websockets 12.0 pypi_0 pypi
wheel 0.41.2 py38hca03da5_0
xz 5.4.5 h80987f9_0
zipp 3.17.0 pypi_0 pypi
zlib 1.2.13 h5a0b063_0
已解决： 遇到相同问题的，可使用以下命令解决：
cd /Users/.../Documents/chatglm.cpp-langchain/chatglm.cpp/chatglm_cpp
MODEL=../chatglm-ggml.bin uvicorn chatglm_cpp.langchain_api:app --host 127.0.0.1 --port 8000
hi, I got this error :
ImportError: cannot import name 'computed_field' from 'pydantic' (/Users/edwardnone/miniconda3/lib/python3.10/site-packages/pydantic/__init__.cpython-310-darwin.so)
then I tried to install pip install pydantic==2.5.2
but still the same error, do you know how to resolve it ?
Thanks
Never mind, should be upgrading packages in global python - seems cannot use venv