API Server Error

[87oo]

命令行以及python binding方式均没有问题。

准备尝试api server的方式，出现了下列问题。

运行过程描述如下，

首先，运行 MODEL=./chatglm2-ggml.bin uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000，遇到以下问题 ModuleNotFoundError: No module named 'chatglm_cpp._C'

根据其他issue，cd到其他目录，继续运行。 出现没有安装pydantic_settings包的错误。

又继续安装该包。最终，出现如下错误。

[Anyc66666666]

No module named 'chatglm_cpp._C' 仓库的最外层目录中 init 文件中引入了这个包，同时 pip 拉取的依赖中的 init 文件 也有这个包，导致冲突。 cd 到其他目录就不会有 init 冲突问题。 至于 pydantic_settings 包报错，可能是拉取依赖的问题

[zjkhurry]

碰到了同样的问题，参考这里 --update 了 fastapi==0.103.1，gradio_client==0.5.0。就可以运行了

[ztsweet]

上述办法都尝试了，依旧报错

ModuleNotFoundError: No module named 'chatglm_cpp._C'

[quantum00549]

我的解决方案是, cd到chatglm_cpp目录, 然后调整模型和fastapi里面几个涉及到位置的参数, 解决了, 比如这样: MODEL=../chatglm3-ggml-fp32.bin uvicorn langchain_api:app --host 0.0.0.0 --port 8000

[chuanzhubin]

要cd 进到特定目录才行, cd ~/chatglm.cpp/chatglm_cpp , 然后再启动API服务器: MODEL=~/ggml.bin/chatglm-ggml_q4_0.bin uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000

[everydoc]

No module named 'chatglm_cpp._C' 仓库的最外层目录中 init 文件中引入了这个包，同时 pip 拉取的依赖中的 init 文件 也有这个包，导致冲突。 cd 到其他目录就不会有 init 冲突问题。 至于 pydantic_settings 包报错，可能是拉取依赖的问题

我遇到一个奇葩问题，最开始也是不行，然后按留住说法换个路径就没问题了，但是过了一段时间（好几天），突然又不行了，我现在怎么做都不行了，不知道还有没有别的办法。

[1suancaiyu]

pip install 'chatglm-cpp[api]' 记得安装，我安装后就成功了。

[xuhe2]

No module named 'chatglm_cpp._C' 仓库的最外层目录中 init 文件中引入了这个包，同时 pip 拉取的依赖中的 init 文件 也有这个包，导致冲突。 cd 到其他目录就不会有 init 冲突问题。 至于 pydantic_settings 包报错，可能是拉取依赖的问题

感谢这个方法,帮我解决了问题