liunux4odoo

用多进程后台运行app就行了，以下代码在官方demo backend文件夹下测试成功： ``` import webview from multiprocessing import Process, Queue def run_app(q): from main import app import uvicorn @app.on_event('startup') def put_signal(): q.put('started') uvicorn.run(app) def init(win, q): q.get() win.load_url('http://127.0.0.1:8000') if __name__...

api是fastapi做的，你把视图函数前面的async去掉，它会自动放到线程池运行。但你要考虑好模型的跨线程共用问题。

> @liunux4odoo 多线程的话，修改uvicorn.run(app, host=args.host, port=args.port)就行了吧？uvicorn.run(app, host=args.host, port=args.port, workers = 2)，这样是两个线程吧？ uvicorn的workers是多进程，这样每个进程都要占用GPU。 > @liunux4odoo 你好，用多线程会增加模型问答的速度吧？模型的跨线程共用问题是什么问题呢？ 我对langchain的模型运行还不太了解，但如果只有一个全局的模型可供使用，并且阻塞主要在模型这边，用多线程意义不大。

> @dosu-bot我反复执行了python init_database.py --recreate-vs 和 python init_database.py --create-tables 两个命令，其中python init_database.py --recreate-vs 可以看到重新加载了知识库数据，python init_database.py --create-tables 执行后没有任何反应，仍然出现no such table: message的错误，MessageModel这个源代码查看过但是没有修改过。python init_database.py --recreate-vs执行过程中出现 ERROR: RuntimeError: 从文件 samples/test_files/langchain-ChatGLM_closed.csv 加载文档时出错：Error loading F:\Github\Langchain-Chatchat\knowledge_base\samples\content\test_files/langchain-ChatGLM_closed.csv 2024-02-26 21:36:31,341 -...

在最近的更新后，如果要加载本地模型，需要把config中的no_remote_model设为true，并且在程序运行期间不能改变，否则就会出现这个错误。 或者你把模型配置中的name和pretrained name改成一样应该也能暂时规避这个问题

webui.py 依赖于 api.py，python startup.py -a 会同时启动所有的服务，单独启动 streamlit run webui.py是不行的。