QAnything
QAnything copied to clipboard
netease-youdao
gpt版本部署
Please Describe The Problem To Be Solved 感谢如此精彩的项目。出于效果比较的需要，我正在将这个代码尝试以gpt作为generator部署。
(Optional): Suggest A Solution 我看到scripts文件夹中的run_for_online脚本，功能上是支持api调用的模型参与部署的，所以我在此基础上尝试用这个文件去替换run_for_local来部署，理论上这样替换再docker build就能得到一个online版本的QAnything。但是我在docker build的过程中碰到了
COPY nltk_data /root/nltk_data
COPY paddleocr /root/.paddleocr
COPY qa_ensemble /opt/tritonserver/backends/qa_ensemble
https://github.dev/netease-youdao/QAnything/blob/65d84c693a7d8b2243f2b1eaac294246666f66f7/Dockerfile#L57-L59 这三个文件夹的缺失。其中我并不清楚qa_ensemble的由来，目前打算从现有的docker镜像中复制文件，但是直觉上说是不是有更好的方法来做到这件事情？因此提了这个issue来询问贵团队的解决方法，烦请解答！
Please Describe The Problem To Be Solved 感谢如此精彩的项目。出于效果比较的需要，我正在将这个代码尝试以gpt作为generator部署。
(Optional): Suggest A Solution 我看到scripts文件夹中的run_for_online脚本，功能上是支持api调用的模型参与部署的，所以我在此基础上尝试用这个文件去替换run_for_local来部署，理论上这样替换再docker build就能得到一个online版本的QAnything。但是我在docker build的过程中碰到了
COPY nltk_data /root/nltk_data COPY paddleocr /root/.paddleocr COPY qa_ensemble /opt/tritonserver/backends/qa_ensemblehttps://github.dev/netease-youdao/QAnything/blob/65d84c693a7d8b2243f2b1eaac294246666f66f7/Dockerfile#L57-L59 这三个文件夹的缺失。其中我并不清楚qa_ensemble的由来，目前打算从现有的docker镜像中复制文件，但是直觉上说是不是有更好的方法来做到这件事情？因此提了这个issue来询问贵团队的解决方法，烦请解答！
这个run_for_online脚本需要所有服务全是API调用，而且有bug。运行run_for_online不需要docker build，只要把docker compose里的 command改了就行。我是通过改run_for_local实现的只换llm服务。
