QAnything
QAnything copied to clipboard
netease-youdao
[BUG] 使用最新的镜像1.0.9并且下载了最新的模型（20240116），报错Triton Inference Error (error_code: 4)
是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?
- [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions
该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?
- [X] 我已经搜索过FAQ | I have searched FAQ
当前行为 | Current Behavior
任何问题都返回Triton Inference Error (error_code: 4)
期望行为 | Expected Behavior
正确返回
运行环境 | Environment
- OS: win10
- NVIDIA Driver:
- CUDA:
- Docker Compose:
- NVIDIA GPU Memory: 22G
QAnything日志 | QAnything logs
2024-01-16 13:38:11,142 - root - INFO - chat_data: {'user_info': 'zzp', 'kb_ids': ['KB581e06b3e2014c008f97be07c9d53de1'], 'query': '你是什么模型', 'history': [['按照gartner的说法，建立一个soc需要哪些关键的组件', 'Triton Inference Error (error_code: 4)'], ['你是什么模型', 'Triton Inference Error (error_code: 4)']], 'prompt': '参考信息：\n\n---\n我的问题或指令：\n你是什么模型\n---\n请根据上述参考信息回答我的问题或回复我的指令。前面的参考信息可能有用，也可能没用，你需要从我给出的参考信息中选出与我的问题最相关的那些，来为你的回答提供依据。回答一定要忠于原文，简洁但不丢信息，不要胡乱编造。我的问题或指令是什么语种，你就用什么语种回复,\n你的回复：', 'result': 'Triton Inference Error (error_code: 4)', 'retrieval_documents': [], 'source_documents': []}
2024-01-16 13:38:11,168 - root - INFO - response: Triton Inference Error (error_code: 4)
复现方法 | Steps To Reproduce
No response
备注 | Anything else?
No response
2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。
2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。
我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照
，换掉它的模型，成功运行起来。但是效果和网站上的效果还不一致，得再看看。
2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。
我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照
，换掉它的模型，成功运行起来。但是效果和网站上的效果还不一致，得再看看。
我和你的做法一样，换掉模型能跑通，但是效果和网站上的明显差一些。我刚试了昨天新发布的v1.2.0，也是一样的问题。我是A800
有没有遇到在进行模型回退的时候git命令卡住的情况呢
git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf
2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。
我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照
，换掉它的模型，成功运行起来。但是效果和网站上的效果还不一致，得再看看。
我也是A800，按照这个方法可以解决，效果对比还需要继续观察，感谢！
有没有遇到在进行模型回退的时候git命令卡住的情况呢
git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。
我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照
我也是A800，按照这个方法可以解决，效果对比还需要继续观察，感谢！
这个回退挺久的，得等等
我是用A800 , 代码使用 1.2.0，qanything 镜像使用 v1.1.1, models 使用git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf回退后的，启动没有成功，依然报：Triton Inference Error (error_code: 4)
使用最新的代码，同样报错，根据FAQ切换到vllm后端解决了 https://github.com/netease-youdao/QAnything/blob/master/FAQ_zh.md#%E9%80%89%E6%8B%A9qwen-7b-qanything%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%90%AF%E5%8A%A8%E5%9C%A8%E5%89%8D%E7%AB%AF%E9%A1%B5%E9%9D%A2%E8%BE%93%E5%85%A5%E9%97%AE%E9%A2%98%E5%90%8E%E8%BF%94%E5%9B%9E%E7%BB%93%E6%9E%9C%E6%8A%A5%E9%94%99triton-inference-error-error_code-4
