Logistic98
Results
4
comments of
Logistic98
相同需求，ollama就是个玩具儿，太难用了，统一按照OpenAI格式接入不就行了，已经成为业内规范了。ollama官方给的模型都是些4bit量化的，想加个自定义模型还要自己转换格式，也没有vllm推理优化。
同样需要兼容OpenAI API的模式，Ollama太弱了
[错误日志.txt](https://github.com/user-attachments/files/15860582/default.txt) 这个是错误日志文件，应该是query时OR的太多了。
的确不只是 deepseek-v2:236b 模型有这个问题，我在我们自己微调的模型也复现了这个情况，那应该还是ES的问题