bltcn
bltcn
cpu版本的有吗？
团队的人不出来说两句嘛？
哪如果修改称quantize(4)，是不是就等同于int4的模型库
assign it to me - review
群二维码能不能发我一下
非常感谢，已经测试通过，另外，想请教一下，如果想通过fastapi将其作为服务端接口提供出去，讲模型载入内存后常驻，请问如何做呢，是参考[deploy](https://github.com/mindspore-lab/mindocr/tree/main/deploy)/[py_infer](https://github.com/mindspore-lab/mindocr/tree/main/deploy/py_infer)/[example](https://github.com/mindspore-lab/mindocr/tree/main/deploy/py_infer/example) /ocr_infer_server.py这个嘛？
请教一下，您是怎么做的？
同样的问题
> May try to "--max-batch-size 1" If it doesn't work, you may go for vLLM. It will take a while to optimize memory in LMDeploy. Don't let it to block...
需要在启动ollama的服务时，增加参数OLLAMA_ORIGINS=*