SachaHu

> 遇到了同样的问题“十万零五千”无法转化为105000，smart和strict模式都无法解决，请问有什么好办法么？ get_pattern的时候没有穷举到这个样式，大概可以加上去试试，应该可以正常反解。 我在实际项目里选择在外层识别了这个样式，把'十万零'替换为'十万'，解析成功。

Maybe the dependence of chromadb is somehow special , that makes pyinstaller can't find it sub-packages directly. I got similar issue in Ubuntu, and figured it out by add `--collect-all...

使用多卡推理internlm2_5-7b-chat-4bit `lmdeploy serve api_server /data/models/internlm-7b-chat-int4 --backend turbomind --model-format awq --chat-template internlm2 --tp 2` 推理服务正常运行。所以大概能排除多卡推理的问题。

> export TM_DEBUG_LEVEL=DEBUG 启动服务时，加上选项 --log-level=DEBUG， 看看日志报错在哪里 @lvhan028 这是日志最后的部分，报错大概是`[TM][DEBUG] getPtr with type i4, but data type is: x ` [TM][DEBUG] T* turbomind::Tensor::getPtr() const [with T = __nv_bfloat16] start [TM][DEBUG] T* turbomind::Tensor::getPtr()...

> 请问你解决了吗，遇到了同样的问题。。。 没有解决