Eric

icon location haha

Results 3 comments of Eric

FileNotFoundError: ... thundersvm.dll' (or one of its dependencies)

I am facing the same issue!!!!!!!!!!!!

ValueError: The model's max seq len (4096) is larger than the maximum number of tokens that can be stored in KV cache (3792). Try increasing `gpu_memory_utilization` or decreasing `max_model_len` when initializing the engine.

问题解决了吗？为也遇到类似问题

关于python安装分支和生产环境分支

> 看目前v1.4是python安装分支，里面比master分支少了许多内容，比如：es库、milvs等。未来是否考虑统一下特性到一个分支中。python安装的分支，也可以选装其他组件。生产环境中llm、mysql、es、milvs等一般都是单独部署的，通过ip port等配置接入进来。感觉只需要维护一个python分支，其他组件可插拔比较好 正解！