JiangGary

[Feature] 给 lmdeploy pytorch引擎，添加一个权重参数加载精度的参数。

3

### Motivation ## 硬件 T4 ，16G ## 需求： 给pytorch添加一个加载精度的参数，类似：vllm 的 dtype = [--dtype {auto,half,float16,bfloat16,float,float32}] ，让用户可以主动根据硬件能力选择 加载/推理 精度。 ### 命令 lmdeploy serve api_server Qwen/Qwen1.5-1.8B-Chat --server-port 23333 --cache-max-entry-count 0.5 ### 错误 2024-04-06...