iwanglei1
iwanglei1
The error was caused by the TorchVision version. Install Torchvision ==0.9 Torch ==1.8.1 to solve the problem.
使用VLLM部署int4的量化模型，修改model-max-len 报错： ValueError: User-specified max_model_len (131072) is greater than the derived max_model_len (max_position_embeddings=32768 or model_max_length=None in model's config.json). This may lead to incorrect model outputs or CUDA errors. Make sure...
是的，需要添加： "rope_scaling": { "factor": 4.0, "original_max_position_embeddings": 32768, "type": "yarn" }
添加后就没有报错了。😃
> > 添加后就没有报错了。😃 > > 添加后，你这上下文长度能到多少呢，都正常？ 32k长度没问题，再长就一直回复叹号了
How to set it up correctly？
> 什么系统？多长时间？ > > What system? How long? Win10 22H2 内部版本 19045.5737 时间大概两三天吧，用的最新版 从任务管理器看 这个工具占满了内存