ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard

swift 中如何设置模型内部参数,如internvl中的max_dynamic_patch

Open zws-2019 opened this issue 1 year ago • 6 comments

zws-2019 avatar Sep 05 '24 12:09 zws-2019

+1

zhangfan-algo avatar Sep 06 '24 01:09 zhangfan-algo

哈咯 max_dynamic_patch 参数,我没找到,在哪个文件啊

Jintao-Huang avatar Sep 06 '24 02:09 Jintao-Huang

解决了吗

zhaopings avatar Sep 12 '24 07:09 zhaopings

看上去max_dynamic_patch是固化为6了,在swift/llm/utils/vision_utils.py中的load_image函数里面

zhaopings avatar Sep 12 '24 08:09 zhaopings

https://github.com/modelscope/ms-swift/blob/main/swift/llm/utils/template.py#L2032

Jintao-Huang avatar Sep 12 '24 08:09 Jintao-Huang

https://github.com/modelscope/ms-swift/blob/main/swift/llm/utils/template.py#L2032

怎么在部署推理的时候 inference_client 传递max_dynamic_patch 参数呢?

PancakeAwesome avatar Sep 20 '24 08:09 PancakeAwesome

https://github.com/modelscope/ms-swift/blob/main/swift/llm/utils/template.py#L2032

怎么在部署推理的时候 inference_client 传递max_dynamic_patch 参数呢?

目前好像传不过去

Jintao-Huang avatar Oct 19 '24 13:10 Jintao-Huang

如果是训练或者推理 可以使用环境变量的方式修改

Jintao-Huang avatar Oct 19 '24 13:10 Jintao-Huang