wangguanzhong
wangguanzhong
You need GPU version of PaddlePaddle for SWAV
目前新版本的ppdiffusers中将不再支持fastdeploy，推理部署代码基于paddleinference推理引擎，可以参考https://github.com/PaddlePaddle/PaddleMIX/tree/upgrade_ppdiffusers0240/ppdiffusers/deploy/sd15
paddle目前是已经支持H100和H800的，https://www.paddlepaddle.org.cn/documentation/docs/zh/install/Tables.html#nvidia-gpu h100/h800需要安装CUDA12对应paddle版本
我们马上会发布ppdiffusers 0.24.0的版本，会支持sdxl更多的控制模型
麻烦发下执行命令和对应模型吧
建议通过以下方式安装最新版paddlemix ``` git clone https://github.com/PaddlePaddle/PaddleMIX cd PaddleMIX pip install -e . #ppdiffusers 安装 cd ppdiffusers pip install -e . ```
https://github.com/PaddlePaddle/PaddleNLP/issues/8344 可以参考下这个issue
预训练权重可以通过AutoModelMIX获取，参考代码：https://github.com/PaddlePaddle/PaddleMIX/blob/develop/paddlemix/tools/supervised_finetune.py#L81 名称可以使用：paddlemix/llava/llava-v1.6-vicuna-7b
目前LLaVA1.6还没有在NPU上验证过，我们近期集中验证后会给您反馈
是不需要的，例如llava sft训练vision encoder部分参数不更新，训练时不会保存vision encoder部分，而推理阶段会自动加载这部分参数