WindVChen
代码里面关于对潜在空间的扰动
您好！感谢您出彩的作品，对我的研究有很好借鉴意义，我在看您项目代码的时候有一些疑惑，我没太get到对于潜在空间扰动在代码里面如何体现的，代码其余部分我已理解，期待您的回复！
哈喽，准确来说是有三个损失函数共同作用哈（见此）. 另外，这里是对整个 latent tensor 进行优化的，并不存在“latent 的文本部分”这种说法。在 classifier-free 的去噪过程中，会对 latent 进行复制，分别在带文本条件和空文本条件下进行去噪，最后将二者的结果融合 (见此).
发生异常: RuntimeError
CUDA error: invalid argument
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.
File "/root/project/DiffAttack-main/diff_latent_attack.py", line 541, in diffattack
loss.backward()
File "/root/project/DiffAttack-main/main.py", line 72, in run_diffusion_attack
adv_image, clean_acc, adv_acc = diff_latent_attack.diffattack(diffusion_model, label, controller,
File "/root/project/DiffAttack-main/main.py", line 170, in TORCH_USE_CUDA_DSA to enable device-side assertions.
您好，我运行时出现这个问题，loss不会出现nan或者inf，显存情况如下，cuda都放到gpu:0上，请问这个是啥问题呢
目前没有改动代码，我使用了我自己的数据集，总共20各类别，我先使用预训练好的resnet，fc输出已改成20，不知道是啥情况，是不是跟torch版本有关，我从网上没找到解决办法，使用cpu跑就没问题
哈喽 @niania-whb ，
不好意思回复晚了，上面这个TORCH_USE_CUDA_DSA问题以及这个热力点的问题我不是很确定. 这两个问题在默认的ImageNet-Compatible数据集上会出现同样的问题吗？还是说目前只有在私有数据集上出现呢？
感谢您的回复，第一个问题我已经解决，就是第二个问题，我没在imagenet上跑，我是在自己的私有数据集上跑出现的这个问题
---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2025年06月12日 23:57 | | 收件人 | @.> | | 抄送至 | Hongbing @.>@.> | | 主题 | Re: [WindVChen/DiffAttack] 代码里面关于对潜在空间的扰动 (Issue #49) | WindVChen left a comment (WindVChen/DiffAttack#49)
哈喽 @niania-whb ，
不好意思回复晚了，上面这个TORCH_USE_CUDA_DSA问题以及这个热力点的问题我不是很确定. 这两个问题在默认的ImageNet-Compatible数据集上会出现同样的问题吗？还是说目前只有在私有数据集上出现呢？
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>
您好，cross前后就是热力图的变化，感觉变化不明显，按照原文的内容和图2的cross attention变化前后的图热力图应该是平均分散的，但是我跑出来的没啥变化
---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2025年06月13日 03:22 | | 收件人 | @.> | | 抄送至 | Hongbing @.>@.> | | 主题 | Re: [WindVChen/DiffAttack] 代码里面关于对潜在空间的扰动 (Issue #49) | WindVChen left a comment (WindVChen/DiffAttack#49)
上面提到的"cross attention 之前 之后"是指什么呢？
热力图是说变化不明显吗？我看上下两行系列上还是有些变化
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>
可以尝试下增大transfer loss的权重，看看是否有更明显的变化？
https://github.com/WindVChen/DiffAttack/blob/main/main.py#L46
增加了10倍还是不行，会不会是因为文字描述部分，因为文本编码器会把文字分开，分开之后语义发生了变化，比如“xxx airplane”，这个xxx是好多种修饰词，造成stable diffusion无法正确定位
---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2025年6月13日 14:52 | | 收件人 | @.> | | 抄送人 | Hongbing @.>, @.> | | 主题 | Re: [WindVChen/DiffAttack] 代码里面关于对潜在空间的扰动 (Issue #49) | WindVChen left a comment (WindVChen/DiffAttack#49)
可以尝试下增大transfer loss的权重，看看是否有更明显的变化？
https://github.com/WindVChen/DiffAttack/blob/main/main.py#L46
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>
我之前没有尝试过比较多的修饰词，大部分都是控制在1-3个文本之内.
那可以先尝试下 1) 减少修饰词，比如约束在1-3个词之内；2) 尝试将structure loss的权重降低，因为它对于个人数据集来说，带来的约束可能比较强.
看看这些是否带来改变.