49xxy
49xxy
> **描述** 在多 GPU 上使用 Top-k 功能运行训练失败的错误`torch.nn.modules.module.ModuleAttributeError: 'DistributedDataParallel' object has no attribute 'epochs'` > > 它使用一个 GPU，或者使用多个 GPU 而没有 topk。 > > **重现** 行为的步骤： > > 1. 与 ./docker_run.sh >...
> Have you solved this problem？
@limbo0000 Hello, I encountered this problem when resume training, and I hope to get your help! 
> 嗨，我不熟悉多 GPU 训练，但我认为该错误是由`def _dequeue_and_enqueue(...)`from触发的`contrastive_head.py`。 > > 现在看第 51 行，我猜这行代码只连接来自不同 GPU 的分布式张量，但对于 1 个 GPU，1 个 GPU 没有必要。因此，如果在 1 个 GPU 上训练，我只需删除此行[ `keys = concat_all_gather(keys)`](https://github.com/genforce/insgen/blob/52bda7cfe59094fbb2f533a0355fff1392b0d380/training/contrastive_head.py#L51) Have you solved this problem?...
> 嗨，我不熟悉多 GPU 训练，但我认为该错误是由`def _dequeue_and_enqueue(...)`from触发的`contrastive_head.py`。 > > 现在看第 51 行，我猜这行代码只连接来自不同 GPU 的分布式张量，但对于 1 个 GPU，1 个 GPU 没有必要。因此，如果在 1 个 GPU 上训练，我只需删除此行[ `keys = concat_all_gather(keys)`](https://github.com/genforce/insgen/blob/52bda7cfe59094fbb2f533a0355fff1392b0d380/training/contrastive_head.py#L51) Hi！Can I delete this line...
I ran this on 2 gpus much slower than the baseline stylegan2, taking nearly twice as long.Then,I followed the solution in the issue1 and ran it on Colab. Again, it...
> 我如何以这种方式使用它？ Hi，have you solved it？
> 根据我对这种方法的经验，它无助于防止模式崩溃（至少在像我这样的某些场景中），它只是延迟它并随着从无条件机制到有条件机制的逐渐过渡而延长训练过程。 > > 从我的测试来看，它似乎确实让训练更加稳定，并避免了在过渡期之前和期间的模式崩溃。然而，在转换完成后不久，输出开始恶化，模型仍以完全或接近完全的模式崩溃告终。我怀疑问题的本质在概念上类似于消失梯度问题。随着过渡更接近条件机制，根据定义，它离全局/无条件数据越来越远，并且随着训练的继续进行，直到过渡完成并且任何好处都完全停止，从中受益也越来越少。 > > 基于你在引入标签之前无条件训练的基本想法，我发现了一种更简单且看似更稳定的方法，不需要修改 vanilla StyleGAN 架构或过渡期。简单地说，它是在训练一个无条件模型，然后使用一次性权重转移来立即将无条件模型“转换”为有条件模型，然后继续训练它。脚步： > > 1. 创建条件数据集 > 2. 使用与条件模型相同的配置开始训练无条件模型，但只需省略 --cond=1 标志 > 3. 训练直到模型从无条件机制中“学到足够的东西”。我没有进行广泛的测试，所以我不知道训练中的“最佳”点是什么，但是一旦 FID 停止改进，一种粗略而有效的方法就是停止。它确实具有避免新超参数的好处，并且无论域/数据集如何都应该是有效的 > 4. 使用步骤 2 中使用的相同命令开始训练随机初始化的条件模型，但这次使用...
> In my experience with this approach, it doesn't help prevent mode collapse (at least in certain scenarios like mine), it simply delays it and prolongs the training process with...
> 你好，请问maskFacePoints如何计算得到，如果我想要贴个胡子，怎么得到这个，谢谢 Hi！Do you have a solution?