OneTrainer
OneTrainer copied to clipboard
[Bug]: duplicated sampling
What happened?
Sampling is doubled. I have currently 5 samples enabled, and non-ema samples disabled. I should get 5 outputs, and 5 progress bars in the log. instead, I get 10 progress bars and 10 outputs. all 5 are generated, saved, generated, and saved again.
What did you expect would happen?
5 samples requested, 5 samples saved.
Relevant log output
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.28it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.28it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.28it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.27it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.28it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.28it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.29it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.29it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.27it/s]
sampling: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.29it/s]
Creating Backup workspace/run\backup\2024-04-25_10-47-56-backup-3743-5-0████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.26it/s]
Saving workspace/run\save\2024-04-25_10-47-59-save-3743-5-0.safetensors█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:17<00:00, 2.28it/s]
Output of pip freeze
absl-py==2.1.0 accelerate==0.25.0 aiohttp==3.9.5 aiosignal==1.3.1 antlr4-python3-runtime==4.9.3 async-timeout==4.0.3 attrs==23.2.0 bitsandbytes==0.43.0 cachetools==5.3.3 certifi==2024.2.2 charset-normalizer==3.3.2 cloudpickle==3.0.0 colorama==0.4.6 coloredlogs==15.0.1 customtkinter==5.2.1 dadaptation==3.2 darkdetect==0.8.0 -e git+https://github.com/huggingface/diffusers.git@5d848ec07c2011d600ce5e5c1aa02a03152aea9b#egg=diffusers filelock==3.13.4 flatbuffers==24.3.25 frozenlist==1.4.1 fsspec==2024.3.1 ftfy==6.2.0 google-auth==2.29.0 google-auth-oauthlib==1.2.0 grpcio==1.62.2 huggingface-hub==0.20.3 humanfriendly==10.0 idna==3.7 importlib_metadata==7.1.0 invisible-watermark==0.2.0 Jinja2==3.1.3 lightning-utilities==0.11.2 lion-pytorch==0.1.2 Markdown==3.6 markdown-it-py==3.0.0 MarkupSafe==2.1.5 mdurl==0.1.2 -e git+https://github.com/Nerogar/mgds.git@11fbffae356ef819ce7bd9d60d1705809f970e02#egg=mgds mpmath==1.3.0 multidict==6.0.5 networkx==3.3 numpy==1.26.2 oauthlib==3.2.2 omegaconf==2.3.0 onnxruntime-gpu==1.16.3 open-clip-torch==2.23.0 opencv-python==4.8.1.78 packaging==24.0 pillow==10.2.0 platformdirs==4.2.0 pooch==1.8.0 prodigyopt==1.0 protobuf==4.23.4 psutil==5.9.8 pyasn1==0.6.0 pyasn1_modules==0.4.0 Pygments==2.17.2 pynvml==11.5.0 pyreadline3==3.4.1 pytorch-lightning==2.1.3 PyWavelets==1.6.0 PyYAML==6.0.1 regex==2024.4.16 requests==2.31.0 requests-oauthlib==2.0.0 rich==13.7.1 rsa==4.9 safetensors==0.4.1 scalene==1.5.39 sentencepiece==0.2.0 six==1.16.0 sympy==1.12 tensorboard==2.15.1 tensorboard-data-server==0.7.2 timm==0.9.16 tokenizers==0.15.2 torch==2.2.0+cu118 torchmetrics==1.3.2 torchvision==0.17.0+cu118 tqdm==4.66.1 transformers==4.36.2 typing_extensions==4.11.0 urllib3==2.2.1 wcwidth==0.2.13 Werkzeug==3.0.2 xformers==0.0.24+cu118 yarl==1.9.4 zipp==3.18.1