sd-scripts
sd-scripts copied to clipboard
kohya-ss
My MacBook Pro has 16GB VRAM but I keep getting error when I tried to try Lora on it, anyone can help? running training / 学習開始 num train images *...
This is a replaced PR of #902. - Add black format check every commit - This helps keep code readability at all times - Currently, the formatting has not been...
This is a simple little change which adds support for using multiple captions in a single caption file, one per line. During training, each time the caption is needed, a...
pipによるパッケージ管理は依存関係で問題が起きやすいので、poetryによる管理に切り替えたほうが良いのではないかという提案です。 ~以前venvを作り直した際、pip install時にドライバ等環境の差異で苦労したのも理由です。~ 手元で試したところ、学習は問題なくできそうでした。 雑ですが以下のようなメリットがあります。 - セットアップは`poetry install`のみで完了し、venvも自動で作られるようになる - パッケージはlockファイルで管理されるため、バージョンによるエラーを減らせる - `poetry update`とすれば依存関係を解決したうえで最新のライブラリを使えるようになるため、容易に更新できる
Hey, I am encountering the same problem today!! I have two cloned codes of sd-scripts. One was cloned in 12,2023, and the other was downloaded in 2024, Feb 28. But...
The optimizer is memory efficient. We can pretrain mistral-7B with 24GB. https://github.com/jiaweizzhao/GaLore 
## Current state - [x] Backbone (w/o external deps) - [x] Model save-loading (orig format) - [x] T5 support, T5's attention_mask carryover, load in 4bit - [x] T5 Text embeddings,...
素晴らしい機能をありがとうございます。 Fused optimizerで--resumeした場合にresume元のstateと全く同一の画像が出力されてしまいます tensorboardでは学習が進んでいるように見えるのですが… Fused optimizerはresumeに対応していないのでしょうか？
 the command I used to run the script: ```bash %cd /content/sd-scripts !source /content/venv/bin/activate;accelerate launch "sdxl_train_network.py" --in_json "/content/dataset_lat.json" --console_log_simple --pretrained_model_name_or_path "/content/model.safetensors" --dataset_repeats "1" --train_data_dir "/content/dataset" --output_dir "/content/drive/MyDrive/out" --network_alpha "32" --network_dim...
