u-haru

画像のアルファチャンネルをlossのマスクとして使用するオプションを追加

3

透過画像のアルファチャンネルをlossのマスクとして利用出来るようにします。 - デフォルトだとImage.open().convert("RGB")の際にアルファチャンネルが消えて単色の背景(灰色?)が設定されるため、学習したモデルにも背景が移りやすい - 背景を学習させないために、lossに対してアルファチャンネルをマスクとして適用することで透過部分のlossを0にする - alpha_maskオプションで使用 ControlNetで使われていた(?) apply_masked_lossを少し変更して使用しています。 例:  (Layer Diffusionを用いて生成) 透過画像30枚をそのまま学習データとし、alpha_maskをon/offでそれぞれ800step程度学習 

pipによるパッケージ管理は依存関係で問題が起きやすいので、poetryによる管理に切り替えたほうが良いのではないかという提案です。 ~以前venvを作り直した際、pip install時にドライバ等環境の差異で苦労したのも理由です。~ 手元で試したところ、学習は問題なくできそうでした。 雑ですが以下のようなメリットがあります。 - セットアップは`poetry install`のみで完了し、venvも自動で作られるようになる - パッケージはlockファイルで管理されるため、バージョンによるエラーを減らせる - `poetry update`とすれば依存関係を解決したうえで最新のライブラリを使えるようになるため、容易に更新できる