VAE Trainer

[tkgix]

お疲れ様です.

VAE Trainerについて提案します。

ご存知のように、VAEは最終的な詳細ピクセルの表現を決定する要素です。

VAE Trainはすでにかなり前にstable diffusion 1.5開発時にコードが公開されています。
https://github.com/CompVis/latent-diffusion

個人的に改造して使っていますが、設置過程が難しくて他人にはおすすめできませんね。

このrepoにVAE Trainerを追加して公開すれば、様々な良いVAEが生まれると期待しています。

VAE訓練課程はlatentに変換して復元することを繰り返す単純な過程なので、適切なサイズの画像だけを入れて回すのでOKです。
私の経験ではFine-tuningまたはLORAトレーニングに使用したデータセットをそのまま使用して、そのモデル専用のVAEを作ることでもかなりの効果があります。 モデルが表現できない非常に狭い領域の表現を手伝ってくれます。

または、finetuningの際にVAEも一緒にトレーニングする方法も考えられます。

考慮してみてください。
いつも応援しています。それでは。

P.S: 別の話ですが、metadataファイルを制作する過程なしにFine-tuningができればと思います。多分このrepoの一番大きな短所ではないかと思います(笑)

[idlebg]

I am already doing this with the public code.
But +1 if we can have this here too 🤟 🥃

[arcanite24]

Hey @idlebg, are you fine tuning the VAE with the Latent Diffusion code base?