【AUTOMATIC1111 on Google Colab】ChilloutMix+LoRAを使ってリアルな画像を生成できるノートブック

簡単にインストールと実行ができる．

中国語(正確には台湾語？)だが，ChilloutMix+LoRAを用いて画像が生成できるノートブックがあった．セルを実行するだけでモデルがダウンロードでき，話題の画像(リアルなコスプレ画像など)が生成できるので，楽だった．

使い方は以下のサイトに書いてある（中国語だけど，図を見れば説明は何となく分かる）．

LoRAは学習済みモデルが以下のサイトに色々ある．

欲しいモデルを検索して，「Download Latest」ボタンの上で右クリック→リンクアドレスのコピーをした後，ノートブックのlora_urls:の入力欄に入れるとLoRAのモデルがダウンロードされる（複数入力する場合は，「,」（カンマ）で区切る）．

ちなみに，上記のノートブックの使用方法のサイトに中国語で書いてあるが，WebUI内でLoRAのプレビューを表示するには，自分で「モデル名.png」という名前の画像を作成し，LoRAのモデルをダウンロードしたフォルダに追加する必要がある．

アニメ絵のLoRAと実写のLoRAを混ぜると，よく見る画像っぽくなるみたい．

ControlNetと組み合わせることもできる．人体のモデルは，先日の記事「【ControlNetで使えるかも】人体モデルのポーズ関連のサイト集」のサイトから持ってくると良い．openpose-editorというextensionもあるみたいなので，それでも良いかも．

ControlNetの導入は上記の説明サイトでやってなかったが，ノートブックのセル内のcontrol_netの箇所をチェックするだけである（以下の画像を参照）．ついでに「gradio-auth ID(任意):パスワード(任意)」オプションも設定した方が良い．

その下のセルにControlNetのモデルのダウンロードの項目があるので，必要なモデルをチェックする．

上記のノートブックはカスタマイズされていて使いやすい気がする．control_netのチェックの上にあるtag_complete機能とかも便利．

上記のGoogle Colabのコードは更新されており，動作を確認したところ，そのまま実行すると表示言語が台湾語になる仕様となっていた．

以下のように，「3. Extension」内の”localization_zh_TW”のチェックを外せば英語になる．extensions_pairリスト内の変数をいじれば日本語にもできるが，英語の方が分かりやすいと思う．

デフォルトでClip_skipの値とかを設定してくれるようになったので，より実行しやすくなっている気がする．