【初心者向け】Stable Diffusion web UIの拡張機能ControlNetで重要な9の技術を実践で学ぼう

この講座は「ジェネレーティブAI（画像生成AI）入門【Stable Diffusion】-プロンプトでハイクオリティな画像制作が可能」の補足教材です。

補講とお考えください。

そのため、上記講座をすでに受講済みの方が対象です。

よくご確認の上、受講お願いします。

＜講座内容＞

ControlNetは、lllyasvielによって開発されたStableDiffusion web UIの拡張機能です。これは、ノイズから高品質の画像を生成する生成的敵対ネットワーク（GAN）の一種であるStable Diffusion Modelに基づいています。

この技術はStable Diffusion web UI「AUTOMATIC1111」にたった二週間程度で搭載されました。

現在では一般的に「ControlNet」というと、このAUTOMATIC1111の拡張機能としての「ControlNet」を指して使います。

ControlNetは、「画像生成AIにおける二度目の革命」と言われるほど非常に高いポテンシャルと画期的な機能を搭載しており、さまざまな機能によって、例えばtxt2imgにおけるガチャ要素を極限まで排除できます。

リアルなポートレート、3Dキャラクター、ファンタジー風景、ドット絵、抽象的な芸術など、さまざまなスタイルの画像を作成するために使用されています。

ControlNetに搭載されている機能の中から９つを厳選して学習します。

1. SoftEdge：入力画像から大まかな線画を作成し、それをベースに新たに画像を生成(cannyとの違いはアルゴリズム)

2. mlsd：直線を検出しそれをベースに新たに画像を生成（主にインテリアや建物に使用）

3. Openpose：入力画像からキーポイントを検出(棒人間)、それをベースに新たに画像を生成

4. Scribble：手書きのラフ画をベースに新たに画像を生成

5. Inpaint：入力した画像の一部だけ修正できる

6. Instruct Pix2Pix：「Instruct Pix2Pix」で画像を指示通り書き換える

7. Lineart：入力画像を線画に変換し、それをベースに新たに画像を生成

8. Tile：画質を上げる、アップスケーリング機能

9. reference_only：顔を固定して別の構図の画像を生成

しかし、実際に使ってみると、どのようなときにどのようなモデルを使えばいいのかわかりにくいのも事実です。

ですから、この講座では、Controlnetの15程度ある機能の中から、9の主要な使い方を70分で解説していきます。

この講座を完全に受講し終わると、あなたの画像生成技術は強固たるものになるでしょう！！