ControlNet & LoRA 完全ガイド — 画像生成AIを「思い通り」にする2大技術

画像生成AIで「なんとなく良い画像」は作れても、「この構図で、このスタイルで」と指定するのは難しい。ControlNetとLoRAは、この問題を解決する2つの異なるアプローチだ。

本記事では、それぞれの仕組み・使いどころ・実践テクニックを、個人開発者がプロダクトに活用できるレベルで解説する。

まず結論 — ControlNetとLoRAの違い

	ControlNet	LoRA
何をする？	構図・ポーズ・構造を制御する	画風・キャラ・スタイルを追加学習する
たとえ	「このポーズで描いて」と参考写真を渡す	「この画家の画風で描いて」と画風を教える
入力	参考画像（エッジ、骨格、深度など）	学習データ（10〜50枚程度の画像）
出力への影響	構造・レイアウトを制御	テクスチャ・スタイルを変更
ファイルサイズ	数百MB〜1GB	10〜150MB

簡単に言えば、ControlNetは「どこに何を置くか」をコントロールする技術、LoRAは「どんなテイストで描くか」を追加する技術だ。

---

ControlNet — 構図と構造をコントロールする

仕組み

ControlNetは、Stable Diffusionの生成プロセスに追加の空間的条件を注入する技術だ。テキストプロンプトだけでは指定しにくいポーズ、構図、輪郭といった情報を、画像として渡すことができる。

参考画像 → プリプロセッサ（前処理）→ 検出マップ → ControlNet → 生成に反映

主要なプリプロセッサ一覧

プリプロセッサ	抽出する情報	主な用途
Canny	エッジ（輪郭線）	構図の維持、線画→着色
OpenPose	人体の骨格（関節位置）	ポーズ指定、キャラクターの姿勢制御
Depth	深度マップ（奥行き）	空間構成の維持、背景の奥行き制御
Scribble	ラフスケッチ	手描きラフから画像生成
Lineart	線画抽出	イラストの線画→着色
Normal Map	法線マップ	3D的な凹凸・照明の制御
Segmentation	セグメンテーション	領域ごとの物体配置制御
Tile	タイル/ブラー	アップスケール、ディテール追加
IP-Adapter	画像の特徴量	参考画像の「雰囲気」を転写
Reference	参考画像全体	スタイル・キャラの一貫性

Control Weight（強度）の目安

値	効果
0.0	ControlNet無効（プロンプトのみ）
0.3〜0.5	軽くガイド（自由度高め）
0.7〜1.0	強く制御（参考画像に忠実）
1.0超	過剰制御（破綻しやすい）

多くの場合、0.5〜0.8がスイートスポットになる。

複数ControlNetの組み合わせ

ComfyUIでは複数のControlNetを同時に使える。よく使われる組み合わせ：

• OpenPose + Depth → ポーズと空間配置を同時制御
• Canny + IP-Adapter → 構図を維持しつつスタイル転写
• Lineart + Reference → 線画の色塗りとキャラ一貫性を両立

対応モデルの現状

ベースモデル	ControlNet対応状況
SD 1.5	◎ 最も充実
SDXL	○ 主要なものは対応
Flux	△ Depth等は使えるが限定的

---

LoRA — スタイルとキャラクターを追加学習する

仕組み

LoRA（Low-Rank Adaptation）は、大規模モデルの重み全体を書き換えるのではなく、小さな差分データ（低ランク行列）だけを学習する技術だ。

ベースモデル（数GB）＋ LoRA（10〜150MB）→ カスタマイズされた出力

技術的なポイント：

• 元のモデルの重みは凍結（変更しない）
• 追加の小さな行列（A, B）だけを学習
• 推論時に元の重みに足し算するだけ → 高速
• 複数LoRAの同時適用が可能

LoRAの種類

種類	学習対象	具体例
キャラクターLoRA	特定キャラの顔・体型	「このキャラを毎回再現」
スタイルLoRA	画風・アートスタイル	「水彩画風」「アニメ調」
コンセプトLoRA	特定オブジェクト・概念	「特定の建物」「特定のロゴ」
ポーズLoRA	特定のポーズ傾向	「立ち絵向け」
品質LoRA	全体の品質向上	「ディテール強化」

LoRAを自作するために必要なもの

項目	内容
学習画像	10〜50枚（多いほど安定）
学習時間	20分〜数時間（GPU性能による）
VRAM	8GB〜（推奨12GB以上）
ツール	Kohya_ss、EveryDream2、sd-scripts
出力サイズ	10MB〜150MB

LoRA Weight（強度）の目安

値	効果
0.0	LoRA無効
0.5〜0.7	自然な適用（推奨）
1.0	フル適用（過学習っぽくなることも）

複数LoRAを同時に使う場合は、合計を1.0〜1.5程度に抑えるのがコツだ。

---

ファインチューニング手法の比較

LoRA以外にもモデルをカスタマイズする手法がある。

手法	サイズ	学習時間	品質	汎用性
LoRA	10〜150MB	短い	◎	◎ 複数モデルで使える
DreamBooth	2〜7GB	長い	◎ 最高品質	△ 1モデル固定
Textual Inversion	数KB	中程度	○	◎ 超軽量
Hypernetwork	数十MB	中程度	△	○

現在はLoRAが圧倒的に主流。軽量・高品質・汎用性のバランスが最も良い。

---

個人開発者が押さえるべき実践ポイント

1. ControlNetとLoRAは「組み合わせて使う」

例えば、キャラクターLoRAで見た目を固定しつつ、OpenPose ControlNetでポーズを指定する。これにより「毎回同じキャラが、指定したポーズで」生成できる。

2. まずはCivitaiで既存モデルを試す

自分でLoRAを学習する前に、Civitai で公開されている既存のLoRA・ControlNetモデルを試すのが効率的だ。プロンプトや設定値もセットで公開されているため、再現しやすい。

3. ComfyUIを使う

ControlNetの複数適用やLoRAの組み合わせは、ComfyUI（ノードベースのUI）が最も柔軟に対応できる。Automatic1111よりも複雑なワークフローが組みやすい。

4. safetensors形式を選ぶ

モデルをダウンロードする際は、safetensors形式を選ぶ。pickle（.ckpt）形式は悪意あるコード実行のリスクがある。

5. 商用利用はライセンスを確認

各モデルのライセンスは異なる。プロダクトに組み込む場合は、商用利用の可否を必ず確認する。

---

まとめ

やりたいこと	使う技術
ポーズや構図を指定したい	ControlNet（OpenPose, Canny等）
特定の画風で描きたい	LoRA（スタイルLoRA）
キャラの見た目を固定したい	LoRA（キャラクターLoRA）+ IP-Adapter
手描きラフから画像化したい	ControlNet（Scribble）
画像のアップスケール	ControlNet（Tile）
上記すべてを組み合わせたい	ComfyUI

ControlNetとLoRAは、画像生成AIを「おもちゃ」から「プロダクションツール」に変える技術だ。個人開発者がAI画像生成をプロダクトに組み込む際には、この2つの理解が不可欠になる。

---