SDXL用ControlNetモデルの使い方【Anytest + ComfyUI】

AnytestをComfyUIで使う方法とAnytestのバージョン毎の違いを解説します。最後にIP-AdapterとAnytestを使った例を紹介します。このモデルは非常に優れていると感じたので、是非活用してみましょう。

筆者が考えたできることリスト

• “使いたいけど一部が崩れていて使えない画像”　をガチャで使えるように。
• img2imgのワークフローで元の形を保ちつつ高画質化
• txt2imgとIP-Adapterのワークフローに組み込めば形を保ちつつスタイルチェンジが可能

Anytestのダウンロードとワークフロー

カスタムノードを追加する必要はありません。

Anytest というControlNetのモデルをダウンロードした後に、ワークフローを作ってみましょう。

ControlNetのモデルは次の場所に配置します。

ComfyUI/
└── models/
    └── controlnet/
        ├── CN-anytest_v3-50000_fp16.safetensors
        ├── CN-anytest_v3-50000_am_dim256.safetensors
        ├── CN-anytest_v3-50000_pn_dim256.safetensors
        ├── CN-anytest_v4-marged.safetensors
        ├── CN-anytest_v4-marged_am_dim256.safetensors
        └── CN-anytest_v4-marged_pn_dim256.safetensors

Anytestは月須和・那々（つきすわ・なな）さんによって開発されたモデルです。その他にも様々なLoRAを作られてるお方です。

anytest_v3とanytest_v4の違い

6/3 に anytest_v4 が投稿されました。ななさんのポストを参考に解説します。

正確さ vs スタイル変換

• anytest_v3: 入力に対する正確さを重視。入力画像の細部や構造を忠実に保ちます。

• anytest_v4: 入力画像の正確さよりも、スタイルの一貫性やさまざまな入力画像に対して適応できることを重視しています。プロンプトの入力も通りやすいです。

入力画像に対する耐性

• anytest_v3: 正確さを重視するため、入力画像の品質が高いほど良い結果が得られます。

• anytest_v4: ガバさがあるため、入力がノイズまみれでも、モザイクがかかっていても、ぼやけていても出力が壊れにくいです。scribble（手書きのスケッチ）に近い特性を持っています。

amとpnの違いは？

“am” は Animagine用で “pn” はPony用です。

次元数（dim）の違いは？

参考:Control-LoRA

VRAM消費量

• 高次元数（例：dim256）:
  • 高次元の特徴ベクトルを使用するため、計算に必要なメモリ量が増加します。これは、トレーニングや推論時に消費するVRAMが多くなることを意味します。

• 低次元数（例：dim128）:
  • 低次元の特徴ベクトルを使用するため、計算に必要なメモリ量が減少します。これにより、消費するVRAMが少なくなります。

精度

• 高次元数:
  • モデルの表現力が高まり、より多くの情報を保持できるため、精度が向上する可能性があります。ただし、過剰な次元数は過学習（オーバーフィッティング）を引き起こすリスクもあります。

• 低次元数:
  • モデルの表現力が制限されるため、精度が低下する可能性があります。ただし、適切な次元数を選択することで、十分な性能を維持しつつ、計算リソースの節約が可能です。

Apply ControlNetの解説

「strength」の値を調整することで、ControlNetがどの程度生成に影響を与えるかを調整できます。

「0」から「1」の値で調整します。

形を崩して新しい形を作りたい場合は「0.3~0.7」を指定することが多いです。

「1」を超える値を設定することもできます。

「start_percent」と「end_percent」はControlNetの影響が「何ステップから始まって何ステップで終わるか」を指定できます。

「end_percent」を減らすことで、ControlNetのモデルが画風に与える影響を減らすことができます。

strength「1.58」end_percent「1」

strength「1.58」end_percent「0.4」

strength「1.00」end_percent「0.4」

strength「0.4」end_percent「0.4」

おすすめのCNモデルは？

人によって環境が違うので参考にならないランキング

IP-Adapterと組み合わせると無限

IP-Adapterは元となる画像からスタイル等を抽出するカスタムノードです。※簡単な使い方の解説記事を書くと思います。

IP-Adapter以外にもスタイルをチェンジする方法は沢山あるみたいですが、現在Redditにてまた新しいスタイルチェンジャーが登場したとスレッドが賑わっているのでこちらも期待してます。

スタイルを抽出  

結果