Skip to content

Add native LoRA training documentation #804

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
mintlify wants to merge 5 commits into
base: main
Choose a base branch
from
Open

Add native LoRA training documentation #804

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
5 commits
Select commit Hold shift + click to select a range
d48c8cb
Add native LoRA training documentation
mintlify[bot] Mar 6, 2026
f47539c
Merge branch 'main' into docs-lora-training-1772768349
comfyui-wiki Apr 9, 2026
e02d5e0
Remove the LoRA training documentation in Chinese (lora-training.mdx)…
comfyui-wiki Apr 9, 2026
19da300
Update docs.json
comfyui-wiki Apr 9, 2026
71fe661
Update documentation for LoRA training nodes and restructure training…
comfyui-wiki Apr 9, 2026
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
18 changes: 18 additions & 0 deletions docs.json
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -136,6 +136,12 @@
"tutorials/basic/multiple-loras"
]
},
{
"group": "Training",
"pages": [
"tutorials/training/overview"
]
},
{
"group": "ControlNet",
"pages": [
Expand Down Expand Up @@ -2218,6 +2224,12 @@
"zh/tutorials/basic/multiple-loras"
]
},
{
"group": "训练",
"pages": [
"zh/tutorials/training/overview"
]
},
{
"group": "ControlNet",
"pages": [
Expand Down Expand Up @@ -4305,6 +4317,12 @@
"ja/tutorials/basic/multiple-loras"
]
},
{
"group": "トレーニング",
"pages": [
"ja/tutorials/training/overview"
]
},
{
"group": "ControlNet",
"pages": [
Expand Down
15 changes: 8 additions & 7 deletions ja/built-in-nodes/LoraModelLoader.mdx
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -4,25 +4,26 @@ description: "ComfyUI における LoraModelLoader ノードの完全なドキ
sidebarTitle: "LoraModelLoader"
icon: "circle"
mode: wide
translationSourceHash: 2d17ee26
translationFrom: built-in-nodes/LoraModelLoader.mdx, zh/built-in-nodes/LoraModelLoader.mdx
---
> このドキュメントは AI によって生成されました。誤りを発見された場合、または改善に関するご提案がありましたら、ぜひご貢献ください！ [GitHub で編集する](https://github.com/Comfy-Org/embedded-docs/blob/main/comfyui_embedded_docs/docs/LoraModelLoader/en.md)

LoraModelLoader ノードは、学習済みの LoRA（Low-Rank Adaptation：低ランク適応）重みを拡散モデルに適用します。このノードは、学習済み LoRA モデルから重みを読み込み、その影響強度を調整することでベースモデルを変更します。これにより、拡散モデルをゼロから再学習することなく、その動作をカスタマイズできます。
LoraModelLoader ノードは、学習済みの LoRA（Low-Rank Adaptation：低ランク適応）重みを拡散モデルに適用します。このノードは、学習済み LoRA モデルから重みを読み込み、その影響強度を調整することでベースモデルを変更します。**TrainLoraNode** から直接 LoRA 重みを使用する場合は、標準の LoRA ローダーではなく、このノードを使用してください。

## 入力

| パラメーター | データ型 | 必須 | 範囲 | 説明 |
|-----------|-----------|----------|-------|-------------|
| `model` | MODEL | はい | - | LoRA を適用する対象の拡散モデルです。 |
| `lora` | LORA_MODEL | はい | - | 拡散モデルに適用する LoRA モデルです。 |
| `strength_model` | FLOAT | はい | -100.0 ～ 100.0 | 拡散モデルを変更する強さを指定します。この値は負の数も可（デフォルト値：1.0）。 |
| `lora` | LORA_MODEL | はい | - | 適用する LoRA モデル（TrainLoraNode の出力または読み込み済み LoRA ファイル）です。 |
| `strength_model` | FLOAT | はい | -100.0 ～ 100.0 | 拡散モデルへの LoRA の影響強度を指定します。負の値も使用可能（デフォルト値：1.0）。 |
| `bypass` | BOOLEAN | はい | - | 有効にすると、ベースの重みを変更せずフォワードフックで LoRA を適用します。量化モデルに適しています（デフォルト：False）。 |

**注意：** `strength_model` を 0 に設定した場合、ノードは LoRA の適用を行わず、元のモデルをそのまま返します。
**注意：**
- `strength_model` を 0 に設定した場合、ノードは LoRA の適用を行わず、元のモデルをそのまま返します。
- トレーニング時に `bypass_mode` を有効にした場合は、推論時もここで `bypass` を有効にしてください。

## 出力

| 出力名 | データ型 | 説明 |
|-------------|-----------|-------------|
| `model` | MODEL | LoRA 重みが適用された修正済み拡散モデルです。 |
| `model` | MODEL | LoRA 重みが適用された拡散モデルです。 |
44 changes: 22 additions & 22 deletions ja/built-in-nodes/TrainLoraNode.mdx
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -4,43 +4,43 @@ description: "ComfyUI の TrainLoraNode ノードに関する完全なドキュ
sidebarTitle: "TrainLoraNode"
icon: "circle"
mode: wide
translationSourceHash: 125473cf
translationFrom: built-in-nodes/TrainLoraNode.mdx, zh/built-in-nodes/TrainLoraNode.mdx
translationMismatches:
- "description"
---
> このドキュメントは AI によって生成されました。誤りを発見された場合、または改善のご提案がある場合は、ぜひご貢献ください！ [GitHub で編集](https://github.com/Comfy-Org/embedded-docs/blob/main/comfyui_embedded_docs/docs/TrainLoraNode/en.md)

TrainLoraNode は、提供された潜在表現（latents）および条件付けデータを用いて、拡散モデル上に LoRA（低ランク適応：Low-Rank Adaptation）モデルを作成・学習します。このノードにより、カスタムの学習パラメーター、オプティマイザー、損失関数を用いたモデルのファインチューニングが可能です。ノードの出力には、LoRA を適用済みの学習済みモデル、LoRA の重み、学習時の損失指標、および完了した総学習ステップ数が含まれます。
TrainLoraNode は、提供された潜在表現（latents）および条件付けデータを用いて、拡散モデル上に LoRA（低ランク適応：Low-Rank Adaptation）モデルを作成・学習します。このノードにより、カスタムの学習パラメーター、オプティマイザー、損失関数を用いたモデルのファインチューニングが可能です。ノードの出力には、学習済み LoRA の重み、学習時の損失履歴、および完了した総学習ステップ数が含まれます。

## 入力

| パラメーター | データ型 | 必須 | 範囲 | 説明 |
|-----------|-----------|----------|-------|-------------|
| `model` | MODEL | はい | - | LoRA を学習させる対象となるモデルです。 |
| `latents` | LATENT | はい | - | 学習に使用する潜在表現（latents）。モデルのデータセット／入力として機能します。 |
| `positive` | CONDITIONING | はい | - | 学習に使用する正の条件付けデータです。 |
| `model` | MODEL | はい | - | LoRA を学習させる対象となるベースモデルです。 |
| `latents` | LATENT | はい | - | 学習に使用する潜在表現。モデルのデータセット／入力として機能します。リスト入力に対応。 |
| `positive` | CONDITIONING | はい | - | 学習に使用する正の条件付けデータです。リスト入力に対応。 |
| `batch_size` | INT | はい | 1–10000 | 学習時に使用するバッチサイズ（デフォルト：1）。 |
| `grad_accumulation_steps` | INT | はい | 1–1024 | 学習時に使用する勾配蓄積ステップ数（デフォルト：1）。 |
| `steps` | INT | はい | 1–100000 | LoRA の学習を行うステップ数（デフォルト：16）。 |
| `learning_rate` | FLOAT | はい | 0.0000001–1.0 | 学習時に使用する学習率（デフォルト：0.0005）。 |
| `rank` | INT | はい | 1–128 | LoRA 層のランク（デフォルト：8）。 |
| `grad_accumulation_steps` | INT | はい | 1–1024 | 勾配蓄積ステップ数。複数ステップの勾配を蓄積してから重みを更新することで、VRAM を増やさずに大きなバッチサイズと同等の効果が得られます（デフォルト：1）。 |
| `steps` | INT | はい | 1–100000 | LoRA の学習を行う総ステップ数（デフォルト：16）。 |
| `learning_rate` | FLOAT | はい | 0.0000001–1.0 | 学習率（デフォルト：0.0005）。 |
| `rank` | INT | はい | 1–128 | LoRA 層のランク。値が高いほど多くの詳細をとらえますが、VRAM 使用量が増加します（デフォルト：8）。 |
| `optimizer` | COMBO | はい | "AdamW"<br />"Adam"<br />"SGD"<br />"RMSprop" | 学習時に使用するオプティマイザー（デフォルト："AdamW"）。 |
| `loss_function` | COMBO | はい | "MSE"<br />"L1"<br />"Huber"<br />"SmoothL1" | 学習時に使用する損失関数（デフォルト："MSE"）。 |
| `seed` | INT | はい | 0–18446744073709551615 | 学習時に使用するシード値（LoRA 重みの初期化およびノイズサンプリングにおけるジェネレーターで使用）（デフォルト：0）。 |
| `training_dtype` | COMBO | はい | "bf16"<br />"fp32" | 学習時に使用するデータ型（デフォルト："bf16"）。 |
| `lora_dtype` | COMBO | はい | "bf16"<br />"fp32" | LoRA に使用するデータ型（デフォルト："bf16"）。 |
| `algorithm` | COMBO | はい | 複数の選択肢あり | 学習時に使用するアルゴリズムです。 |
| `gradient_checkpointing` | BOOLEAN | はい | - | 学習時に勾配チェックポイントを使用するかどうか（デフォルト：True）。 |
| `existing_lora` | COMBO | はい | 複数の選択肢あり | 追加対象となる既存の LoRA です。「None」を指定すると新規 LoRA が作成されます（デフォルト："[None]"）。 |
| `seed` | INT | はい | 0–18446744073709551615 | LoRA 重みの初期化およびノイズサンプリングに使用するランダムシード（デフォルト：0）。 |
| `training_dtype` | COMBO | はい | "bf16"<br />"fp32"<br />"none" | 学習時に使用するデータ型。`none` はモデルのネイティブ精度を保持します。fp16 モデルの場合は GradScaler が自動的に有効になります（デフォルト："bf16"）。 |
| `lora_dtype` | COMBO | はい | "bf16"<br />"fp32" | LoRA 重みの保存に使用するデータ型（デフォルト："bf16"）。 |
| `quantized_backward` | BOOLEAN | はい | - | `training_dtype` が `none` で量化モデルを使用する場合、逆伝播で量化行列積を使用します（デフォルト：False）。 |
| `algorithm` | COMBO | はい | "LoRA"<br />"LoHa"<br />"LoKr"<br />"OFT" | 学習時に使用する重みアダプターアルゴリズム（デフォルト："LoRA"）。 |
| `gradient_checkpointing` | BOOLEAN | はい | - | 逆伝播時にアクティベーションを再計算して VRAM を削減するグラジエントチェックポイントを有効化します（デフォルト：True）。 |
| `checkpoint_depth` | INT | はい | 1–5 | グラジエントチェックポイントのモジュールネスト深度。深いほど VRAM 削減量が増加します（デフォルト：1）。 |
| `offloading` | BOOLEAN | はい | - | 学習中にモデルの重みを CPU にオフロードして VRAM を節約します。`gradient_checkpointing` の有効化が必要です（デフォルト：False）。 |
| `existing_lora` | COMBO | はい | 複数の選択肢あり | 既存の LoRA ファイルを選択してトレーニングを継続します。総ステップ数は自動的に累積されます。`[None]` は新規 LoRA の作成を意味します（デフォルト："[None]"）。 |
| `bucket_mode` | BOOLEAN | はい | - | 解像度バケットモードを有効化します。ResolutionBucket ノードからの入力が必要です（デフォルト：False）。 |
| `bypass_mode` | BOOLEAN | はい | - | 重みを直接変更せずフォワードフックでアダプターを適用します。量化モデルに対応（デフォルト：False）。 |

**注意：** 正の条件付けデータの数は、潜在表現画像の数と一致していなければなりません。複数の画像に対して正の条件付けデータが 1 つだけ与えられた場合、その条件付けデータは自動的にすべての画像に対して繰り返し使用されます。

## 出力

| 出力名 | データ型 | 説明 |
|-------------|-----------|-------------|
| `model_with_lora` | MODEL | 学習済み LoRA を適用済みの元のモデルです。 |
| `lora` | LORA_MODEL | 保存可能、あるいは他のモデルへ適用可能な学習済み LoRA の重みです。 |
| `loss` | LOSS_MAP | 時間経過に伴う学習損失値を格納した辞書です。 |
| `steps` | INT | 完了した総学習ステップ数（既存 LoRA からの先行ステップを含む）です。 |
| `lora` | LORA_MODEL | 学習済み LoRA の重み。LoraModelLoader ノードで保存または他のモデルに適用できます。 |
| `loss_map` | LOSS_MAP | 学習過程の損失履歴。LossGraphNode に接続して可視化できます。 |
| `steps` | INT | 完了した総学習ステップ数（既存 LoRA からの先行ステップを含む）。 |
Loading
Loading