Skip to content

Commit be91f10

Browse files
comfyui-wikicomfyui-wiki
authored
Merge pull request #19 from Comfy-Org/ClipLoader
Update load Clip node docs
2 parents 158568c + 4110fc1 commit be91f10

File tree

7 files changed

+448
-28
lines changed

7 files changed

+448
-28
lines changed

‎comfyui_embedded_docs/docs/ClipLoader/en.md‎

Lines changed: 62 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -1,14 +1,72 @@
1-
The CLIPLoader node is designed for loading CLIP models, supporting different types such as stable diffusion and stable cascade. It abstracts the complexities of loading and configuring CLIP models for use in various applications, providing a streamlined way to access these models with specific configurations.
1+
This node is primarily used for loading CLIP text encoder models independently.
2+
The model files can be detected in the following paths:
3+
4+
- "ComfyUI/models/text_encoders/"
5+
- "ComfyUI/models/clip/"
6+
7+
> If you save a model after ComfyUI has started, you'll need to refresh the ComfyUI frontend to get the latest model file path list
8+
9+
Supported model formats:
10+
11+
- `.ckpt`
12+
- `.pt`
13+
- `.pt2`
14+
- `.bin`
15+
- `.pth`
16+
- `.safetensors`
17+
- `.pkl`
18+
- `.sft`
19+
20+
For more details on the latest model file loading, please refer to [folder_paths](https://github.com/comfyanonymous/ComfyUI/blob/master/folder_paths.py)
221

322
## Inputs
423

524
| Parameter | Data Type | Description |
625
|---------------|---------------|-------------|
726
| `clip_name` | COMBO[STRING] | Specifies the name of the CLIP model to be loaded. This name is used to locate the model file within a predefined directory structure. |
8-
| `type` | COMBO[STRING] | Determines the type of CLIP model to load, offering options between 'stable_diffusion' and 'stable_cascade'. This affects how the model is initialized and configured. |
27+
| `type` | COMBO[STRING] | Determines the type of CLIP model to load. As ComfyUI supports more models, new types will be added here. Please check the `CLIPLoader` class definition in [node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py) for details. |
28+
| `device` | COMBO[STRING] | Choose the device for loading the CLIP model. `default` will run the model on GPU, while selecting `CPU` will force loading on CPU. |
29+
30+
### Device Options Explained
31+
32+
**When to choose "default":**
33+
34+
- Have sufficient GPU memory
35+
- Want the best performance
36+
- Let the system optimize memory usage automatically
37+
38+
**When to choose "cpu":**
39+
40+
- Insufficient GPU memory
41+
- Need to reserve GPU memory for other models (like UNet)
42+
- Running in a low VRAM environment
43+
- Debugging or special purpose needs
44+
45+
**Performance Impact**
46+
47+
Running on CPU will be much slower than GPU, but it can save valuable GPU memory for other more important model components. In memory-constrained environments, putting the CLIP model on CPU is a common optimization strategy.
48+
49+
### Supported Combinations
50+
51+
| Model Type | Corresponding Encoder |
52+
|------------|---------------------|
53+
| stable_diffusion | clip-l |
54+
| stable_cascade | clip-g |
55+
| sd3 | t5 xxl/ clip-g / clip-l |
56+
| stable_audio | t5 base |
57+
| mochi | t5 xxl |
58+
| cosmos | old t5 xxl |
59+
| lumina2 | gemma 2 2B |
60+
| wan | umt5 xxl |
61+
62+
As ComfyUI updates, these combinations may expand. For details, please refer to the `CLIPLoader` class definition in [node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py)
963

1064
## Outputs
1165

12-
| Parameter | Data Type | Description |
13-
|-----------|-------------|-------------|
66+
| Parameter | Data Type | Description |
67+
|-----------|-----------|-------------|
1468
| `clip` | CLIP | The loaded CLIP model, ready for use in downstream tasks or further processing. |
69+
70+
## Additional Notes
71+
72+
CLIP models play a core role as text encoders in ComfyUI, responsible for converting text prompts into numerical representations that diffusion models can understand. You can think of them as translators, responsible for translating your text into a language that large models can understand. Of course, different models have their own "dialects," so different CLIP encoders are needed between different architectures to complete the text encoding process.

‎comfyui_embedded_docs/docs/ClipLoader/es.md‎

Lines changed: 61 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1,14 +1,72 @@
1-
El nodo Cargador CLIP está diseñado para cargar modelos CLIP, soportando diferentes tipos como difusión estable y cascada estable. Este nodo abstrae las complejidades de cargar y configurar modelos CLIP para su uso en diversas aplicaciones, proporcionando una forma simplificada de acceder a estos modelos con configuraciones específicas.
1+
Este nodo se utiliza principalmente para cargar modelos de codificador de texto CLIP de forma independiente.
2+
Los archivos de modelo se pueden detectar en las siguientes rutas:
3+
4+
- "ComfyUI/models/text_encoders/"
5+
- "ComfyUI/models/clip/"
6+
7+
> Si guardas un modelo después de haber iniciado ComfyUI, necesitarás actualizar el frontend de ComfyUI para obtener la lista más reciente de rutas de archivos de modelo
8+
9+
Formatos de modelo soportados:
10+
11+
- `.ckpt`
12+
- `.pt`
13+
- `.pt2`
14+
- `.bin`
15+
- `.pth`
16+
- `.safetensors`
17+
- `.pkl`
18+
- `.sft`
19+
20+
Para más detalles sobre la carga de archivos de modelo más recientes, consulta [folder_paths](https://github.com/comfyanonymous/ComfyUI/blob/master/folder_paths.py)
221

322
## Entradas
423

524
| Parámetro | Tipo de Dato | Descripción |
625
|---------------|---------------|-------------|
7-
| `clip_name` | COMBO[STRING] | Especifica el nombre del modelo CLIP que se va a cargar. Este nombre se utiliza para localizar el archivo del modelo dentro de una estructura de directorios predefinida. |
8-
| `type` | COMBO[STRING] | Determina el tipo de modelo CLIP a cargar, ofreciendo opciones entre 'difusión_estable' y 'cascada_estable'. Esto afecta cómo se inicializa y configura el modelo. |
26+
| `nombre_clip` | COMBO[STRING] | Especifica el nombre del modelo CLIP que se va a cargar. Este nombre se utiliza para localizar el archivo del modelo dentro de una estructura de directorios predefinida. |
27+
| `tipo` | COMBO[STRING] | Determina el tipo de modelo CLIP a cargar. A medida que ComfyUI admite más modelos, se añadirán nuevos tipos aquí. Consulta la definición de la clase `CLIPLoader` en [node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py) para más detalles. |
28+
| `dispositivo` | COMBO[STRING] | Elige el dispositivo para cargar el modelo CLIP. `default` ejecutará el modelo en GPU, mientras que seleccionar `CPU` forzará la carga en CPU. |
29+
30+
### Opciones de Dispositivo Explicadas
31+
32+
**Cuándo elegir "default":**
33+
34+
- Tienes suficiente memoria GPU
35+
- Quieres el mejor rendimiento
36+
- Dejas que el sistema optimice automáticamente el uso de memoria
37+
38+
**Cuándo elegir "cpu":**
39+
40+
- Memoria GPU insuficiente
41+
- Necesitas reservar memoria GPU para otros modelos (como UNet)
42+
- Ejecutando en un entorno con poca VRAM
43+
- Necesidades de depuración o propósitos especiales
44+
45+
**Impacto en el Rendimiento**
46+
47+
La ejecución en CPU será mucho más lenta que en GPU, pero puede ahorrar valiosa memoria GPU para otros componentes más importantes del modelo. En entornos con restricciones de memoria, poner el modelo CLIP en CPU es una estrategia de optimización común.
48+
49+
### Combinaciones Soportadas
50+
51+
| Tipo de Modelo | Codificador Correspondiente |
52+
|----------------|----------------------------|
53+
| stable_diffusion | clip-l |
54+
| stable_cascade | clip-g |
55+
| sd3 | t5 xxl/ clip-g / clip-l |
56+
| stable_audio | t5 base |
57+
| mochi | t5 xxl |
58+
| cosmos | old t5 xxl |
59+
| lumina2 | gemma 2 2B |
60+
| wan | umt5 xxl |
61+
62+
A medida que ComfyUI se actualiza, estas combinaciones pueden expandirse. Para más detalles, consulta la definición de la clase `CLIPLoader` en [node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py)
963

1064
## Salidas
1165

1266
| Parámetro | Tipo de Dato | Descripción |
1367
|-----------|--------------|-------------|
1468
| `clip` | CLIP | El modelo CLIP cargado, listo para su uso en tareas posteriores o procesamiento adicional. |
69+
70+
## Notas Adicionales
71+
72+
Los modelos CLIP juegan un papel fundamental como codificadores de texto en ComfyUI, siendo responsables de convertir los prompts de texto en representaciones numéricas que los modelos de difusión pueden entender. Puedes pensar en ellos como traductores, responsables de traducir tu texto a un lenguaje que los modelos grandes pueden entender. Por supuesto, diferentes modelos tienen sus propios "dialectos", por lo que se necesitan diferentes codificadores CLIP entre diferentes arquitecturas para completar el proceso de codificación de texto.

‎comfyui_embedded_docs/docs/ClipLoader/fr.md‎

Lines changed: 64 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,14 +1,72 @@
1-
Le nœud CLIPLoader est conçu pour charger les modèles CLIP, supportant différents types tels que stable diffusion et stable cascade. Il simplifie les complexités du chargement et de la configuration des modèles CLIP pour une utilisation dans diverses applications, offrant un moyen simplifié d'accéder à ces modèles avec des configurations spécifiques.
1+
Ce nœud est principalement utilisé pour charger indépendamment les modèles d'encodeur de texte CLIP.
2+
Les fichiers de modèle peuvent être détectés dans les chemins suivants :
3+
4+
- "ComfyUI/models/text_encoders/"
5+
- "ComfyUI/models/clip/"
6+
7+
> Si vous sauvegardez un modèle après le démarrage de ComfyUI, vous devrez actualiser l'interface frontend de ComfyUI pour obtenir la liste la plus récente des chemins de fichiers de modèle
8+
9+
Formats de modèle pris en charge :
10+
11+
- `.ckpt`
12+
- `.pt`
13+
- `.pt2`
14+
- `.bin`
15+
- `.pth`
16+
- `.safetensors`
17+
- `.pkl`
18+
- `.sft`
19+
20+
Pour plus de détails sur le chargement des fichiers de modèle les plus récents, consultez [folder_paths](https://github.com/comfyanonymous/ComfyUI/blob/master/folder_paths.py)
221

322
## Entrées
423

524
| Paramètre | Type de Donnée | Description |
6-
|---------------|--------------|-------------|
7-
| `clip_name` | COMBO[STRING] | Spécifie le nom du modèle CLIP à charger. Ce nom est utilisé pour localiser le fichier du modèle dans une structure de répertoire prédéfinie. |
8-
| `type` | COMBO[STRING] | Détermine le type de modèle CLIP à charger, offrant des options entre 'stable_diffusion' et 'stable_cascade'. Cela affecte la manière dont le modèle est initialisé et configuré. |
25+
|---------------|----------------|-------------|
26+
| `nom_clip` | COMBO[STRING] | Spécifie le nom du modèle CLIP à charger. Ce nom est utilisé pour localiser le fichier du modèle dans une structure de répertoire prédéfinie. |
27+
| `type` | COMBO[STRING] | Détermine le type de modèle CLIP à charger. À mesure que ComfyUI prend en charge plus de modèles, de nouveaux types seront ajoutés ici. Consultez la définition de la classe `CLIPLoader` dans [node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py) pour plus de détails. |
28+
| `appareil` | COMBO[STRING] | Choisit l'appareil pour charger le modèle CLIP. `default` exécutera le modèle sur GPU, tandis que la sélection de `CPU` forcera le chargement sur CPU. |
29+
30+
### Options d'Appareil Expliquées
31+
32+
**Quand choisir "default" :**
33+
34+
- Vous avez suffisamment de mémoire GPU
35+
- Vous voulez les meilleures performances
36+
- Vous laissez le système optimiser automatiquement l'utilisation de la mémoire
37+
38+
**Quand choisir "cpu" :**
39+
40+
- Mémoire GPU insuffisante
41+
- Besoin de réserver de la mémoire GPU pour d'autres modèles (comme UNet)
42+
- Exécution dans un environnement avec peu de VRAM
43+
- Besoins de débogage ou fins spéciales
44+
45+
**Impact sur les Performances**
46+
47+
L'exécution sur CPU sera beaucoup plus lente que sur GPU, mais peut économiser de la précieuse mémoire GPU pour d'autres composants plus importants du modèle. Dans les environnements avec des contraintes de mémoire, placer le modèle CLIP sur CPU est une stratégie d'optimisation courante.
48+
49+
### Combinaisons Prises en Charge
50+
51+
| Type de Modèle | Encodeur Correspondant |
52+
|----------------|------------------------|
53+
| stable_diffusion | clip-l |
54+
| stable_cascade | clip-g |
55+
| sd3 | t5 xxl/ clip-g / clip-l |
56+
| stable_audio | t5 base |
57+
| mochi | t5 xxl |
58+
| cosmos | old t5 xxl |
59+
| lumina2 | gemma 2 2B |
60+
| wan | umt5 xxl |
61+
62+
À mesure que ComfyUI se met à jour, ces combinaisons peuvent s'étendre. Pour plus de détails, consultez la définition de la classe `CLIPLoader` dans [node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py)
963

1064
## Sorties
1165

1266
| Paramètre | Type de Donnée | Description |
13-
|-----------|-------------|-------------|
14-
| `clip` | CLIP | Le modèle CLIP chargé, prêt à être utilisé dans des tâches en aval ou pour un traitement ultérieur. |
67+
|-----------|---------------|-------------|
68+
| `clip` | CLIP | Le modèle CLIP chargé, prêt à être utilisé dans des tâches en aval ou pour un traitement ultérieur. |
69+
70+
## Notes Supplémentaires
71+
72+
Les modèles CLIP jouent un rôle fondamental en tant qu'encodeurs de texte dans ComfyUI, responsables de la conversion des prompts textuels en représentations numériques que les modèles de diffusion peuvent comprendre. Vous pouvez les considérer comme des traducteurs, chargés de traduire votre texte dans un langage que les grands modèles peuvent comprendre. Bien sûr, différents modèles ont leurs propres "dialectes", donc différents encodeurs CLIP sont nécessaires entre différentes architectures pour compléter le processus d'encodage de texte.

‎comfyui_embedded_docs/docs/ClipLoader/ja.md‎

Lines changed: 64 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,14 +1,72 @@
1-
CLIPLoaderノードは、CLIPモデルをロードするために設計されており、stable diffusionやstable cascadeなどの異なるタイプをサポートしています。CLIPモデルのロードと設定の複雑さを抽象化し、特定の設定でこれらのモデルにアクセスするための効率的な方法を提供します。
1+
このノードは、主にCLIPテキストエンコーダーモデルを単独でロードするために使用されます。
2+
モデルファイルは以下のパスで検出できます：
3+
4+
- "ComfyUI/models/text_encoders/"
5+
- "ComfyUI/models/clip/"
6+
7+
> ComfyUI起動後にモデルを保存した場合、最新のモデルファイルパスリストを取得するためにComfyUIフロントエンドを更新する必要があります
8+
9+
サポートされているモデル形式：
10+
11+
- `.ckpt`
12+
- `.pt`
13+
- `.pt2`
14+
- `.bin`
15+
- `.pth`
16+
- `.safetensors`
17+
- `.pkl`
18+
- `.sft`
19+
20+
最新のモデルファイルのロードについての詳細は[folder_paths](https://github.com/comfyanonymous/ComfyUI/blob/master/folder_paths.py)を参照してください
221

322
## 入力
423

524
| パラメータ | データ型 | 説明 |
6-
|---------------|--------------|------|
7-
| `clip_name` | COMBO[STRING] | ロードするCLIPモデルの名前を指定します。この名前は、事前定義されたディレクトリ構造内でモデルファイルを見つけるために使用されます。 |
8-
| `type` | COMBO[STRING] | ロードするCLIPモデルのタイプを決定し、'stable_diffusion'と'stable_cascade'のオプションを提供します。これにより、モデルの初期化と設定が影響を受けます。 |
25+
|---------------|----------|------|
26+
| `clip名` | COMBO[STRING] | ロードするCLIPモデルの名前を指定します。この名前は、事前定義されたディレクトリ構造内でモデルファイルを見つけるために使用されます。 |
27+
| `タイプ` | COMBO[STRING] | ロードするCLIPモデルのタイプを決定します。ComfyUIがサポートするモデルが増えるにつれて、新しいタイプがここに追加されます。詳細については[node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py)の`CLIPLoader`クラスの定義を参照してください。 |
28+
| `デバイス` | COMBO[STRING] | CLIPモデルをロードするデバイスを選択します。`default`はGPUでモデルを実行し、`CPU`を選択するとCPUでの強制ロードを行います。 |
29+
30+
### デバイスオプションの説明
31+
32+
**"default"を選択する場合：**
33+
34+
- 十分なGPUメモリがある
35+
- 最高のパフォーマンスを求める
36+
- システムにメモリ使用の最適化を任せる
37+
38+
**"cpu"を選択する場合：**
39+
40+
- GPUメモリが不足している
41+
- 他のモデル（UNetなど）のためにGPUメモリを確保する必要がある
42+
- 低VRAMの環境で実行する
43+
- デバッグや特別な目的が必要
44+
45+
**パフォーマンスへの影響**
46+
47+
CPU上での実行はGPUよりもかなり遅くなりますが、他の重要なモデルコンポーネントのために貴重なGPUメモリを節約できます。メモリに制約のある環境では、CLIPモデルをCPUに配置することは一般的な最適化戦略です。
48+
49+
### サポートされている組み合わせ
50+
51+
| モデルタイプ | 対応するエンコーダー |
52+
|-------------|-------------------|
53+
| stable_diffusion | clip-l |
54+
| stable_cascade | clip-g |
55+
| sd3 | t5 xxl/ clip-g / clip-l |
56+
| stable_audio | t5 base |
57+
| mochi | t5 xxl |
58+
| cosmos | old t5 xxl |
59+
| lumina2 | gemma 2 2B |
60+
| wan | umt5 xxl |
61+
62+
ComfyUIの更新に伴い、これらの組み合わせは拡張される可能性があります。詳細については[node.py](https://github.com/comfyanonymous/ComfyUI/blob/master/nodes.py)の`CLIPLoader`クラスの定義を参照してください。
963

1064
## 出力
1165

1266
| パラメータ | データ型 | 説明 |
13-
|-----------|-------------|------|
14-
| `clip` | CLIP | 下流のタスクやさらなる処理に使用するために準備されたロード済みのCLIPモデル。 |
67+
|-----------|----------|------|
68+
| `clip` | CLIP | 下流のタスクやさらなる処理に使用するために準備されたロード済みのCLIPモデル。 |
69+
70+
## 補足説明
71+
72+
CLIPモデルはComfyUIでテキストエンコーダーとして重要な役割を果たし、テキストプロンプトを拡散モデルが理解できる数値表現に変換する責任があります。これを翻訳者のように考えることができ、テキストを大規模モデルが理解できる言語に翻訳する役割を担っています。もちろん、異なるモデルには独自の「方言」があるため、異なるアーキテクチャ間でテキストエンコーディングプロセスを完了するには、異なるCLIPエンコーダーが必要です。

0 commit comments

Comments
 (0)