|
| 1 | +`CLIPMergeSimple` est un nœud avancé de fusion de modèles utilisé pour combiner deux modèles d'encodeur de texte CLIP selon un ratio spécifié. |
| 2 | + |
1 | 3 | Ce nœud se spécialise dans la fusion de deux modèles CLIP selon un ratio spécifié, mélangeant efficacement leurs caractéristiques. Il applique sélectivement des patches d'un modèle à un autre, en excluant des composants spécifiques comme les IDs de position et l'échelle des logits, pour créer un modèle hybride qui combine les caractéristiques des deux modèles sources. |
2 | 4 |
|
3 | 5 | ## Entrées |
4 | 6 |
|
5 | 7 | | Paramètre | Type de Donnée | Description | |
6 | 8 | |-----------|-------------|-------------| |
7 | | -| `clip1` | `CLIP` | Le premier modèle CLIP à fusionner. Il sert de modèle de base pour le processus de fusion. | |
8 | | -| `clip2` | `CLIP` | Le second modèle CLIP à fusionner. Ses patches clés, à l'exception des IDs de position et de l'échelle des logits, sont appliqués au premier modèle selon le ratio spécifié. | |
9 | | -| `ratio` | `FLOAT` | Détermine la proportion de caractéristiques du second modèle à intégrer dans le premier modèle. Un ratio de 1.0 signifie adopter entièrement les caractéristiques du second modèle, tandis que 0.0 conserve uniquement les caractéristiques du premier modèle. | |
| 9 | +| clip1 | CLIP | Le premier modèle CLIP à fusionner. Il sert de modèle de base pour le processus de fusion. | |
| 10 | +| clip2 | CLIP | Le second modèle CLIP à fusionner. Ses patches clés, à l'exception des IDs de position et de l'échelle des logits, sont appliqués au premier modèle selon le ratio spécifié. | |
| 11 | +| ratio | FLOAT | Plage `0.0 - 1.0`, détermine la proportion de caractéristiques du second modèle à intégrer dans le premier modèle. Un ratio de 1.0 signifie adopter entièrement les caractéristiques du second modèle, tandis que 0.0 conserve uniquement les caractéristiques du premier modèle. | |
10 | 12 |
|
11 | 13 | ## Sorties |
12 | 14 |
|
13 | 15 | | Paramètre | Type de Donnée | Description | |
14 | 16 | |-----------|-------------|-------------| |
15 | | -| `clip` | CLIP | Le modèle CLIP fusionné résultant, incorporant des caractéristiques des deux modèles d'entrée selon le ratio spécifié. | |
| 17 | +| clip | CLIP | Le modèle CLIP fusionné résultant, incorporant des caractéristiques des deux modèles d'entrée selon le ratio spécifié. | |
| 18 | + |
| 19 | +## Explication du Mécanisme de Fusion |
| 20 | + |
| 21 | +### Algorithme de Fusion |
| 22 | + |
| 23 | +Le nœud utilise une moyenne pondérée pour fusionner les deux modèles : |
| 24 | + |
| 25 | +1. **Clonage du Modèle de Base** : Clone d'abord clip1 comme modèle de base |
| 26 | +2. **Obtention des Patches** : Obtient tous les patches clés de clip2 |
| 27 | +3. **Filtrage des Clés Spéciales** : Ignore les clés se terminant par `.position_ids` et `.logit_scale` |
| 28 | +4. **Application de la Fusion Pondérée** : Utilise la formule `(1.0 - ratio) * clip1 + ratio * clip2` |
| 29 | + |
| 30 | +### Explication du Paramètre Ratio |
| 31 | + |
| 32 | +- **ratio = 0.0** : Utilise entièrement clip1, ignore clip2 |
| 33 | +- **ratio = 0.5** : Contribution de 50% de chaque modèle |
| 34 | +- **ratio = 1.0** : Utilise entièrement clip2, ignore clip1 |
| 35 | + |
| 36 | +## Cas d'Utilisation |
| 37 | + |
| 38 | +1. **Fusion de Styles de Modèles** : Combiner les caractéristiques des modèles CLIP entraînés sur différentes données |
| 39 | +2. **Optimisation des Performances** : Équilibrer les forces et les faiblesses de différents modèles |
| 40 | +3. **Recherche Expérimentale** : Explorer les combinaisons de différents encodeurs CLIP |
0 commit comments