Les images et les modèles vidéo ont beaucoup progressé ces dernières années, même si l'intérieur de ces modèles n'a pas beaucoup changé depuis Stable Diffusion 3. Bien sûr, il y a eu de petites variantes comme la diffusion auto-régressive popularisée par GPT-Image. Mais à un niveau élevé, c'est essentiellement du flux matching avec un backbone de transformers et un objectif v-prediction.
Dans notre expérience, la plupart des gains sont directement attribuables à 3 saveurs d'améliorations de données : Filtre & Rebalancement des données, Annotation de données, et Génération de données synthétiques. Le RL a entraîné quelques améliorations, mais il ne fonctionne vraiment que pour l'image et la vidéo depuis quelques mois seulement.
Il y a quelques années, la sagesse répandue parmi tous les modèles génératifs était d'agréger autant de données que possible pour le pré-entraînement. Heureusement, le domaine est devenu beaucoup plus intelligent à ce sujet. Si vous jetez beaucoup de données de mauvaise qualité dans le pré-entraînement, votre modèle gaspillera sa capacité à apprendre à imiter cette tranche de données. Si vous filtrez bien votre ensemble de données, votre modèle aura plus facile à apprendre ce que vous voulez qu'il apprenne.
Nous vous guidons à travers l'évolution de notre approche de filtrage de données depuis 2024, et espérons vous éviter quelques maux de tête si vous finissez par entraîner vos propres modèles génératifs plus tard.
Source: Hacker News · Résumé par HeadlinesBriefing