Nous travaillons chez Alma Media au développement de solutions IA/ML pour les services de listes immobilières, où la plupart des photos arrivent sans aucune information sur ce qu'elles montrent. La recherche, les recommandations et les cas d'utilisation internes dépendent de la connaissance du fait qu'une image représente une cuisine, un plan d'étage ou un jardin. Au total, il y a 23 classes dans cette tâche classique de classification multilabel.

La confiance de classification est importante pour décider quoi retourner, surtout lorsqu'il s'agit de distinguer le sujet principal des éléments d'arrière-plan. Bien que les API tierces utilisant des modèles vision-langage soient un standard moderne, nous avons affiné google/siglip-base-patch16-224 pour répondre à nos besoins. L'entraînement sur des modèles de base ViT open source nécessite d'évaluer si votre tâche peut être correctement formulée par prompt, si vous avez besoin de sorties JSON structurées et à quel point les scores de confiance sont critiques.

Les réponses dépendent de l'application. Si nous devons trouver toutes les photos montrant des cuisines, nous voulons aussi identifier les photos de salon qui montrent une cuisine en arrière-plan. Inversement, des requêtes utilisateur spécifiques nécessitent des résultats ciblés. L'affinage avec LoRA a résolu notre problème de sous-étiquetage, mais choisir cette voie dépend de votre contexte commercial spécifique.

Entités clés : Entreprises : Alma Media, Google, Meta | Emplacements : [ADDRESS]