Мы работаем в Alma Media, разрабатывая решения на базе ИИ/ML для сервисов размещения недвижимости, где большинство фотографий поступает без информации о том, что они показывают. Поиск, рекомендации и внутренние сценарии использования зависят от понимания того, представляет ли изображение кухню, план этажа или сад. Всего в этой классической задаче многоклассовой классификации существует 23 класса.

Уверенность в классификации важна при решении, что возвращать, особенно при различении фокуса переднего плана и элементов фона. Хотя сторонние API, использующие модели компьютерного зрения и языка, стали современным стандартом, мы выполнили тонкую настройку google/siglip-base-patch16-224 для удовлетворения наших потребностей. Обучение на открытых базовых моделях ViT требует оценки того, можно ли эффективно использовать промпты для вашей задачи, нужны ли вам структурированные выходные данные в формате JSON и насколько критичны баллы уверенности классификации.

Ответы зависят от приложения. Если нам нужно найти все фотографии с кухнями, мы также хотим идентифицировать фотографии гостиных, на которых кухня видна на заднем плане. Напротив, конкретные пользовательские запросы требуют сфокусированных результатов. Тонкая настройка с помощью LoRA решила нашу проблему недостаточной разметки, но выбор этого пути зависит от вашего конкретного бизнес-контекста.

Ключевые сущности: Компании: Alma Media, Google, Meta | Локации: [ADDRESS]