Следующее конкурентное преимущество корпоративного ИИ зависит не столько от выбранной модели, сколько от того, что вы строите вокруг неё. По мере того как ИИ переходит от экспериментов к промышленной эксплуатации, главный вопрос сместился с «что может модель?» на «можем ли мы надёжно, экономично и в больших масштабах предоставлять этот интеллект?». Ответ всё больше зависит от сервисной обвязки: инженерной системы вокруг модели, включающей её архитектуру, управление памятью, планирование и решения по оптимизации.
Правильная отправная точка — рабочая нагрузка, а не модель. Клиентский ассистент, оптимизированный под быстрые ответы, имеет совсем иные требования, чем конвейер обработки документов, который может работать ночью. В промышленной эксплуатации возникают ограничения: задержка, параллелизм, нагрузка на память, загрузка GPU, стоимость инфраструктуры и непредсказуемый трафик. Модель, которая даёт немного лучшие ответы, но удваивает затраты на инференс или не укладывается в требования по задержке, не является лучшим выбором. Цель — развернуть нужный интеллект с нужными затратами для каждой рабочей нагрузки.
Решения по сервису также влияют друг на друга. Архитектура определяет использование памяти, память влияет на параллелизм, а параллелизм задаёт пакетную обработку, планирование и загрузку GPU. Память GPU — наглядный пример: с ростом параллелизма кэш ключей и значений может исчерпать доступную память, даже когда вычислительная мощность ещё есть. Добавление вычислений без выявления этого узкого места лишь делает неэффективную систему дороже.
Руководящий принцип — сначала измерять, затем оптимизировать: выявить доминирующее ограничение, устранить его, измерить результат и проверить, не возникло ли новое узкое место. Методы оптимизации не следует собирать ради них самих. Задача — применить тот метод, который устраняет ограничение с наибольшим влиянием для данной рабочей нагрузки.
Источник: MIT Technology Review AI · Сводку подготовил HeadlinesBriefing