HeadlinesBriefing favicon HeadlinesBriefing.com

Запуск больших моделей ИИ на дешевом оборудовании

ByteByteGo •
×

Аутентификация часто является наименее протестированной частью приложения. Живые среды требуют доступа к сети и реальных учетных данных, в то время как заглушки упускают отказы, которые ломают производство. @workos/emulate запускает API Work OS локально для разработки и CI. Засеивание пользователей, организаций, ролей RBAC и соединений SSO, затем тестирование полных потоков входа в систему Auth Kit, подписанных webhook, обновления токена и обработки ошибок. Ответы и формы событий come из спецификации API Work OS Open, поэтому тесты упражняют ту же самую поверхность, которую использует ваше приложение в производстве.

Представьте себе разработчика, который создает приложение на основе ИИ для помощи в кодировании, которое работает на настольном компьютере. Модель доступна для загрузки, приложение straightforward, а машина имеет достаточно места для хранения. Но когда программа пытается загрузить модель, у нее заканчивается память. Вот где локальная AI-разработка становится проблемой оборудования. Просто загрузив большую модель ИИ, мы не можем запустить ее. Даже если она загружена, полезное время ответа не гарантируется. Большая модель ИИ может работать на скромном оборудовании только за счет снижения использования памяти, снижения вычислений или перемещения работы на более медленное оборудование.

Several techniques help: Quantization gives each weight a smaller representation; Layer-wise offloading moves weights as needed; Mixture of experts uses selected parts per token; Distillation lets a larger model teach a smaller one; Pruning removes less-contributing work; Speculative decoding proposes several tokens before checking. An AI model contains parameters or weights that influence input-to-output mapping. An 8B model has ~8 billion weights organized into layers. Input text is divided into tokens, processed into probabilities for the next token. Inference uses trained weights unchanged, unlike training which requires expensive infrastructure.