Qwen 3.8 27B теперь доступен на публичных конечных точках Cerebras, обеспечивая пропускную способность 1500 токенов/с. Эти конечные точки доступны через бесплатную пробную версию и уровни оплаты по мере использования, при условии ограничений скорости и ценообразования. Для выделенной мощности и производственных SLA Cerebras предлагает выделенные конечные точки.

Все модели на публичных конечных точках Cerebras являются оригинальными, без обрезки. Платформа не размещает обрезанные модели в своем общем API. Хотя Cerebras исследует методы обрезки, такие как REAP (обрезка активации экспертов с весами маршрутизатора), эти обрезанные модели публикуются на Hugging Face для исследований, но не обслуживаются через API.

Cerebras использует выборочное квантование только весов во время хранения для сохранения качества. Веса хранятся в частичных форматах 16 бит/8 бит/4 бита, при этом чувствительные слои сохраняются в полной точности и деквантуются на лету. Активации, внимание и KV-кэш остаются в полной точности и без квантования.

Cerebras обязуется обслуживать оригинальные модели без архитектурных изменений. Будущие методы сжатия будут предлагаться как отдельные конечные точки с конкретными названиями. Обрезанные модели REAP доступны на Hugging Face для исследований, но не в производстве.

Ключевые сущности: Компании: Cerebras, Hugging Face