Qwen 3.8 27B ist jetzt auf öffentlichen Cerebras-Endpunkten verfügbar und bietet einen Durchsatz von 1500 Tokens/s. Diese Endpunkte sind über kostenlose Test- und nutzungsbasierte Tarife zugänglich, abhängig von Ratenbegrenzungen und Preisen. Für dedizierte Kapazität und Produktions-SLAs bietet Cerebras dedizierte Endpunkte.

Alle Modelle auf öffentlichen Cerebras-Endpunkten sind Originalversionen ohne Beschneidung. Die Plattform hostet keine beschnittenen Modelle auf ihrer gemeinsamen API. Obwohl Cerebras Beschneidungstechniken wie REAP (Router-gewichtete Expertenaktivierungs-Beschneidung) erforscht, werden diese beschnittenen Modelle auf Hugging Face für Forschung geteilt, aber nicht über die API bereitgestellt.

Cerebras verwendet selektive Gewichts-Quantisierung während der Speicherung, um Qualität zu erhalten. Gewichte werden in partiellen 16-Bit/8-Bit/4-Bit-Formaten gespeichert, wobei empfindliche Schichten in voller Präzision gehalten und im laufenden Betrieb dequantisiert werden. Aktivierungen, Aufmerksamkeit und KV-Cache bleiben in voller Präzision und unquantisiert.

Cerebras verpflichtet sich, Originalmodelle ohne architektonische Änderungen bereitzustellen. Zukünftige Kompressionstechniken würden als separate Endpunkte mit spezifischen Namen angeboten. REAP-beschnittene Modelle sind auf Hugging Face für Forschung verfügbar, aber nicht in der Produktion.

Wichtige Entitäten: Unternehmen: Cerebras, Hugging Face