Pesquisa Aleph Alpha03/10/2026 No Dia da Reunificação Alemã, estamos lançando nosso novo modelo: Kolibri. Kolibri é um Transformer Mixture-of-Experts inglês-alemão com 78B parâmetros totais, 3B ativos. Ele suporta comprimentos de contexto de até 1M tokens. O modelo pode ser baixado com os pesos completos no Hugging Face e usado sob os termos da licença Apache 2.0.
Kolibri é o resultado de uma iteração contínua do nosso esforço de treinamento de modelos. Primeiro construímos uma pipeline de treinamento de modelo e a validamos construindo Kolibri Origin, um modelo de 30B total, 3B ativo com uma janela de contexto muito mais curta de 65k tokens. Kolibri passou pela mesma pipeline: da ingestão e curadoria de dados, através de ablações, pré-treinamento e pós-treinamento, até as avaliações finais.
Otimizamos Kolibri para o desempenho em uma ampla gama de setores, considerando suas particulares realidades de linguagem, regulatória e procedimentos específicos do domínio. Seu pequeno e eficiente tamanho oferece aos nossos clientes flexibilidade para executá-lo eficientemente on-premise, sem enviar dados internos para serviços de inferência de terceiros.
Entidades-chave: Empresas: Aleph Alpha
Fonte: Hacker News · Resumido por HeadlinesBriefing