Pesquisa Aleph Alpha No Dia da Reunificação Alemã, a empresa de IA Aleph Alpha lançou Kolibri, um novo modelo Transformer de peso aberto baseado em mistura de especialistas com 78B parâmetros totais e 3B parâmetros ativos. O modelo suporta comprimentos de contexto de até 1M tokens e é lançado sob a licença Apache 2.0 por meio do Hugging Face. Kolibri representa uma evolução significativa em relação ao modelo anterior Kolibri Origin da empresa, um modelo de 30B parâmetros com uma janela de contexto de 65k tokens.
A equipe de desenvolvimento aproveitou um pipeline de treinamento robusto para executar centenas de experimentos de ablação e alcançar um pré-treinamento estável apesar de falhas de hardware. Kolibri é especializado em língua alemã, raciocínio, matemática e comportamento agente, direcionado a trabalhos soberanos críticos em setores regulados como administração pública, indústrias e aeroespacial. O modelo otimiza a relação entre capacidade e custos de implantação, posicionando-se na fronteira de Pareto para qualidade versus custo de serviço tanto em inglês quanto em alemão.
Aleph Alpha enfatiza a plena integridade e transparência da cadeia de suprimentos, oferecendo aos clientes liberdade de implantação e segurança de propriedade intelectual como propriedades de conformidade herdadas. O pequeno e eficiente tamanho do modelo permite que ele funcione efetivamente no local, evitando a necessidade de enviar dados internos para serviços de inferência de terceiros. Leia o relatório técnico completo para uma análise detalhada dos benchmarks.
Fonte: Hacker News · Resumido por HeadlinesBriefing