O DeepInfer é um framework de inferência de alto desempenho que impulsiona os serviços de produção em larga escala da DeepSeek. Esta versão de código aberto oferece inferência offline com os recursos essenciais necessários para servir em escala. Atualmente suporta o DeepSeek-V4.1-Flash e roda em GPUs NVIDIA SM100 e NPUs Huawei Ascend 950.
O framework inclui kernels otimizados como Flash MLA, DeepGEMM, DeepEP, Tile Kernels e kernels personalizados em Tile Lang. Ele oferece suporte a paralelismo de dados de atenção, paralelismo de contexto balanceado, paralelismo de especialistas MoE com EPLB e agendamento assíncrono de lotes com sobrecarga zero.
Recursos avançados de decodificação incluem DSpark e verificação com agendamento por confiança, que aceleram a decodificação com tokens de rascunho, e o replay limitado SWA do decodificador, que reduz o trabalho de preenchimento (prefill).
O DeepInfer também oferece inferência invariante ao lote, que mantém os resultados do modelo idênticos entre diferentes composições de lotes em hardware NVIDIA, além de amostragem determinística e saídas estruturadas restritas por expressão regular, esquema JSON ou gramática EBNF.
Um serviço de inferência completo ainda exige componentes não incluídos nesta versão, como um sistema de cache KV, separação de prefill e decode e balanceamento de carga entre réplicas de paralelismo de dados. O projeto é lançado sob a licença Apache 2.0 e foi originalmente construído principalmente sobre o vLLM, com inspiração no SGLang e no TensorRT-LLM.
Fonte: Hacker News · Resumido por HeadlinesBriefing