A computação na memória aproveita a maior largura de banda interna dentro dos chips de memória, evitando a longa latência entre DRAM e núcleos de computação tradicionais. No Hot Chips 2026, a Samsung detalhou sua implementação LPDDR5X-PIM, colocando blocos de Processamento na Memória (PIM) em cada um dos 16 bancos dos chips LPDDR5X, preservando a compatibilidade com controladores de memória padrão. Cada bloco PIM contém uma árvore MAC com arquivos de registradores e lógica de controle, acessando bancos DRAM sem ser limitado pelo barramento externo.

Juntos, todos os 16 bancos alcançam 614 GB/s de largura de banda interna versus 76,8 GB/s para DRAM regular acessando dois bancos em paralelo. O array MAC sustenta quatro operações INT8 ou FP8 por clock de dados, atingindo 2,4 TOPS no nível do pacote. Oito chips LPDDR5X renderiam 9,6 TOPS INT8, comparável ao NPU Meteor Lake da Intel.

A Samsung mantém o protocolo LPDDR5X padrão usando endereços de linha especiais atuando como controles MMIO. O modo de banco único opera normalmente, enquanto o modo multi-banco transmite comandos para todos os 16 bancos. O modo Registradores PIM Ativados redireciona comandos de leitura/escrita para registradores PIM em vez de DRAM.

O software carrega pesos do modelo no modo de banco único, então muda para o modo multi-banco para escrever valores de ativação nos registradores de origem PIM, definir fatores de escala e especificar operações via registradores de instrução. Isso cria um processador SIMD restrito dentro da memória.