In-Memory-Computing nutzt die höhere interne Bandbreite innerhalb von Speicherchips und vermeidet die lange Latenz zwischen DRAM und herkömmlichen Rechenkernen. Auf der Hot Chips 2026 stellte Samsung die LPDDR5X-PIM-Implementierung vor, bei der Processing-in-Memory-Blöcke (PIM) in jedem der 16 Bänke von LPDDR5X-Chips platziert werden, während die Kompatibilität mit Standard-Speichercontrollern gewahrt bleibt. Jeder PIM-Block enthält einen MAC-Baum mit Registerdateien und Steuerlogik, der auf DRAM-Bänke zugreift, ohne durch den externen Bus beschränkt zu sein.

Zusammen erreichen alle 16 Bänke 614 GB/s interne Bandbreite gegenüber 76,8 GB/s bei regulärem DRAM, das zwei Bänke parallel anspricht. Das MAC-Array hält vier INT8- oder FP8-Operationen pro Datentakt durch und erreicht paketweit 2,4 TOPS. Acht LPDDR5X-Chips würden 9,6 INT8 TOPS liefern, vergleichbar mit Intels Meteor Lake NPU.

Samsung behält das Standard-LPDDR5X-Protokoll bei, indem spezielle Zeilenadressen als MMIO-Steuerelemente fungieren. Der Einzelbank-Modus arbeitet normal, während der Mehrbank-Modus Befehle an alle 16 Bänke sendet. Der PIM-Register-Aktiviert-Modus leitet Lese-/Schreibbefehle an PIM-Register statt an DRAM um.

Die Software lädt Modellgewichte im Einzelbank-Modus, wechselt dann in den Mehrbank-Modus, um Aktivierungswerte in PIM-Quellregister zu schreiben, Skalierungsfaktoren festzulegen und Operationen über Instruktionsregister anzugeben. Dies schafft einen eingeschränkten SIMD-Prozessor im Speicher.