Komputasi di memori memanfaatkan bandwidth internal yang lebih tinggi di dalam chip memori, menghindari latensi panjang antara DRAM dan inti komputasi tradisional. Di Hot Chips 2026, Samsung mendetailkan implementasi LPDDR5X-PIM-nya, menempatkan blok Processing-in-Memory (PIM) di masing-masing 16 bank chip LPDDR5X sambil mempertahankan kompatibilitas dengan kontroler memori standar. Setiap blok PIM berisi pohon MAC dengan file register dan logika kontrol, mengakses bank DRAM tanpa dibatasi oleh bus eksternal.

Bersama-sama, semua 16 bank mencapai bandwidth internal 614 GB/s versus 76,8 GB/s untuk DRAM reguler yang mengakses dua bank secara paralel. Array MAC mempertahankan empat operasi INT8 atau FP8 per clock data, mencapai 2,4 TOPS level paket. Delapan chip LPDDR5X akan menghasilkan 9,6 TOPS INT8, setara dengan NPU Meteor Lake Intel.

Samsung mempertahankan protokol LPDDR5X standar menggunakan alamat baris khusus yang bertindak sebagai kontrol MMIO. Mode single-bank beroperasi normal, sedangkan mode multi-bank menyiarkan perintah ke semua 16 bank. Mode Register PIM Diaktifkan mengarahkan ulang perintah baca/tulis ke register PIM, bukan DRAM.

Perangkat lunak memuat bobot model di mode single-bank, lalu beralih ke mode multi-bank untuk menulis nilai aktivasi ke register sumber PIM, menetapkan faktor skala, dan menentukan operasi melalui register instruksi. Ini menciptakan prosesor SIMD terbatas di dalam memori.