HeadlinesBriefing favicon HeadlinesBriefing.com

27.5KB WebGPU Syntax Highlighter gpu-lexer

Hacker News •
×

gpu-lexer adalah WebGPU Syntax Highlighter yang independen bahasa dengan ukuran 27.5KB, membagi kode sumber menjadi bagian dan menggunakan model GPU kecil untuk menandai setiap token dari konteks sekitar, tanpa bergantung pada grammatik khusus bahasa. Bahkan untuk bahasa atau sintaks yang tidak terlihat, juga dapat menebak jenis token. Pada file yang dijaga, 12.57% label tokennya berbeda dengan Shiki, mengukur kesepakatan—bukan kesalahan.

Benchmark performa pada 10× three.min.js (5.56M karakter) menunjukkan runtime browser yang kompetitif. Ukuran paket tetap minimal di semua bahasa, menggunakan paket yang sama yang dikompresi untuk JavaScript, TypeScript, CSS, HTML, JSON, dan Markdown. Berbeda dengan Shiki, Prism.js, atau Highlight.js, tidak mengembalikan HTML tetapi token span.

Alat ini adalah eksperimen, bukan pengganti highlighter berbasis grammatik. Skor dipertimbangkan oleh popularitas bahasa dari GitHub Innovation Graph top 25 untuk 2026-Q1. Demo langsung mendukung 75 bahasa.

Metrik kunci: 27.5KB paket, 12.57% label token berbeda dengan Shiki, diuji pada MacBook Pro dengan M4 Pro GPU.