Penulis postingan Hacker News ini, yang mengakui keahliannya dalam pengembangan model terbatas, menanggapi pembaca yang bertanya mengapa strands-decider-2B dibangun sebagai LLM yang dimodifikasi alih-alih encoder seperti BERT. Intuisinya adalah bahwa encoder dua arah, yang setiap tokennya direpresentasikan menggunakan token sebelumnya dan sesudahnya, seharusnya lebih unggul daripada model kausal yang hanya melihat ke belakang. Penulis mengakui bahwa proyek ini pada dasarnya menggunakan decoder sebagai encoder, sehingga pertanyaan tersebut wajar.
Untuk menguji hal ini, lima desain dibandingkan: v19, strands-decider final berbasis Qwen3.5; dua model encoder-decoder berbasis T5Gemma 2 dengan total parameter 2B dan 8B; serta dua varian hanya-encoder yang diturunkan dari T5Gemma, salah satunya menggunakan cache status bertopeng agar beberapa pertanyaan dapat dievaluasi secara paralel. Model encoder-decoder 8B mengungguli v19 dalam akurasi dan skor Brier, tetapi ukurannya sekitar empat kali lebih besar sehingga perbandingannya tidak setara. Perbandingan yang lebih bermakna adalah v19 dengan encoder yang dioptimalkan untuk latensi, e1b, yang sedikit mengungguli v19 pada satu ukuran akurasi benchmark, meskipun masih dalam variasi antar-proses, dan sedikit lebih buruk dalam kalibrasi.
Dalam hal latensi, model hanya-encoder jelas unggul, dengan median sekitar 35 ms dibandingkan 65 ms untuk v19. Namun, keunggulan ini menyusut seiring prompt yang semakin panjang. Encoder menggunakan perhatian penuh di semua lapisan, yang skalanya kuadratik, sedangkan sebagian besar lapisan v19 menggunakan Gated Delta Net yang biayanya linear. Lapisan-lapisan ini memiliki biaya tetap yang lebih tinggi, tetapi skalanya lebih baik, sehingga menciptakan batas bawah latensi yang lebih tinggi. Karena beban kerja benchmark condong ke prompt pendek, encoder diuntungkan dalam praktiknya.
Encoder tanpa masker, e1a, mengungguli v19 pada tujuh dari sembilan tugas, tetapi berkinerja lebih buruk pada dua benchmark utama, yang menunjukkan bahwa membiarkan pertanyaan memperhatikan status tanpa masking mungkin menjadi kelemahan. Penulis menyimpulkan bahwa pendekatan encoder menjanjikan, tetapi bukan kemenangan yang jelas di semua aspek.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing