HeadlinesBriefing favicon HeadlinesBriefing.com

10 Kombinasi Model-Harness diuji pada Tugas Three.js

Hacker News •
×

Seorang pengembang menguji sepuluh kombinasi model dan harness yang berbeda untuk menghasilkan adegan hangar sci-fi Three.js dengan drone mengambang, lampu peringatan, dan garis landasan pacu yang dianimasikan. Menggunakan mode /goal dengan prompt yang identik di semua pengaturan, hasilnya bervariasi signifikan dalam waktu generasi dan kualitas output. Penyelesaian tercepat datang dari GLM 5.3 Flash Max Codex Open9m, yang selesai dalam 0,232 detik dengan 143.852 token output dan tingkat blokir 14,38%.

Sebaliknya, harness Qwen 3.8 27B x-high seperti Open Code dan DSH membutuhkan waktu 8 hingga 41 menit, menghasilkan antara 665 hingga 3,4 juta token. Hasil menunjukkan trade-off antara kecepatan dan volume token, dengan model GLM Flash mengutamakan efisiensi dan model Qwen memaksimalkan panjang output. Semua jalannya GLM menggunakan konfigurasi Flash Max Codex, sementara eksperimen Qwen menggunakan pengaturan x-high dan lingkungan eksekusi yang berbeda.

Pengujian ini memberikan tolok ukur perbandingan bagi pengembang yang mengevaluasi asisten koding AI pada prompt Three.js yang kompleks.