HeadlinesBriefing favicon HeadlinesBriefing.com

Model Mirip Jev Reverse-Engineering: Penilaian Opsi

Hacker News •
×

Latih model kecil yang memilih di antara daftar opsi teks yang berubah. Model mirip Jev menerima sepotong teks dan daftar N opsi teks. Model ini mengembalikan satu probabilitas untuk setiap opsi dalam satu lintasan alih-alih menulis jawaban kata demi kata. Jev adalah model komersial Type Safe untuk tugas ini, tetapi Type Safe belum mempublikasikan desainnya. Repositori ini adalah model starter independen dengan bentuk input dan output yang sama.

Kepala atensi opsi yang sama dapat menilai tombol pengontrol dari patch gambar. Film sepuluh detik menggabungkan dua jendela lima detik yang dipilih: pertempuran deadly_corridor yang mematikan secara langsung pada tujuh tombol Doom, lalu pengontrol catur yang berjalan ke langkah dan memainkannya dengan lima tombol. Jendela Doom berasal dari checkpoint gabungan yang disediakan, yang rata-rata mencetak 0,60 kill dan -97,50 reward di sepuluh episode yang direkam. Jendela catur berasal dari checkpoint khusus catur yang lebih kuat, yang mencetak 4 kemenangan, 46 seri dan 0 kekalahan dalam 50 permainan sampel melawan penggerak acak, tetapi 0 kemenangan, 2 seri dan 48 kekalahan melawan Stockfish level 0. Jendela dipilih untuk aktivitas dan bukan klaim permainan tipikal atau kompetensi.

Instal ekstra game dan rekam jejak Doom 640 kali 480 yang baru dari checkpoint gabungan yang dirilis: uv pip install -e '.[games]' python examples/doom/play.py examples/checkpoints/joint-imitation.pt --episodes 10 --game-seconds 35.3 --device cpu --capture-resolution 640x480 --output runs/doom.mp4 --trace runs/doom-trace.json Render jejak dalam tata letak visual yang sama. Ini menulis film bisu karena sumber soundtrack milik penulis bukan bagian dari repositori. (cd examples/film && npm install && npx playwright install chromium) examples/film/make-film.sh runs/doom-trace.json runs/doom-film.mp4 10

Rilis ini mencakup contoh Doom, contoh catur, checkpoint satu permainan dan checkpoint 12 opsi bersama. Kedua game mengimpor penilai visual dari jevlike.vision; tidak ada salinan model kedua di kedua contoh. Arsitektur Setiap opsi menjadi vektor kueri, daftar angka pendek yang mewakili teksnya. Kueri menetapkan bobot atensi ke token konteks. Bobot tersebut membuat satu vektor konteks untuk opsi itu. Produk titik bersama mengubah setiap pasangan opsi dan konteks menjadi satu skor. Softmax berjalan di antara opsi. Encoder default mempelajari embedding byte dari awal. Jalur Hugging Face opsional menggunakan encoder terlatih yang dibekukan. Format data Gunakan satu objek JSON per baris: {"context":"The customer needs a refund.","options":["refund","sales","technical support"],"label":0} label adalah indeks berbasis nol dari opsi yang benar. Setiap baris dapat memiliki jumlah opsi yang berbeda, dengan minimum dua. Mulai cepat Jalankan perintah ini dari akar repositori: uv venv source .venv/bin/activate uv pip install -e '.[dev]' jevlike-data synthetic --output data/synthetic jevlike-train data/synthetic/train.jsonl --validation data/synthetic/validation.jsonl --output runs/synthetic.pt jevlike-eval runs/synthetic.pt data/synthetic/test.jsonl jevlike-predict runs/synthetic.pt --context "Choose the exact badge amber badger. Badge: amber badger." --option "azure crane" --option "amber badger" --option "gold heron" Evaluasi mencetak akurasi top-1, akurasi top-3, kesalahan kalibrasi yang diharapkan, dan kontrol konteks yang diacak. Gunakan data Anda sendiri: Ekspor file JSONL pelatihan, validasi dan pengujian dalam format di atas.

Entitas utama: Perusahaan: Type Safe