HeadlinesBriefing favicon HeadlinesBriefing.com

রিভার্স-ইঞ্জিনিয়ারড Jev-সদৃশ মডেল: অপশন স্কোরিং

Hacker News •
×

একটি ছোট মডেল প্রশিক্ষণ দিন যা টেক্সট অপশনগুলির পরিবর্তনশীল তালিকা থেকে বেছে নেয়। একটি Jev-সদৃশ মডেল টেক্সটের একটি টুকরো এবং N টেক্সট অপশনের একটি তালিকা নেয়। এটি শব্দে শব্দে উত্তর লেখার বদলে এক পাসে প্রতিটি অপশনের জন্য একটি সম্ভাবনা ফেরত দেয়। Jev এই কাজের জন্য Type Safe-এর বাণিজ্যিক মডেল, কিন্তু Type Safe তার ডিজাইন প্রকাশ করেনি। এই রিপোজিটরি একই ইনপুট ও আউটপুট আকৃতির একটি স্বতন্ত্র স্টার্টার মডেল।

একই অপশন-অ্যাটেনশন হেড ইমেজ প্যাচ থেকে কন্ট্রোলার বোতাম স্কোর করতে পারে। একটি দশ-সেকেন্ডের ফিল্ম দুটি নির্বাচিত পাঁচ-সেকেন্ডের উইন্ডো জোড়া দেয়: সাতটি Doom বোতামে লাইভ deadly_corridor যুদ্ধ, তারপর পাঁচটি কী দিয়ে হেঁটে চাল খেলা একটি দাবা কন্ট্রোলার। Doom উইন্ডোটি প্রদত্ত যৌথ চেকপয়েন্ট থেকে এসেছে, যা তার দশটি রেকর্ড করা এপিসোডে গড়ে 0.60 কিল এবং -97.50 পুরস্কার পেয়েছে। দাবা উইন্ডোটি শক্তিশালী শুধু-দাবা চেকপয়েন্ট থেকে এসেছে, যা একটি র্যান্ডম মুভারের বিরুদ্ধে 50টি নমুনা খেলায় 4 জয়, 46 ড্র এবং 0 হার স্কোর করেছে, কিন্তু Stockfish লেভেল 0-এর বিরুদ্ধে 0 জয়, 2 ড্র এবং 48 হার। উইন্ডোগুলি কার্যকলাপের জন্য নির্বাচিত হয়েছিল এবং এগুলি সাধারণ-খেলা বা দক্ষতার দাবি নয়।

গেম এক্সট্রা ইনস্টল করুন এবং প্রকাশিত যৌথ চেকপয়েন্ট থেকে একটি নতুন 640 বাই 480 Doom ট্রেস রেকর্ড করুন: uv pip install -e '.[games]' python examples/doom/play.py examples/checkpoints/joint-imitation.pt --episodes 10 --game-seconds 35.3 --device cpu --capture-resolution 640x480 --output runs/doom.mp4 --trace runs/doom-trace.json একই ভিজ্যুয়াল লেআউটে ট্রেস রেন্ডার করুন। এটি একটি নীরব ফিল্ম লেখে কারণ লেখকের মালিকানাধীন সাউন্ডট্র্যাক উৎস রিপোজিটরির অংশ নয়। (cd examples/film && npm install && npx playwright install chromium) examples/film/make-film.sh runs/doom-trace.json runs/doom-film.mp4 10

রিলিজে Doom উদাহরণ, দাবা উদাহরণ, একক-খেলা চেকপয়েন্ট এবং শেয়ার করা 12-অপশন চেকপয়েন্ট রয়েছে। উভয় গেম jevlike.vision থেকে ভিজ্যুয়াল স্কোরার আমদানি করে; কোনও উদাহরণে দ্বিতীয় মডেল কপি নেই। আর্কিটেকচার প্রতিটি অপশন একটি কুয়েরি ভেক্টর হয়ে যায়, যা তার টেক্সট প্রতিনিধিত্বকারী সংখ্যার একটি ছোট তালিকা। কুয়েরি কনটেক্সট টোকেনগুলিতে অ্যাটেনশন ওজন নির্ধারণ করে। সেই ওজনগুলি সেই অপশনের জন্য একটি কনটেক্সট ভেক্টর তৈরি করে। একটি শেয়ার করা ডট প্রোডাক্ট প্রতিটি অপশন ও কনটেক্সট জোড়াকে একটি স্কোরে পরিণত করে। অপশনগুলির মধ্যে একটি softmax চলে। ডিফল্ট এনকোডার শূন্য থেকে বাইট এমবেডিং শেখে। ঐচ্ছিক Hugging Face পথ একটি ফ্রোজেন প্রিট্রেইনড এনকোডার ব্যবহার করে। ডেটা ফরম্যাট প্রতি লাইনে একটি JSON অবজেক্ট ব্যবহার করুন: {"context":"The customer needs a refund.","options":["refund","sales","technical support"],"label":0} label সঠিক অপশনের শূন্য-ভিত্তিক সূচক। প্রতিটি সারিতে ভিন্ন সংখ্যক অপশন থাকতে পারে, সর্বনিম্ন দুটি। কুইকস্টার্ট রিপোজিটরি রুট থেকে এই কমান্ডগুলি চালান: uv venv source .venv/bin/activate uv pip install -e '.[dev]' jevlike-data synthetic --output data/synthetic jevlike-train data/synthetic/train.jsonl --validation data/synthetic/validation.jsonl --output runs/synthetic.pt jevlike-eval runs/synthetic.pt data/synthetic/test.jsonl jevlike-predict runs/synthetic.pt --context "Choose the exact badge amber badger. Badge: amber badger." --option "azure crane" --option "amber badger" --option "gold heron" মূল্যায়ন top-1 নির্ভুলতা, top-3 নির্ভুলতা, প্রত্যাশিত ক্যালিব্রেশন ত্রুটি এবং একটি শাফল-কনটেক্সট নিয়ন্ত্রণ প্রিন্ট করে। আপনার নিজের ডেটা ব্যবহার করুন: উপরের ফরম্যাটে ট্রেন, ভ্যালিডেশন এবং টেস্ট JSONL ফাইল রপ্তানি করুন।

মূল সত্তা: কোম্পানি: Type Safe