একজন ডেভেলপার 125M-প্যারামিটার একটি ট্রান্সফর্মার প্রশিক্ষণ দিয়েছেন রিয়েল-টাইমে পিয়ানোর পারফর্ম্যান্স স্বয়ংক্রিয়ভাবে সম্পূর্ণ করতে, যা iPhone 15-এ প্রায় 108টি নোট/সেকেন্ড অর্জন করে। এই সিস্টেমটি Roll Tab নামে পরিচিত, যা সংগীতের জন্য GitHub Copilot-এর মতোই কাজ করে—ব্যবহারকারীরা MIDI পিয়ানোতে কয়েকটি নোট বাজান, এবং মডেলটি সম্পূর্ণরূপে ডিভাইসের ওপর পারফর্ম্যান্স চালিয়ে যায়।
সবচেয়ে বড় উন্নয়নগুলি মিলেছে সঠিক MIDI উপস্থিন্নতা খুঁজে পেতে, প্রশিক্ষণ ডেটা পরিষ্কার করতে আক্রামীভাবে, এবং DPO পোস্ট-ট্রেনিং যোগ করতে। চূড়ান্ত উপস্থিন্নতা NOTE(পিচ, delta_onset, duration, velocity) টোকেন ব্যবহার করে, যা নোট-অফ ড্রিফ্ট কাপায় এবং প্রতি নোটে ট্রান্সফর্মার পাস কমিয়ে দেয়। প্রতিটি নোটের মধ্যে পাঁচটি বর্গীয় ক্ষেত্র রয়েজছে যাদের আলাদা এম্বেডিং এবং আউটপুট হেড রয়েজে, যা দক্ষ উৎপাদন সম্ভব করে তোলে।
প্রশিক্ষণের মধ্যে বহু আউটপুট হেডের মাধ্যমে ক্রস-এন্ট্রপি লস জড়িয়ে আছে, যদিও সংগীত ধারাবাহিকতা একক সঠিক উত্তর নয়। লাইভ ইনপুট পরিষ্কার MIDI ফাইলগুলির থেকে আলাদা হওয়ায় ডেটা বৃদ্ধি করা অপরিহার্য ছিল। ডেটাসেটে ডেডুপ্লিকেশন এবং ফiltরিং সহ সয়ংক্রিয়ভাবে পরিষ্কার করা লক্ষ লক্ষ MIDI ফাইল অন্তর্ভুক্ত ছিল।
এই অ্যাপটি MIDI কীবোর্ড এবং iOS ডিভাইস ব্যবহারকারীদের জন্য বিনামূল্যে। নমুনা ধারাবাহিকতা মধ্যে Pokémon, Final Fantasy VI এবং Für Elise অন্তর্ভুক্ত। মডেল, প্রশিক্ষণ, Core ML বা ব্যর্থ পদ্ধতিগুলি সম্পর্কে মন্তব্য এবং প্রশ্ন স্বাগত।
গুরুত্বপূর্ণ সত্তাবলীন: কোম্পানিগুলি: GitHub, Core ML | অবস্থান: iPhone
উৎস: Hacker News · সারাংশ: HeadlinesBriefing