HeadlinesBriefing favicon HeadlinesBriefing.com

ডিফিউজন ল্যাঙ্গুয়েজ মডেল

Hacker News •
×

আজকে দুই বড় প্রজাতিগত কৃত্রিম বুদ্ধিমত্তা অ্যালগরিদমের পরিবার রাজত্ব করছে: ধ্বংস (ডিফিউজন) মডেল নিরাপদ ডেটা যেমন ছবির জন্য, এবং অটো-রিগ্রেসিভ মডেল ডিসক্রিট ডেটা যেমন পাঠ্যের জন্য। ধ্বংস মডেল একসাথে পুরো সিকvensে জেনারেট করে, একটি কুয়াশ ড্রাফ্ট থেকে শুরু করে এবং বহুবার প্যারালেলে প্রতিটি অবস্থানকে আপডেট করে। এই পদ্ধতি দ্রুততা ও গুণমানের সমতলন, বিল্ট-ইন ভুল সংশোধন এবং বাইদায়রেকশনাল কন্টেক্সট অনুমতি করে। অটো-রিগ্রেসিভ এলএমএম (LLM) একটি টোকেনে একসময় জেনারেট করে, বাম থেকে ডান দিকে, টোকেন সংখ্যার সমান ধাপ নেয়। ধ্বংস ল্যাঙ্গুয়েজ লিমেরে শুরু হয় একটি পুরো দৈর্ঘ্য ড্রাফ্ট থেকে এবং প্রতিটি ধাপে পুরো সিকvensকে পুনরায় লেখায়। ২০২৪ পর্যন্ত, ধ্বংস মডেলের গুণমানের ক্ষেত্রে অটো-রিগ্রেসিভ মডেলের সঙ্গে প্রতিযোগিতা হয়েছে। ২০২৬ পর্যন্ত, ধ্বংস ল্যাঙ্গুয়েজ লিমেরে একটি বাস্তবতা হয়ে উঠেছে, যেখানে ইনসেপশন ল্যাবসের মার্ক্যুরি ২ (Mercury 2), গুগলের জেম্মা ডিফিউজন (Gemma Diffusion) এবং এনভিডিয়াের নেমোট্রন ডিফিউজন (Nemotron Diffusion) এর রিলিস রয়েছে। ধ্বংস মডেলের মৌলিক ধারণা হলো ডিনয়াইজিং: শুদ্ধ র্যান্ডম শব্দ থেকে শুরু করে এবং প্রতিটি ধাপে একটি ছোট পরিমাণটি সরিয়ে একটি স্বচ্ছ চিত্র জন্ম পায়। অগ্রগতি প্রক্রিয়া একটি পরিষ্কার প্রশিক্ষণ চিত্রকে ধীরে ধীরে বেশি শব্দযুক্ত চিত্রগুলোর মধ্যে রূপান্তর করে। রিভার্স প্রক্রিয়া এই রূপান্তরকে উল্টায় শব্দ থেকে চিত্রে রূপান্তর করে।

ধ্বংস মডেল শব্দকে চিত্রে রূপান্তর করার উদাহরণগুলোর উপর প্রশিক্ষণ পায়। অগ্রগতি প্রক্রিয়া একটি পরিষ্কার চিত্রে ধীরে ধীরে শব্দ যোগ করে, আর রিভার্স প্রক্রিয়া এই রূপান্তরকে উল্টায় শব্দ থেকে চিত্রে রূপান্তর করে।

আধুনিক ধ্বংস ভাষা মডেলের মৌলিক নীতি এই মূল্যবান পদ্ধতিগুলো থেকে উৎপন্ন, ডিসক্রিট ডেটা যেমন পাঠ্যের জন্য অনুভূত করা হয়েছে।

মূল্য কীভাবে: কোম্পানিগুলো: Inception Labs, Google, NVIDIA