টেক্সট-টু-ইমেজ AI মডেল, যেমন Nano Banana, Stable Diffusion এবং Flux, এর দ্রুত অগ্রগতি সৃজনশীল ডিজাইনকে রূপান্তরিত করেছে, কিন্তু সুনির্দিষ্ট ব্যবহারকারীর উদ্দেশ্য পূরণের জন্য এই মডেলগুলিকে পরিচালনা করা একটি ভারসাম্যমূলক কাজ। উদাহরণস্বরূপ, "সানগ্লাস পরা একটি টিকটিকি" প্রম্পট দিলে সানগ্লাস ছাড়া একটি বাস্তবসম্মত টিকটিকি তৈরি হতে পারে, অথবা জোর করলে টিকটিকির মুখ বিকৃত হতে পারে। বিদ্যমান পদ্ধতিগুলি বিচ্ছিন্ন: ডেভেলপাররা ইনফারেন্স-টাইম কৌশল যেমন ক্লাসিফায়ার-মুক্ত নির্দেশনা, অথবা LoRA-এর মতো প্যারামিটার-দক্ষ অ্যাডাপ্টার, পুরস্কার-ভারিত রিগ্রেশন, বা পলিসি গ্রেডিয়েন্ট সহ ভারী ফাইন-টিউনিং ব্যবহার করে। যেহেতু এই সরঞ্জামগুলিকে আলাদা সমাধান হিসাবে বিবেচনা করা হয়, ক্ষেত্রটিতে নিয়ন্ত্রণের জন্য একটি একীভূত গাণিতিক ভাষার অভাব রয়েছে।

ডিফিউশন কন্ট্রোলার ফ্রেমওয়ার্ক ডিনয়েজিং প্রক্রিয়াকে একটি মসৃণ নিয়ন্ত্রণ সমস্যা হিসাবে পুনঃসংজ্ঞায়িত করে এটি সমাধান করে। এর হালকা অ্যাড-অন নেটওয়ার্ক মানব পছন্দের সাথে মেলাতে শিল্প মানকে ছাড়িয়ে গেছে, এবং এর সম্পূর্ণ আনলক করা সংস্করণ বেসলাইনের উপর 90% জয়ের হার অর্জন করেছে। ফ্রেমওয়ার্ক প্রজন্মকে একটি নিয়ন্ত্রিত যাত্রা হিসাবে বিবেচনা করে, বেস মডেল স্থির থাকে এবং একটি স্টিয়ারিং ড্যাম্পার গতিপথ সামঞ্জস্য করে।

এই পদ্ধতি মডেলের আচরণকে গতিশীলভাবে পুনঃক্যালিব্রেট করে, চিত্রের গুণমান সংরক্ষণ করার সময় ব্যবহারকারী-সংজ্ঞায়িত লক্ষ্যগুলিকে বেশি গুরুত্ব দেয়। টিকটিকির উদাহরণে, ড্যাম্পার নিশ্চিত করে যে সানগ্লাস অন্তর্ভুক্ত রয়েছে, কিন্তু একটি জরিমানা গার্ডরেল বিকৃতি প্রতিরোধ করে। ফ্রেমওয়ার্ক চূড়ান্ত পুরস্কার স্কোরের উপর ভিত্তি করে দুটি ফাইন-টিউনিং পদ্ধতির সাথে তত্ত্ব এবং অনুশীলনকে সংযুক্ত করে, যার মধ্যে পলিসি গ্রেডিয়েন্ট এবং PPO অন্তর্ভুক্ত, যা অন্তর্নির্মিত ক্লিপিং নিয়মের সাথে মডেলটিকে পুনরাবৃত্তভাবে পরিচালনা করে।