Y Combinator S24 ব্যাচের কোম্পানি Laminar-এর Robert ও Din flow-1 প্রকাশ করেছেন, যা একটি ওপেন-সোর্স অবজার্ভেবিলিটি মডেল এবং AI এজেন্ট ট্রেসের ত্রুটি খুঁজে বের করতে রিইনফোর্সমেন্ট লার্নিংয়ের মাধ্যমে প্রশিক্ষিত। কোম্পানির বেঞ্চমার্কে flow-1 শনাক্তকরণের মানে GPT-6-sol-এর সমকক্ষ, অথচ এটি ২৩ গুণ সস্তা, ফলে নমুনা সংগ্রহের বদলে উৎপাদনের প্রতিটি এজেন্ট ট্রেস বিশ্লেষণ করা সাশ্রয়ী হয়ে ওঠে।
দলের যুক্তি, এজেন্টগুলো এখন অনেক ধাপে চলে এবং প্রায়শই নীরবে ব্যর্থ হয়। একটি এজেন্ট ভুল বোতামে ক্লিক করতে পারে বা ভুল নথির উদ্ধৃতি দিতে পারে, অথচ প্রতিটি কল সফলভাবে সম্পন্ন হয়। এই ত্রুটিগুলো ধরতে হলে এজেন্ট কী করার চেষ্টা করছিল তা বুঝতে হয় এবং তার LLM কল ও টুলের ফলাফল পরীক্ষা করতে হয়, শুধু চূড়ান্ত আউটপুট পড়লেই হয় না। শুধু ট্রেস সংগ্রহ করলেই সমস্যার সমাধান হয় না, কারণ অনেক প্ল্যাটফর্ম মূলত এমন ডেটা সংগ্রাহক যারা এমন ট্রেস জমা করে যা কেউ পড়ে না।
flow-1 Signals নামের একটি হার্নেসের ভেতরে চলে, যা একটি কোডিং এজেন্টের মতো আচরণ করে এবং এজেন্ট ট্রেসকে একটি রিপোজিটরি হিসেবে বিবেচনা করে, যেখানে প্রতিটি span একটি ফাইল। এটি spans জুড়ে grep চালায়, প্রাসঙ্গিক spans সম্পূর্ণ পড়ে এবং ব্যবহারকারীর সংজ্ঞায়িত স্কিমায় ফলাফল JSON হিসেবে ফেরত দেয়। একই ধরনের সিগন্যাল ইভেন্টগুলো ক্লাস্টারে গোষ্ঠীবদ্ধ হয়, যা ব্যবহারকারীরা বারবার ঘটা ব্যর্থতা সারাতে মূল্যায়ন ডেটাসেট তৈরিতে ব্যবহার করতে পারেন।
Laminar Apache 2.0 লাইসেন্সের অধীনে এবং নিজস্ব সার্ভারে হোস্ট করা যায়, আর কোম্পানি তার ম্যানেজড ক্লাউড থেকে আয় করে। প্রতিষ্ঠাতারা সম্প্রদায়ের কাছে জানতে চেয়েছেন, তারা কীভাবে এজেন্টের কর্মক্ষমতা ট্র্যাক করেন এবং কীভাবে যাচাই করেন যে সমাধান নতুন কোনো ব্যর্থতা তৈরি করছে না।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing