গত কয়েক সপ্তাহ ধরে, আমি gpt-5.6-luna নিয়ে খেলছি। এটি আশ্চর্যজনকভাবে সক্ষম, দ্রুত এবং স্মার্ট। আমি নিয়মিত এটি ~100 tps করতে দেখি, এবং আমার কোডবেস, ইমেল এবং জ্ঞান ভিত্তির চারপাশে ঘুরে বেড়াতে দেখি। অবশ্যই, luna-এর সাথে সবচেয়ে বড় বিষয় হল খরচ। আমি কিছু মোটামুটি জটিল গবেষণা থ্রেড চালানোর চেষ্টা করেছি, এবং একটি বড় বিল জমা করা বেশ কঠিন। এমনকি হাজার হাজার ইমেল জুড়ে এটি অনুসন্ধান করালেও, আমি API খরচে দশ সেন্টে শেষ করি। GLM 5.3-এর সাথে, আমাদের কাছে Pareto সীমান্তে একটি নতুন বিকল্পও রয়েছে।

কোডিং কাজ করার সময়, আমি প্রায় সবসময় সবচেয়ে ব্যয়বহুল এবং সক্ষম মডেলগুলিতে (Fable 5, 5.6 Sol) পৌঁছাই। তাই ছোট দ্রুত মডেলগুলির অগ্রগতি মিস করা সহজ হয়েছে। আমি যে কয়েকজন বিনিয়োগকারীর সাথে কথা বলেছি তারা একটি বিষয় উল্লেখ করেছেন: "এটা অদ্ভুত যে আমরা আরও ভোক্তা AI কোম্পানি দেখছি না। কেন?" এর একটি সরাসরি উত্তর আছে: টোকেন খরচ।

AI-এর আগের সময়ে, বড় ভোক্তা অ্যাপগুলির জন্য প্লেবুকটি এমন ছিল: একটি আকর্ষণীয় ওয়েবসাইট তৈরি করুন যা চালানো মোটামুটি সস্তা, প্রচুর ব্যবহারকারী আকর্ষণ করুন (সাধারণত কিছু ভাইরালিটি সহ), অর্থ সংগ্রহ করুন, আরও ব্যবহারকারীদের কাছে স্কেল করুন, একটি বিজ্ঞাপন বাজার তৈরি করুন। এটি মোটামুটিভাবে বেশিরভাগ বড় ভোক্তা কোম্পানি (Google, Facebook, Snapchat, ইত্যাদি) বর্ণনা করে। কিন্তু আপনি যদি আপনার পণ্যে AI যোগ করতে চান? আচ্ছা, এখন আপনার প্রতিটি অনুরোধে প্রকৃত ইনফারেন্স খরচ আছে! হঠাৎ করে প্রয়োজনীয় মূলধনের পরিমাণ নাটকীয়ভাবে বৃদ্ধি পায়।

আমার একটি প্রিয় মূল্যায়ন হল একটি দৈনিক সংবাদ সাইট তৈরি করা, আমার জন্য ব্যক্তিগতকৃত: ইন্টারনেটে @calvinfo নিয়ে গবেষণা করুন, খুঁজে বের করুন তারা কোন খবর পছন্দ করতে পারে, আজকের শীর্ষ গল্প সহ একটি মাইক্রো-সাইট তৈরি করুন, তাদের জন্য ব্যক্তিগতকৃত, hn, reddit, twitter ইত্যাদি অনুসন্ধান করুন। পূর্ববর্তী প্রজন্মের মডেলগুলির সাথে (Sonnet শ্রেণী), আপনি কোথাও পৌঁছাতে ~$1 খরচ করতেন। ভোক্তা অ্যাপের জন্য $30/মাস চার্জ করা অসম্ভব। এখানে আমরা অনেক কিছু অপ্টিমাইজ করতে পারি, কিন্তু আপনি যদি WSJ বা The Economist যা চার্জ করে তা চার্জ করেন, তাহলে আপনি ভালোভাবে একই মূল্য প্রদান করছেন। কিন্তু luna-এর দিকে তাকালে, ফলাফলগুলি মোটামুটি ভাল, এবং গড় খরচ ~$0.10। এখন আমরা কথা বলছি!

যেখানে আমি মনে করি এটি আরও আকর্ষণীয় হয়ে ওঠে তা হল ব্যবসার জগতে। আমার Segment সহ-প্রতিষ্ঠাতা Peter এবং আমি সম্প্রতি একটি হাইকে নোট তুলনা করেছি। তার বিভিন্ন স্টার্টআপ জুড়ে, Peter দুই ধরনের কাজ দেখেছেন: "IQ 180" কাজ (কোনও পাগল বিজ্ঞানী প্রতিভা ধরনের কিছু পাগল সমাধান নিয়ে আসে যা আপনি কখনও ভাবেননি) এবং "টোকেন থুতু ফেলা" কাজ (অতি প্রতিক্রিয়াশীল হওয়া, ডজন ডজন বিভিন্ন ফ্রন্টে বল এগিয়ে নেওয়া)। Peter একাধিক কোম্পানি চালান। Segment ছাড়াও, তিনি Charm Industrial-এর জন্য $100m+ সংগ্রহ করেছেন, এবং সম্প্রতি Revoy-এর জন্য একটি সিরিজ A বন্ধ করেছেন। তিনি অবিশ্বাস্যভাবে সংগঠিত এবং তার সময়ের সাথে দক্ষ। এবং তবুও, Peter উল্লেখ করেছেন যে ~95% কাজ তিনি করেন তা বালতি 2-এ পড়ে। এটি কলগুলিতে ঝাঁপ দেওয়া, লোকেদের ঠেলা দেওয়া, ব্লক এবং ট্যাকল করা। স্পষ্ট হতে, Peter বলেছেন যে তার কোম্পানিগুলি আজ গভীর সমস্যাগুলি সমাধানকারী IQ 180 প্রযুক্তিগত মস্তিষ্ক ছাড়া জলে মৃত হবে। শুধু তার বেশিরভাগ কাজ বালতি 2-এ পড়ে।

আমি মনে করি "সীমান্ত-স্তরের" মডেলগুলির চাহিদা বাড়তে থাকবে, বিশেষ করে এমন ক্ষেত্রগুলির জন্য যেগুলির অভিনব সাফল্য বা আবিষ্কার প্রয়োজন (প্রকৌশল, কঠিন বিজ্ঞান, মডেল প্রশিক্ষণ)। তবে আমি আরও মনে করি "দ্রুত/সস্তা/যথেষ্ট-ভাল" মডেলগুলির চাহিদা শুরু হতে চলেছে। আপনি প্রতিদিন যাদের সাথে যোগাযোগ করেন তাদের সম্পর্কে চিন্তা করুন: সহকর্মী, বিক্রেতা এবং গ্রাহক। দশটির মধ্যে নয়বার, আপনি এমন কাউকে চান যিনি অতি প্রতিক্রিয়াশীল এবং আপনার জন্য জিনিসগুলি পরিচালনা করেন। আজ কোম্পানিগুলিতে বেশিরভাগ "মানব টোকেন" এইভাবে ব্যয় করা হয় — নিয়োগ ভারীভাবে দ্রুত/সস্তা/যথেষ্ট-ভাল আদর্শের দিকে ঝুঁকে থাকে। ব্যবসার জন্য দ্রুত/সস্তা/যথেষ্ট-ভাল মডেলগুলিকে বাস্তবতা করতে অনেক কাজ করতে হবে: নতুন হার্নেস, প্রম্পট ইনজেকশন নিরাপত্তা, ভূমিকা এবং অনুমতি। তবে আমি আত্মবিশ্বাসী যে আমরা এটি বের করব। আপনি যদি ছোট মডেলগুলিকে দরকারী করার জন্যও পরীক্ষা করছেন, তবে দয়া করে আমাকে একটি লাইন দিন। Amazon এবং Netflix উল্লেখযোগ্য ব্যতিক্রম। Peter এখানেও বিনয়ী; তিনি খুব তীক্ষ্ণ।