HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Jalapeño চিপ: LLM দিয়ে দ্রুত ডিজাইন

Hacker News •
×

২৫ আগস্টে, Open AI সম্পূর্ণরূপে Jalapeño উদ্ঘাটন করে, যা কোম্পানির প্রথম AI এক্সিলারেটর চিপ। Jalapeño ১৩.৪ পেটাফ্লপ্স ৪-বিট কম্পিউট এবং ২৩২ গিগাবাইট উন্নত মেমরি প্রদান করে, যা ১৫.৪ টেরাবাইট প্রতি সেকেন্ডে সংযুক্ত। বেঞ্চমার্ক দেখায় Jalapeño Nvidia-এর GB300-এর চেয়ে এন্ড-টু-এন্ড লেটেন্সি ৩.৬ গুণ কমাতে পারে, কম পাওয়ার খরচ করে।

চিপটি প্রথম আর্কিটেকচার কনসেপ্ট থেকে প্রথম সিলিকনে ২০ মাসের কম সময়ে পৌঁছেছে, প্রথম RTL থেকে টেপ-আউটে মাত্র নয় মাস ব্যবধান ছিল। ডিজাইন টিমের গড় ১০০-এর কম লোক ছিল, Broadcom গেট থেকে ফিজিক্যাল ডিজাইন হ্যান্ডেল করল, Open AI এন্ড-টু-এন্ড সিস্টেম ডিজাইন ম্যানেজ করল যার মধ্যে ইনফারেন্স এক্সিলারেটর, মেমরি হায়ারার্কি, এবং নেটওয়ার্কিং।

Open AI-এর হার্ডওয়্যার ভাইস প্রেসিডেন্ট Richard Ho বলেন LLM ইঞ্জিনিয়ারদের সুপারপাওয়ার দেয়, ডিজাইন পথ দ্রুত এক্সপ্লোর করতে সাহায্য করে। Verkor.io-এর David Chin এবং UC San Diego-এর Andrew Kahng-এর মতো এক্সপার্ট গতিকে প্রभाয়শালী মেনেন, যদিও Broadcom-এর জড়িত থাকাকে অপরিহার্য মনে করা হয়। University of Maryland-এর Ankur Srivastava নোট করেন LLM পূর্বের অটোমেশন টুল থেকে আলাদা কারণ এটি ভাষা ও কোড বুঝতে পারে, যা এখনও ভাষাগত ডোমেনে চিপ ডিজাইন টাস্কের জন্য উপযুক্ত।