এই নিবন্ধে Rank-One Model Editing (ROME) আক্রমণ তুলে ধরা হয়েছে, যেখানে একটি ক্ষতিকর Python মডিউল GPU মেমোরিতে মডেলের ওজন নতুন করে লিখে তার উত্তর নষ্ট করে দেয়। এতে ব্যাখ্যা করা হয়েছে কেন CPU-কেন্দ্রিক নিরাপত্তা টুল এই ধরনের আক্রমণ এড়িয়ে যায়, কারণ ডিস্কে কোনো বাইট বদলায় না এবং কোনো সন্দেহজনক প্রক্রিয়াও দেখা যায় না। প্রচলিত EDR ও ADR টুল ফাইল অ্যাক্সেস, চাইল্ড প্রসেস ও নেটওয়ার্ক কার্যকলাপ পর্যবেক্ষণ করে, যার কোনোটিই ROME আক্রমণ অবশ্যই ট্রিগার করে না।
লেখকরা তাদের ল্যাবে একটি ROME আক্রমণ চালান এবং দেখান কীভাবে Stealthium একটি রানটাইম সেন্সরের মাধ্যমে এই হস্তক্ষেপ শনাক্ত করে। সেন্সরটি প্রতিটি CUDA কার্নেল লঞ্চকে সেই Python কোডের সঙ্গে যুক্ত করে যা তা শুরু করেছিল। চলমান গবেষণায় এটিকে প্রসারিত করা হচ্ছে, যাতে ওজনের পরিবর্তনের সঙ্গে সেই কল স্ট্যাকও শনাক্ত করা যায় যা পরিবর্তনটি ঘটিয়েছে।
নিবন্ধটির যুক্তি হলো, GPU ওয়ার্কলোড Python-এ শুরু হয়, যেখানে প্যাকেজ ইমপোর্ট, স্টার্টআপ .pth ফাইল, আনপিকল করা মডেল ফাইল এবং exec() বা eval()-এ পাঠানো স্ট্রিং দিয়ে কোড প্রবেশ করতে পারে। উদ্ধৃত সাম্প্রতিক ঘটনাগুলোর মধ্যে রয়েছে lightning প্যাকেজের আপসের এবং LiteLLM-এর আপস, যেগুলোতে ইমপোর্টের সময় বা ইন্টারপ্রেটার স্টার্টআপে ক্ষতিকর কোড চলেছিল, এবং pickle করা Hugging Face মডেল যা রিভার্স শেল খুলেছিল।
লেখকরা উপসংহারে বলেন, AI-এর জন্য রানটাইম নিরাপত্তায় Slurm বা Kubernetes, CUDA রানটাইম এবং GPU কার্যকলাপের মধ্যে সম্পর্ক বিশ্লেষণ করা উচিত, এবং একই সঙ্গে মডেলের ওজন বিশ্লেষণ করা ও ডিভাইসে চলমান গণনা পরীক্ষা করা উচিত।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing