দীর্ঘ সময় ধরে চলা একটি Python সিমুলেশন কেবল তখনই কম্পিউট-সমস্যা মনে হয় যতক্ষণ একজন ব্যক্তি এটি চালান। একাধিক মানুষ এর ওপর নির্ভর করতে শুরু করলে কঠিনতা সরে যায় কিউ ব্যবস্থাপনা, ব্যর্থতা থেকে পুনরুদ্ধার, জবের দৃশ্যমানতা এবং পুনরুৎপাদনযোগ্যতার দিকে। অনুরোধ জব শেষ হওয়ার চেয়ে দ্রুত আসে, কিছু রান মাঝপথে ব্যর্থ হয়, এবং মানুষ চায় অতীতের ফলাফল চাহিদামতো পুনরায় তৈরি করা যাক।
লেখকের মতে আসল প্রকৌশল রয়েছে একটি কার্যকর প্রোগ্রাম এবং এমন একটি সেবার মধ্যকার ব্যবধানে, যার ওপর মানুষ নির্ভর করতে পারে। মডেল মূল্যায়ন ও ব্যাচ প্রসেসিংও একই সমস্যার মুখোমুখি হয়। কোড একবার চালানো সহজ; কিন্তু অনেক ব্যবহারকারীর জন্য বারবার চালানো, যাতে প্রতিটি রান খুঁজে পাওয়া, ট্রেস করা ও পুনরাবৃত্তি করা যায় এবং অন্যদের হস্তক্ষেপ না ঘটে, এটি সম্পূর্ণ ভিন্ন ধরনের কাজ।
Amazon UK-এ AWS-ভিত্তিক পরিবহন সিমুলেশন অবকাঠামোর কাজের সময় বাধা ছিল কম্পিউট নয়। কর্মপ্রবাহ মূলত ম্যানুয়াল ছিল, অপারেটররা ইনপুট, কনফিগারেশন ও অবকাঠামো সেটআপ হাতে সামলাতেন। প্রতিটি নতুন অনুরোধ কোনো কম্পিউট ব্যবহারের আগেই প্রকৌশলীদের মনোযোগ কেড়ে নিত, এবং ব্যর্থ রান খুঁজে বের করা কঠিন ছিল কারণ প্রমাণ ইনপুট, কনফিগারেশন ও মেশিনে ছড়িয়ে ছিল। আরও মেশিন যোগ করলে তাত্ত্বিক সীমা বাড়ত, কিন্তু কিউ, রানের মধ্যে আইসোলেশন ও ডুপ্লিকেট এক্সিকিউশনের সমস্যা সমাধান হতো না।
তাই প্রশ্নটি বদলে গেল: সিমুলেশন কীভাবে আরও দ্রুত চালানো যায়, সেখান থেকে কীভাবে একাধিক মানুষ নিরাপদে কাজ জমা দিতে পারে, প্রতিটি জবের অবস্থা দেখতে পারে এবং কিছু ভেঙে গেলে পুনরুদ্ধার করতে পারে। লেখকের মূল দাবি হলো, যখন একাধিক মানুষ দীর্ঘ সিমুলেশনের ওপর নির্ভর করে, তখন আসল সমস্যা জব নিয়ন্ত্রণ, যা কিউ, স্টেট ব্যবস্থাপনা, আইসোলেশন, পুনরুদ্ধার ও ট্রেসেবিলিটির মতো ছোট বিষয়ে ভাগ হয়ে যায়।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing