Simulasi Python yang berjalan lama tampak seperti masalah komputasi selama hanya satu orang yang menjalankannya. Begitu beberapa orang bergantung padanya, kesulitannya bergeser ke antrean, pemulihan dari kegagalan, visibilitas pekerjaan, dan reproduktibilitas. Permintaan datang lebih cepat daripada pekerjaan selesai, beberapa eksekusi gagal di tengah jalan, dan orang-orang mengharapkan hasil sebelumnya dapat direproduksi sesuai permintaan.
Penulis berpendapat bahwa rekayasa yang sebenarnya terletak pada celah antara program yang berfungsi dan layanan yang dapat diandalkan orang. Evaluasi model dan pemrosesan batch menghadapi masalah yang sama. Menjalankan kode sekali itu mudah; menjalankannya berulang kali untuk banyak pengguna, sehingga setiap eksekusi dapat ditemukan, dilacak, dan diulang tanpa mengganggu yang lain, adalah jenis pekerjaan yang berbeda.
Selama mengerjakan infrastruktur simulasi transportasi berbasis AWS di Amazon UK, hambatannya bukan komputasi. Alur kerjanya sebagian besar manual, dengan operator yang menangani input, konfigurasi, dan pengaturan infrastruktur secara langsung. Setiap permintaan baru menyita perhatian insinyur sebelum komputasi apa pun digunakan, dan eksekusi yang gagal sulit dilacak karena bukti tersebar di antara input, konfigurasi, dan mesin. Menambah mesin akan menaikkan batas teoretis, tetapi tidak menyelesaikan masalah antrean, isolasi antar eksekusi, dan eksekusi ganda.
Pertanyaannya pun bergeser dari bagaimana menjalankan simulasi lebih cepat menjadi bagaimana membiarkan beberapa orang mengajukan pekerjaan dengan aman, memantau status setiap pekerjaan, dan pulih ketika terjadi kesalahan. Klaim inti penulis adalah bahwa, ketika banyak orang bergantung pada simulasi yang berjalan lama, masalah sebenarnya adalah kontrol pekerjaan, yang terurai menjadi persoalan yang lebih kecil: antrean, pengelolaan status, isolasi, pemulihan, dan keterlacakan.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing