Biaya berulang AI produksi bukanlah inferensi. Melainkan kualifikasi ulang: eval ulang, penyetelan ulang prompt, dan pengujian regresi yang Anda utangi setiap kali model berubah di bawah Anda. Email itu tiba pada hari Selasa.

Sebuah model yang telah kami jalankan di produksi selama hampir setahun, disematkan ke versi tertentu dengan sengaja, akan dihentikan. Kami memiliki jendela untuk bermigrasi. Setelah itu, endpoint akan mulai mengembalikan error.

Kami telah melakukan semua yang buku panduan rekayasa hati-hati katakan. Kami tidak mengambang di alias terbaru yang bisa berubah di bawah kami dalam semalam. Kami menyematkan versi model yang tepat, menuliskannya ke konfigurasi, dan memperlakukannya seperti dependensi lain yang tidak ingin kami pindahkan tanpa tinjauan.

Penyematan seharusnya menjadi pilihan yang aman. Pemberitahuan penghentian membuat sesuatu menjadi jelas yang selama ini diam-diam disembunyikan oleh penyematan: menyematkan versi model tidak membeli kekebalan dari perubahan. Itu membeli penundaan.

Tanahnya tetap bergerak. Anda hanya bisa memilih hari Selasa. Perbedaan itulah biaya yang paling kurang dianggarkan dalam AI produksi.

Tim memodelkan pengeluaran AI mereka sebagai inferensi: token masuk, token keluar, dikali harga. Mereka mengoptimalkan pilihan model, mereka mengoptimalkan panjang prompt, mereka berdebat apakah model yang lebih murah cukup baik. Hampir tidak ada yang memiliki baris dalam anggaran untuk hari ketika model berubah dan seluruh sistem harus dibuktikan benar lagi.

Saya akan menyebut baris itu sebagai pajak kualifikasi ulang, dan pada akhir tulisan ini saya ingin Anda memiliki baik nama untuknya maupun cara untuk merencanakannya. Apa yang sebenarnya dilindungi oleh penyematan, dan apa yang tidak Menyematkan versi model memang praktik yang baik. Ini menghentikan penyimpangan perilaku diam-diam, di mana penyedia memperbarui bobot di balik alias dan output Anda bergeser tanpa satu baris pun kode Anda berubah.

Jika Anda pernah melihat skor eval bergerak tanpa alasan yang bisa Anda temukan di commit Anda sendiri, Anda sudah tahu mengapa tim menyematkan. Tetapi penyematan adalah kunci di sisi Anda dari pintu yang juga dikendalikan penyedia. Penyedia menghentikan.

Pada 2026, iramanya jika ada justru dipercepat: model frontier baru dikirim setiap beberapa bulan, yang lebih lama disunsetkan, dan beberapa penyedia telah mempensiunkan model dengan pemberitahuan singkat. Sebagian besar tim tidak menjalankan satu model saja. Realitas saat ini, yang dibuktikan dalam survei rekayasa sepanjang tahun, adalah bahwa stack produksi menjaga beberapa model terbang sekaligus: model frontier untuk penalaran sulit, model lebih murah untuk panggilan rutin, kadang model yang dihosting sendiri untuk data yang tidak bisa meninggalkan gedung.

Masing-masing berada pada jam penghentiannya sendiri. Jadi penyematan tidak menghilangkan perubahan. Ini mengubah perubahan yang tidak dapat diprediksi menjadi perubahan yang terjadwal.

Itu adalah peningkatan nyata, karena perubahan yang terjadwal adalah sesuatu yang dapat Anda staf dan anggarkan. Itu hanya bencana ketika Anda memperlakukan penyematan sebagai keabadian dan tidak menaruh apa pun dalam rencana untuk hari kedaluwarsanya. Hal yang semua orang lupa hargai: model bukan satu-satunya hal yang berubah Inilah bagian yang membuat kualifikasi ulang mahal alih-alih sepele.

Ketika Anda berpindah dari satu versi model ke versi berikutnya, model bukanlah bagian yang bisa langsung dipasang. Hampir semua yang Anda bangun di atas model lama, apakah Anda bermaksud atau tidak, disetel ke perilaku spesifik model itu. Prompt Anda disetel untuknya.

Frasa yang andal menghasilkan output terstruktur pada model lama mungkin menghasilkan sesuatu yang sedikit berbeda pada model baru. Contoh few-shot Anda dikalibrasi terhadap keanehannya. Guardrail Anda diatur terhadap mode kegagalannya.

Parser output Anda diperkuat terhadap bentuk spesifik yang cenderung dikembalikannya. Suhu dan y Anda...