Selama beberapa minggu terakhir, saya telah bermain dengan gpt-5.6-luna. Ia sangat mampu, cepat, dan pintar. Saya secara teratur melihatnya melakukan ~100 tps, dan menjelajahi basis kode, email, dan basis pengetahuan saya. Tentu saja, hal terbesar dengan luna adalah biaya. Saya telah mencoba menjalankan beberapa utas penelitian yang cukup rumit, dan cukup sulit untuk menumpuk tagihan besar. Bahkan menyuruhnya mencari di ribuan email, saya berakhir dengan biaya API puluhan sen. Dengan GLM 5.3, kami bahkan memiliki opsi baru di perbatasan Pareto.

Saat melakukan pekerjaan pengkodean, saya hampir selalu meraih model yang paling mahal dan mampu (Fable 5, 5.6 Sol). Jadi mudah untuk melewatkan kemajuan yang dibuat oleh model kecil yang cepat. Satu hal yang disebutkan beberapa investor yang saya ajak bicara: "Aneh kita tidak melihat lebih banyak perusahaan AI konsumen. Mengapa?" Ada jawaban sederhana: biaya token.

Di masa sebelum AI, buku pedoman untuk aplikasi konsumen besar terlihat seperti ini: buat situs web yang menarik yang cukup murah untuk dijalankan, tarik banyak pengguna (biasanya dengan beberapa viralitas), kumpulkan uang, skala ke lebih banyak pengguna, buat pasar iklan. Ini kira-kira menggambarkan sebagian besar perusahaan konsumen besar (Google, Facebook, Snapchat, dll.). Tetapi bagaimana jika Anda ingin menambahkan AI ke produk Anda? Nah, sekarang Anda memiliki biaya inferensi nyata pada setiap permintaan! Tiba-tiba jumlah modal yang dibutuhkan meningkat drastis.

Evaluasi favorit saya adalah membangun situs berita harian, dipersonalisasi untuk saya: riset @calvinfo di internet, cari tahu berita apa yang mungkin mereka sukai, bangun situs mikro dengan cerita teratas hari ini, dipersonalisasi untuk mereka, cari hn, reddit, twitter, dll. Dengan generasi model sebelumnya (kelas Sonnet), Anda akan menghabiskan ~$1 untuk mencapai sesuatu. Mengenakan biaya $30/bulan tidak berkelanjutan untuk aplikasi konsumen. Ada banyak yang bisa kita optimalkan di sini, tetapi jika Anda mengenakan biaya seperti yang dikenakan WSJ atau The Economist, Anda sebaiknya memberikan nilai yang serupa. Tetapi melihat luna, hasilnya cukup layak, dan biaya rata-rata ~$0,10. Sekarang kita bicara!

Di mana saya pikir ini menjadi lebih menarik adalah di dunia bisnis. Rekan pendiri Segment saya, Peter, dan saya baru-baru ini membandingkan catatan saat mendaki. Di berbagai startup-nya, Peter telah melihat dua jenis pekerjaan: pekerjaan "IQ 180" (semacam tipe jenius ilmuwan gila yang datang dengan solusi gila yang tidak pernah Anda pikirkan) dan pekerjaan "pemuntah token" (menjadi sangat responsif, mendorong bola ke depan di puluhan front yang berbeda). Peter menjalankan beberapa perusahaan