Dalam keuangan kuantitatif, model generatif lebih jarang daripada model prediktif, tetapi proyek magang musim panah meneliti penggunaan autoregressive Diffusion untuk sintesis data pasar. Riset magang, Kavish, membangun model untuk menghasilkan bukan hanya prediksi harga, tetapi juga lengkap order book event—termasuk waktu, jenis order, dan harga—menganggap data pasar sebagai sinyal sekuler dan multimodal. Data pasar menampilkan both diskrit dan kontinuif karakteristik: update order book adalah tindakan diskrit, tetapi harga dan waktu memiliki tinggi cardinality atau secara alami kontinuif, dengan distribusi yang runcing seperti 'pennying' dan kedatangan kumpul di sekitar bilangan bulat.
Kavish telah memodelkan empat tahun data saham AS, menggunakan arsitektur encoder-diffuser dengan encoder Transformer causally masked untuk menghasilkan latent embeddings. Selama pelatihan, event-kind head menebak trade vs. BBO update, sedangkan diffusion head menghasilkan fitur kontinuif seperti harga dan waktu yang telah berlalu. Model menemukan bahwa standard DDPM divergen, tetapi flow matching perform better.
Difusi kontinu penuh gagal menangkap jaggedness data pasar nyata, dan usaha menangani point mass melalui smoothing atau discretisasi mengarah ke jalan depana untuk model generatif yang layak data pasar.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing