Я использовал все три сэмплера в реальных исследованиях, часто не задумываясь о том, почему выбрал один вместо другого. emcee был моим первым сэмплером, NUTS появился, когда я перенёс функции правдоподобия на JAX, а dynesty подключался всякий раз, когда кто-то просил фактор Байеса. В конце концов я понял, что не могу сказать, какому из них доверять в задаче, которую я ещё не понимаю до конца.
Большинство сравнений сэмплеров измеряют скорость, но скорость мало что значит, если выборки неверны, а ошибку можно проверить только тогда, когда известен правильный ответ. Поэтому я выбрал три задачи, достаточно простые для точного решения, на плотной сетке или аналитически, и оценивал каждый сэмплер относительно истины, а не относительно других.
NUTS был самым быстрым, в два-четыре раза быстрее на гладких задачах, но полностью провалился на мультимодальной задаче, и его диагностика ясно это показала. emcee справился с простыми задачами, но на мультимодальной задаче уверенно дал неверные ответы, и в его выводе по умолчанию не было никакого предупреждения. dynesty был единственным сэмплером, который нашёл все моды и получил правильное свидетельство, хотя его погрешности свидетельства оказались оптимистичными.
Три тестовые задачи возрастали по сложности. Первая служила контролем: подгонка Ωm и H0 в плоской ΛCDM по 40 смоделированным сверхновым типа Ia, что дало примерно эллиптическое апостериорное распределение. Вторая представляла собой искривлённый тонкий гребень: подгонка Ωm и уравнения состояния тёмной энергии при фиксированном H0. Третья была мультимодальной: поиск частоты синусоиды, наблюдаемой в течение 40 ночей на протяжении 80 дней, что порождает несколько разделённых пиков.
Ключевые сущности: Компании: Towards Data Science | Люди: Arvi Z.
Часто задаваемый вопрос: какому сэмплеру доверять на мультимодальной задаче?
В этом бенчмарке dynesty был единственным сэмплером, который нашёл все моды и получил правильное свидетельство, тогда как NUTS провалился, а emcee уверенно дал неверные результаты. Однако погрешности его свидетельства оказались оптимистичными.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing