私は実際の研究で3つのサンプラーすべてを使ってきましたが、なぜ一方を他方より選んだのかをあまり深く考えないことも多かったです。emcee が最初のサンプラーで、尤度をJAXに移したときにNUTSが加わり、誰かがベイズ因子を求めるたびにdynestyを使っていました。やがて、まだ十分に理解していない問題で、どれを信頼できるかを言えないことに気づきました。
多くのサンプラー比較は速度を測定しますが、サンプルが間違っていれば速度はほとんど意味を持ちません。そして誤りを確認できるのは、正しい答えがわかっているときだけです。そこで、密なグリッドや解析的な方法で厳密に解ける程度に小さい3つの問題を選び、各サンプラーを互いではなく真の答えと比べて評価しました。
NUTSは最速で、滑らかな問題では2倍から4倍速かったものの、多峰性の問題では完全に失敗し、その診断もそのことを明確に示していました。emcee は簡単な問題では問題ありませんでしたが、多峰性の問題では自信満々に誤った答えを出し、デフォルトの出力には何の警告もありませんでした。dynesty は、すべてのモードを見つけて正しいエビデンスを出した唯一のサンプラーでしたが、そのエビデンスの誤差範囲は楽観的すぎました。
3つのテスト問題は段階的に難しくなっていきました。最初はコントロールで、40個のシミュレートしたIa型超新星を用いて平坦なΛCDMでΩmとH0をフィットしました。これはほぼ楕円形の事後分布になります。2つ目は曲がった細い尾根で、H0を固定してΩmと暗黒エネルギーの状態方程式をフィットしました。3つ目は多峰性の問題で、80日間にわたり40夜観測された正弦波の周波数を見つけるもので、いくつも離れた山が生じます。
主要な固有表現：企業：Towards Data Science | 人物：Arvi Z.
よくある質問：多峰性の問題ではどのサンプラーを信頼すべきか？
このベンチマークでは、dynestyがすべてのモードを見つけて正しいエビデンスを出した唯一のサンプラーでした。一方、NUTSは失敗し、emceeは自信を持って誤った結果を出しました。ただし、dynestyのエビデンスの誤差範囲は楽観的であることがわかりました。
出典: Towards Data Science · 要約：HeadlinesBriefing