Usei os três amostradores em pesquisas reais, muitas vezes sem pensar muito sobre por que escolhia um em vez do outro. O emcee foi meu primeiro amostrador, o NUTS chegou quando passei minhas verossimilhanças para o JAX, e o dynesty entrava sempre que alguém pedia um fator de Bayes. Com o tempo percebi que não conseguia dizer em qual confiaria num problema que eu ainda não entendia completamente.
A maioria das comparações entre amostradores mede a velocidade, mas velocidade significa pouco se as amostras estiverem erradas, e você só pode verificar o erro quando conhece a resposta correta. Por isso escolhi três problemas pequenos o bastante para serem resolvidos exatamente, em uma grade densa ou analiticamente, e avaliei cada amostrador em relação à verdade, e não em relação aos outros.
O NUTS foi o mais rápido, de duas a quatro vezes mais em problemas suaves, mas falhou completamente no problema multimodal, e seus diagnósticos deixaram isso claro. O emcee se saiu bem nos problemas fáceis, mas deu respostas erradas com total confiança no multimodal, sem nenhum aviso em sua saída padrão. O dynesty foi o único amostrador que encontrou todos os modos e produziu uma evidência correta, embora suas barras de erro da evidência fossem otimistas.
Os três problemas de teste ficaram progressivamente mais difíceis. O primeiro era um controle: ajustar Ωm e H0 em um ΛCDM plano a 40 supernovas do Tipo Ia simuladas, o que gera uma posterior aproximadamente elíptica. O segundo era uma crista curva e fina, ajustando Ωm e a equação de estado da energia escura com H0 fixo. O terceiro era um problema multimodal: encontrar a frequência de uma senoide observada em 40 noites ao longo de 80 dias, o que produz vários picos separados.
Entidades principais: Empresas: Towards Data Science | Pessoas: Arvi Z.
Pergunta frequente: Em qual amostrador você deve confiar em um problema multimodal?
Nesse benchmark, o dynesty foi o único amostrador que encontrou todos os modos e produziu uma evidência correta, enquanto o NUTS falhou e o emcee deu resultados errados com total confiança. Suas barras de erro da evidência, porém, mostraram-se otimistas.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing