O truque de reparametrização é o que torna os Autoencoders Variacionais (VAEs) treináveis com descida de gradiente estocástica padrão. Funciona movendo a aleatoriedade para fora do gráfico de computação e transforma um gradiente inconveniente de uma expectativa em uma derivada ordinária da regra da cadeia. Um VAE é um modelo generativo.

Um codificador mapeia os dados de entrada x para uma distribuição sobre uma variável latente z, enquanto um decodificador mapeia um z amostrado de volta para uma reconstrução de x. O que o torna treinável é seu objetivo, o ELBO (Evidence Lower Bound), ou seja, um substituto tratável para a verossimilhança real dos dados, composto por um termo de reconstrução e um termo que regulariza a distribuição latente em direção a um prior simples. Treinar um VAE envolve maximizar este ELBO usando descida de gradiente, e para fazer isso o gradiente de uma expectativa deve ser calculado; mais precisamente, o gradiente da qualidade de reconstrução esperada em relação às variáveis latentes z amostradas aleatoriamente deve ser calculado.

Este artigo percorre esse problema, as duas famílias principais de estimadores de gradiente usadas para resolvê-lo, e por que os gradientes pathwise obtidos por reparametrização tendem a ter variância dramaticamente menor do que a alternativa. Um estimador de gradiente de baixa variância não é apenas uma conveniência teórica. Na prática, traduz-se diretamente em curvas de treinamento mais estáveis, menos oscilações selvagens na perda, convergência mais rápida e melhores modelos finais.

Isso é especialmente crítico para modelos complexos como VAEs, redes neurais bayesianas e agentes de Aprendizado por Reforço de controle contínuo, onde o sinal de treinamento pode ser muito ruidoso para ser útil de outra forma. O problema: Gradientes de expectativas — por que a amostragem quebra a retropropagação. Se quisermos otimizar em relação a θ.

Se θ aparecesse apenas dentro de f, isso seria um problema de retropropagação padrão. A complicação é que θ parametriza a distribuição da qual z é extraído — o processo de amostragem em si depende de θ — então não podemos simplesmente empurrar o gradiente através de um gráfico de computação fixo. As estimativas de Monte Carlo de L(θ) são fáceis (desenhar amostras, média de f(z)), mas as estimativas de Monte Carlo de θ L(θ) não são automáticas, porque diferenciar através de uma operação de amostragem não é bem definido.

Há duas maneiras gerais de sair disso: o estimador de função de pontuação (REINFORCE) e o estimador pathwise / reparametrização. Ambos são não viesados. Eles diferem enormemente em variância.

O estimador de função de pontuação (REINFORCE): flexível mas alta variância. O truque clássico aqui é a identidade de derivada logarítmica: Substituindo isso no gradiente da expectativa obtemos que agora é uma expectativa novamente, então pode ser estimado amostrando z ~ p_θ e fazendo a média de f(z)·∂log p_θ(z)/∂θ. Este é o estimador por trás do REINFORCE no aprendizado por reforço de gradiente de política, e é genuinamente versátil.

Funciona para z discreto e não requer reparametrizar a distribuição. Entidades principais: Empresas: Towards Data Science. Pergunta frequente: O que é o truque de reparametrização e por que ele reduz a variância do gradiente? Resposta frequente: O truque de reparametrização move a aleatoriedade para fora do gráfico de computação, transformando o gradiente de uma expectativa em uma derivada ordinária da regra da cadeia.

Isso permite gradientes pathwise que têm variância dramaticamente menor comparada aos estimadores de função de pontuação como REINFORCE, levando a treinamento mais estável e convergência mais rápida para modelos como VAEs e agentes de Aprendizado por Reforço de controle contínuo.