Eu costumava me perguntar por que vejo muito mais bugs que a maioria das pessoas. Eu facilmente observo centenas a milhares de bugs por semana, mas a maioria das pessoas com quem converso não percebe. Por muito tempo, pensei que isso tivesse a ver com como eu uso os computadores, mas com o tempo, percebi que é principalmente porque as pessoas encontram os mesmos bugs e não percebem.

Eu fiz isso com amigos e conhecidos; apenas apontando bugs, após algumas semanas, as pessoas inclinadas tendem a começar a notar também. Porque eu percebo essas coisas, tenho tido vários empregos onde diretores, VPs e executivos às vezes me pedem para avaliar algo quando eles querem uma opinião real de alguém provavelmente a notar problemas. Mais frequentemente, encontro problemas que estão em algum lugar entre leves e moderados.

E às vezes, os problemas são graves, ao ponto de alguém poder dizer que a coisa realmente não funciona. Eu encontro essa última categoria misteriosa, pois os comentários internos geralmente indicam que a coisa é ótima, mas quando eu tento, ela só funciona se você fizer soluções não intuitivas. Mais provavelmente, um usuário normal não conseguiria usar a coisa e teria uma experiência hilariantemente ruim.

Após ver mais casos onde produtos são lançados e falham porque os usuários encontram os mesmos problemas, não acho que estou encontrando bugs porque estou fazendo coisas incomuns. Se um produto parece gravemente defeituoso quando eu o uso, provavelmente é. Com a magia dos LLMs, posso fazê-los agir como usuários normais e mostrar que os problemas se reproduzem em muitos cenários.