Em um episódio recente de President Curtis, o Presidente luta para abrir uma porta em duas ocasiões separadas. Essas portas não funcionam devido a obstruções no caminho: um corpo inicialmente, e depois aproximadamente um bilhão de dólares em ouro. Em ambos os casos, em resposta à frustração, o personagem murmura "a coisa estúpida odeia." Este não é um modelo razoável de portas! As portas não devem "odeiar" de forma inexplicável! Encontrei esses momentos ridículamente engraçados¹ mas talvez meu cérebro estúpido simplesmente odeia.

Jev: Fazer mais portas que odeiam A Internet está agitada sobre Jev, um modelo de IA desenvolvido por Type Safe AI, que retorna valores tipados com estimativas de probabilidade. As coisas importantes sobre Jev, tanto quanto posso dizer: é rápido e barato, você pode construir rapidamente sobre ele, é rápido, e é barato. Não sou particularmente bom em entender qual tecnologia será adotada. Ainda não entendo² Slack. Espera. Você ainda tem que fazer a parte difícil? Talvez meu problema seja esperar que os produtos funcionem. Ninguém comprando isso está rodando evals. Eles simplesmente perguntas opacas para Jev e recebem respostas opacas.

Caridosamente, isso permite que eles verifiquem a caixa "IA-powered" e enviem antes de sexta-feira, e quando isso quebra a lógica downstream, eles podem sempre encolher os ombros e dizer "bem, a IA comete erros." Orçamentos de erro? Modos de falha? Conjuntos de testes? Tudo isso pode ser tratado mais tarde. O usuário pode descobrir a taxa de falha! Você já enviou!

Falsa confiança "Oh," o escrivão respondendo ao meu post responde, "você não considerou o fato de que Jev dá scores de confiança!" O que você vai fazer com eles? Para fazer algo razoável com scores de confiança você precisa ter tanto uma compreensão da calibração desses scores de confiança e um modelo para os custos da incerteza.

Do lado da calibração: a cópia principal de anúncio do Jev é principalmente sobre o bem que eles scoreiam em vários benchmarks, mas não sobre o quão calibrados são seus scores de confiança. Há um cookbook sobre usar scores de confiança para subir uma árvore de classificação, mas isso não é fundamentalmente sobre o quão bons são os scores de confiança. No melhor caso, as pessoas usam scores de confiança de forma cultuosa. No pior caso, as pessoas os usam como uma desculpa para a falha da chamada API. O modelo estava apenas 73% confiável! Isso significa que meu orçamento de erro é de 27%!

Accountability Quando um botão quebra em um site, eu tenho um modelo sobre o que deveria ter acontecido. Alguém quebrou um contrato. Meu DNS está quebrado. Alguém enviou lixo que tem erros de sintaxe Java Script apenas em certos caminhos. Um handler jogou uma exceção que não era esperada para jogar. Eu talvez não tenha acesso para depurar apenas um status HTTP 500, mas eu espero que haja alguém cujo trabalho é entender porque o endpoint está 500. A propriedade é bem definida, embora opaca³.

Para muitos usuários, a experiência é aproximadamente apenas "a coisa estúpida odeia." Software já sente caprichoso; mais falhas apenas mudam a taxa de frustração. Parece que não há muita perda em remover a possibilidade de seguir uma falha para uma causa concreta. Às vezes as coisas simplesmente odeiam. Isso leva à normalização da inexplicabilidade.

Meu medo não é que mais coisas falharão quando as things são aceleradas pelo desenvolvimento LLM. Elas falharão. Elas já fizeram. Tal é parte do preço de construir coisas de uma maneira nova. Meu medo é que "às vezes simplesmente odeia" se torne cada vez mais o ponto final aceito de investigações. Isso é trágico porque o desenvolvimento acelerado por LLM pode nos ajudar a resolver alguns desses problemas. Há muitos fluxos de trabalho de QA automatizados que não são escritos por falta de tempo de engenharia. A mesma avaliação que te levaria a maior parte do caminho para substituir (ou até mesmo justificar o uso de) Jev pode estar a algumas perguntas de distância.

A tragédia da engenharia de software hoje é que estamos ativamente engenhando sistemas onde nem o usuário nem o construtor parecem ter interesse em verificar se há um corpo por trás da porta. Nós apenas...