Agora qualquer um pode construir uma demonstração de LLM com uma única chamada à API. Fazer com que o mesmo recurso sobreviva a usuários reais, dados reais e uma conta real é um trabalho diferente. Esse trabalho se resume a cinco habilidades que aparecem em quase todos os sistemas de produção em que trabalhei ou revisei: recuperação, roteamento, guardrails, evals e loops de agentes.

Cada uma responde a uma pergunta que um modelo de fronteira não pode lidar sozinho. De onde vêm os dados da minha empresa? Por que a conta é tão alta? O que acontece quando alguém envia um prompt hostil? Minha última alteração melhorou ou piorou as coisas? Como faço para que um modelo execute trabalhos multietapas sem cair? Habilidade #1: RAG, fundamentando um modelo com seus próprios dados Um modelo base não conhece os documentos de sua empresa, e ajustá-lo sempre que eles mudam é lento e caro. A geração aumentada por recuperação (RAG) busca os documentos relevantes no momento da consulta e os passa ao modelo como contexto.

Ainda é o padrão LLM mais comum em produção e geralmente a primeira coisa que um currículo ensina. O trabalho interessante está na recuperação. Se você retorna o chunk correto depende de como você divide os documentos (chunking), se você combina busca por palavras-chave e semântica (recuperação híbrida) e se você reordena os resultados antes que cheguem ao modelo (reranking).

Habilidade #2: Roteamento de modelos: pagando pelo modelo que a tarefa precisa Enviar cada solicitação a um modelo de fronteira é a forma mais rápida de chegar a uma conta que ninguém pode explicar. O roteamento envia solicitações fáceis e de alto volume a um modelo pequeno ou local e reserva o modelo caro para as difíceis. Adicionar um cache para prompts repetidos é informado para reduzir entre 40% e 70% nas contas de inferência de produção, o que é por que o roteamento foi de uma dica avançada a uma expectativa básica.

A habilidade é pontuar uma solicitação e escolher um nível.