Seu agente retorna algo estranho. Foi o prompt, uma chamada de ferramenta que expirou ou uma resposta que seu código não conseguiu analisar? Sem rastros, você está adivinhando.

Um cliente pergunta ao novo assistente de suporte baseado em IA de uma empresa se uma assinatura comprada há 15 dias se qualifica para um reembolso. O assistente responde explicando que a empresa oferece uma janela de reembolso de 30 dias, descreve o processo de cancelamento e promete que o dinheiro chegará em cinco dias úteis. Na realidade, a empresa só permite reembolsos dentro de 14 dias. O assistente inventou um compromisso falso do nada.

Alucinação no contexto de LLMs é informação gerada que é factualmente incorreta, inventada ou inconsistente com o material que o modelo deve usar. A resposta inteira pode não estar errada, mas um pequeno detalhe fabricado pode ser a parte na qual o leitor confia.

Os erros se enquadram em três categorias: uma alucinação factual contradiz a realidade; uma alucinação de fidelidade diz respeito à relação entre a resposta e a evidência fornecida; a fabricação envolve inventar algo como uma seção de política ou um artigo de pesquisa. Essas categorias se sobrepõem.

Entidades-chave: Empresas: ByteByteGo, Sentry | Pessoas: Serge