HeadlinesBriefing HeadlinesBriefing.com

ChatGPT citou estatísticas falsas: um experimento de GEO

Hacker News •
×

Um profissional de marketing criou um site com 50.000 estatísticas inventadas por cerca de US$ 50, geradas em um único dia com o GPT-4.1 sem que ele verificasse um único número. O site foi lançado no novo domínio stateglobe.com e se apresentava como fornecedor de dados de SEO, marketing de conteúdo, redes sociais, comércio eletrônico e tecnologia web de 200 países.

O Google removeu as páginas do índice após duas atualizações, logo depois do lançamento, e por meses o site ficou quase invisível nos resultados do Google. O ChatGPT, porém, continuou citando-o. Ao longo de sete meses, o site atraiu mais de 10.000 sessões vindas de IA e links de mais de 330 domínios de referência, incluindo Shopify, Bluehost e DHL. Os números inventados também apareceram em um artigo acadêmico e em uma pesquisa de investimentos de um banco.

O experimento surgiu de uma pesquisa sobre como grandes modelos de linguagem buscam dados confiáveis quando não têm informações. Como o conteúdo sensível ao tempo costuma ser escrito com LLMs, os modelos frequentemente procuram estatísticas para preencher lacunas. O autor argumenta que a maioria das recomendações de otimização para mecanismos generativos se concentra apenas em fazer uma marca aparecer em uma resposta de IA, enquanto este teste examina o que acontece depois que as pessoas reutilizam essa saída.

Dados da Cloudflare mostraram mais de 600.000 requisições de bots nos últimos 30 dias, cerca de 72.000 delas do ChatGPT-User, o agente que o ChatGPT usa para buscar páginas. Os resultados destacam um risco para quem depende da busca por IA para obter fatos: números fabricados podem se espalhar amplamente depois de publicados, mesmo quando os buscadores já não os exibem.

Fonte: Hacker News · Resumido por HeadlinesBriefing