HeadlinesBriefing favicon HeadlinesBriefing.com

Les chatbots IA errent 57% du temps sur les réponses financières

Financial Times Companies •
×

Des recherches de la société technologique Saturn montrent que les modèles IA populaires de Chat GPT, Claude, Copilot, Grok et Gemini fournissent des réponses incorrectes aux questions financières en moyenne 57% du temps. Pour les questions complexes nécessitant plusieurs calculs, le taux d'erreur monte à 88%, certains modèles échouant 99% du temps. L'étude a testé plus de 100 questions liées à l'argent sur 18 modèles IA, totalisant plus de 10 000 requêtes.

Les erreurs incluaient des erreurs de calcul, l'omission de changements fiscaux et des règles inventées. Dans un cas, Claude Haiku 4.5 a donné de mauvais conseils fiscaux sur les retraites, risquant une amende de 17 500 £ de la part du HMRC. Une autre erreur a vu Claude inventer une règle permettant d'arrêter le remboursement des prêts étudiants en déménageant à l'étranger.

Les modèles payants ont surpassé les gratuits, et les versions plus récentes étaient plus précises. Le meilleur performeur, Claude Opus 5 en mode raisonnement, a tout de même commis des erreurs 39% du temps. Sarah Coles, responsable de la finance personnelle chez AJ Bell, a déclaré que les conseillers voient de plus en plus des clients agir sur des suggestions d'IA déroutantes.

Bien que les chatbots puissent aider à la budgétisation et à la recherche, l'Autorité de conduite financière a constaté qu'un adulte britannique sur cinq est ouvert à l'IA prenant des décisions financières, les jeunes investisseurs étant particulièrement confiants. Amal Jolly de Saturn a averti que les conseils financiers de l'IA restent non réglementés, laissant les consommateurs sans protections ni indemnisation disponibles auprès des conseillers humains.