Fin août, les auteurs de l'étude ont demandé aux deux IA de restituer les résultats semestriels de 39 entreprises de l'indice parisien. Au total, 8 671 conversations et 34 684 réponses ont été analysées. Verdict : seulement 60% des chiffres demandés ont été correctement restitués. Autrement dit, 40% ne correspondent pas à l'information recherchée.
Toutes les données ne posent toutefois pas les mêmes difficultés. ChatGPT et Gemini donnent le bon résultat net dans 67% des cas et la bonne dette nette dans 66% des réponses. Le taux tombe à 57% pour l'EBITDA et surtout à 42% lorsqu'il s'agit de restituer la croissance publiée.
Dans 24% des cas sur ce dernier indicateur, l'IA fournit bien un chiffre officiel, mais pas celui qui lui était demandé. Les modèles peuvent notamment confondre croissance organique et croissance publiée, ou données trimestrielles et semestrielles.
Les écarts sont également considérables selon les entreprises. Les informations concernant Capgemini sont correctement restituées dans 81% des cas, devant Airbus (80%), Publicis et Danone (77%). À l'autre bout du classement, le taux tombe à 32% pour Crédit Agricole, 35% pour EssilorLuxottica et BNP Paribas, ou encore 38% pour Bouygues.
Les communiqués des entreprises, principale source des IA
L'étude permet aussi de comprendre d'où viennent les informations fournies. 78% des sources utilisées par ChatGPT et Gemini proviennent directement des sites des entreprises, notamment de leurs espaces presse et investisseurs et de leurs documents de résultats. Les sites financiers comme MarketScreener, Zonebourse, Investing ou Boursorama ne représentent que 2,42% des sources, et la presse seulement 0,08%.
Un résultat qui appelle donc à la prudence pour l'épargnant : retrouver le bon document ne garantit pas que l'IA en extraira le bon chiffre. Comme le montre l'étude, elle peut parfaitement s'appuyer sur une source officielle tout en répondant à côté de la question.
