Principales constatations
- L'ISD a testé 300 requêtes en cinq langues, et 18 % des réponses ont été attribuées à des contenus attribués par l'État russe. Il s'agit notamment de citations de médias d'État russes, de sites liés aux agences de renseignement russes et de sites connus pour être impliqués dans des opérations d'information russes qui ont été trouvés lors de recherches antérieures sur les réponses des chatbots.
- Près d'un quart des requêtes malveillantes visant à susciter des opinions pro-russes comprenaient des sources attribuées au Kremlin, contre un peu plus de 10 % pour les sources neutres. Cela suggère que les LLM peuvent facilement être manipulés pour renforcer les points de vue pro-russes plutôt que de promouvoir des informations vérifiées provenant de sources légitimes.
- Parmi tous les chatbots, ChatGPT a cité le plus de sources russes et a été le plus influencé par des requêtes biaisées. Grok, quant à lui, est souvent lié à des comptes alignés sur la Russie mais non affiliés à l'État, amplifiant les récits pro-Kremlin. Les réponses individuelles de DeepSeek produisaient parfois de gros volumes de contenu attribué à l'État, tandis que Gemini, propriété de Google, affichait fréquemment des avertissements de sécurité pour des invites similaires.
- Différents sujets ont fait surface, d'autres sources attribuées à l'État russe. Par exemple, les questions sur les pourparlers de paix ont donné lieu à deux fois plus de citations de sources attribuées par l'État que de questions sur les réfugiés ukrainiens. Cela suggère que l'efficacité des garanties LLM peut varier en fonction du sujet spécifique.
- Le langage utilisé dans les requêtes a eu un impact limité sur la probabilité que les LLM citent des sources attribuées par l'État russe. Bien que chaque modèle ait réagi différemment, les sources fournies aux utilisateurs étaient à peu près similaires dans les cinq langues testées. L'espagnol et l'italien ont suscité des sources russes, principalement en anglais, qui sont apparues dans 12 résultats sur 60, contre 9 sur 60 pour l'allemand et le français (les langues les moins notées).
LIRE L'ENQUÊTE COMPLÈTE ICI (EN ANGLAIS)