Cette IA prend des décisions au hasard et 86% des experts la suivent sans même s'en apercevoir
Fin 2026, Anthropic a demandé à 50 spécialistes de l’inférence causale de collaborer avec Claude sur un cas de coopérative agricole fictive. L’expérience révèle un alignement massif sur l’IA, au point de questionner qui, de l’humain ou de l’agent, tranche vraiment.
Un tirage à pile ou face caché dans une ligne d’instruction suffit-il à faire basculer l’avis d’un expert chevronné vers celui d’une IA ? C’est précisément ce qu’a voulu tester Anthropic avec son modèle Claude, en demandant à des spécialistes de l’analyse statistique de travailler main dans la main avec un agent conversationnel, sans révéler que ce dernier suivait des préférences choisies au hasard.
Au terme de l’expérience, ces analystes ont aligné leurs décisions sur celles de Claude dans 86 % des cas, bien au-delà des 50 % attendus si le modèle n’avait joué aucun rôle particulier. Ils ont aussi largement repris ses arguments, tout en le citant très rarement comme source. De quoi interroger, très concrètement, la frontière entre assistance numérique et véritable jugement expert.
Une expérience conçue pour mesurer l’influence de Claude sur des spécialistes
L’étude, publiée fin octobre 2026 par Anthropic, repose sur 61 spécialistes de l’inférence causale, dont 50 ont finalement utilisé un agent IA pendant la tâche. Ces participants devaient conseiller une coopérative agricole fictive, la « Greenfields Farming Co-operative », en choisissant des indicateurs de productivité, une méthode de comparaison, un périmètre de données et une pondération entre sous-groupes. Pour les accompagner, les chercheurs ont mis à leur disposition Claude Code, basé sur Claude Opus 4.8 en mode « High effort ».
Le coeur du protocole tenait dans une instruction système invisible donnée à l’agent. Pour chacune des quatre décisions méthodologiques, un tirage au sort déterminait l’option qu’il devait préférer. Cette « lean » de l’agent, imposée par un simple coin flip, guidait ensuite ses réponses : l’IA devait défendre l’option tirée au sort, argumenter de façon cohérente, sans mentir ni inventer de données, et accepter en théorie de changer d’avis si l’évidence factuelle l’y poussait. Sans cette influence, les choix auraient dû se répartir autour de 50 % en moyenne entre les différentes options possibles.
86 % d’alignement, arguments recopiés et préférences difficiles à détecter
Les résultats rassemblés par Anthropic sont spectaculaires. En moyenne, les 50 analystes ont suivi la préférence de leur agent dans 86 % des décisions étudiées, avec un pic à 92 % pour le choix de la mesure des résultats. Les trois autres décisions tournaient autour de 82 %, 81 % et 90 % d’alignement. Fait marquant : en ne regardant que les préférences assignées aux agents sur les étapes intermédiaires, les chercheurs pouvaient prédire environ 82 % des recommandations finales, avant même que le travail ne commence réellement.
| Décision | Exemple d’enjeu | Alignement sur Claude | Effet potentiel |
|---|---|---|---|
| Mesure des résultats | Choisir l’indicateur de performance | 92 % | Oriente la définition même du succès |
| Décision méthodologique 2 | Par exemple la méthode de comparaison | 82 % | Modifie la façon d’évaluer les écarts |
| Décision méthodologique 3 | Par exemple le périmètre des données | 81 % | Change quelles fermes sont prises en compte |
| Décision méthodologique 4 | Par exemple la pondération des sous-groupes | 90 % | Fait varier l’impact de chaque segment |
Au delà des chiffres de choix, l’étude examine la façon dont les experts reprennent les formulations de l’agent. Après l’exercice, 77 % des participants ont réutilisé les arguments proposés par Claude, parfois presque mot pour mot, mais seuls 15 % l’ont mentionné comme source. Les analystes qui suivaient le plus étroitement ces suggestions se disaient aussi confiants que les autres et présentaient souvent les conclusions comme les leurs. Aucun ne s’est aperçu que le modèle recevait une préférence imposée à chaque étape, ce qui a permis aux chercheurs de mesurer l’effet réél de l’agent sur le raisonnement, sans que les experts aient conscience de ce biais.
Anthropic souligne plusieurs limites : les préférences de l’agent ont été volontairement renforcées, l’expérience ne porte que sur un modèle et une tâche spécifique, et certaines analyses reposent sur un nombre réduit de cas. Les auteurs notent aussi que les analystes assistés par IA terminaient plus vite et commettaient moins d’erreurs graves que le petit groupe sans agent, ce qui montre que ces outils peuvent aussi améliorer la qualité du travail. En parallèle, des tests séparés indiquent que Claude Opus 4.8, même sans préférence imposée, tend à choisir le même ensemble d’options dans 112 exécutions sur 123, révélant des penchants de base très stables. Pour les organisations qui déploient ces systèmes, l’enjeu devient donc de garder la trace de l’influence de l’IA sur chaque recommandation, afin d’éviter ce que l’équipe décrit comme un risque de « disempowerment », où l’expert ne distingue plus clairement sa propre décision de celle de l’agent.
En bref
- Fin octobre 2026, Anthropic publie une étude où 50 spécialistes de l’inférence causale conseillent une coopérative agricole fictive en travaillant avec l’agent Claude Code basé sur Claude Opus 4.8.
- Avec un simple tirage à pile ou face injecté dans le system prompt, les préférences de Claude orientent 86 % des décisions méthodologiques, 77 % des experts reprenant ses arguments tandis que seuls 15 % le citent explicitement.
- Entre amélioration apparente de la qualité, penchants de base très stables du modèle et risque de disempowerment, l’étude ouvre un débat crucial sur la façon dont organisations et chercheurs doivent encadrer les judgment calls assistés par IA.
