📌 L'essentiel en une phrase
Peut-on demander à une intelligence artificielle ce que penseraient des milliers de personnes, plutôt que de le leur demander ? Une étude publiée dans Nature en 2026 a testé l'idée sur 70 expériences réelles et 119 330 participants. Les prédictions du modèle sont fortement corrélées aux résultats observés. Mais il exagère systématiquement l'ampleur des effets.
La question posée
On savait déjà que les modèles de langage pouvaient imiter des réponses à des sondages. Une question plus exigeante restait ouverte : peuvent-ils prédire le résultat d'une expérience, c'est-à-dire l'effet causal d'une intervention ? La différence est importante : prédire une opinion moyenne est une chose, prédire de combien un message change cette opinion en est une autre.
Le protocole
Les auteurs ont constitué une archive de 70 expériences de sondage préenregistrées, représentatives de la population américaine, couvrant 469 effets expérimentaux et 119 330 participants. Ils ont ensuite demandé au modèle de simuler la façon dont un échantillon représentatif d'Américains réagirait à chaque stimulus, puis ont calculé l'effet en comparant les réponses simulées entre conditions.
📚 L'archive
70 expériences préenregistrées, 469 effets, 119 330 participants réels.
📈 La performance
Corrélations élevées avec les effets réels, comparables aux prévisions humaines agrégées.
⚠️ Le défaut
Surestimation systématique de la taille des effets.
Le test qui compte : les études inconnues
L'objection immédiate est la mémorisation : si le modèle a lu l'étude pendant son entraînement, il ne prédit rien, il se souvient. Les auteurs ont donc vérifié les performances sur les études non publiées ni diffusées publiquement à la date de coupure des données d'entraînement. Les corrélations y restent élevées. Le modèle ne fait donc pas que réciter.
Le défaut important
Malgré ces corrélations élevées, les prédictions surestiment systématiquement les tailles d'effet. C'est une distinction cruciale : le modèle classe correctement les interventions les unes par rapport aux autres, mais il exagère leur ampleur. Utilisable pour comparer et hiérarchiser, donc, mais pas pour chiffrer l'effet attendu d'une intervention.
✅ Les usages raisonnables
Les auteurs ont interrogé 460 chercheurs en sciences sociales et testé plusieurs usages. Trois tiennent la route : le test préliminaire de matériel expérimental, la sélection d'interventions à tester en priorité, et l'identification d'effets à répliquer. Ce qui ne tient pas : remplacer la collecte de données. Le risque principal identifié est de publier des résultats simulés comme s'ils étaient observés.
📌 L'essentiel en une phrase
Ashokkumar et coll. (Nature, 2026) constituent une archive de 70 expériences de sondage préenregistrées et représentatives à l'échelle nationale aux États-Unis (469 effets, 119 330 participants). Un LLM simule les réponses d'échantillons représentatifs aux stimuli, et les effets de traitement sont inférés par comparaison entre conditions. Les prédictions de GPT-4, dont la coupure d'entraînement précède la publication de nombreuses études de l'archive, sont fortement corrélées aux effets réels, à une précision comparable aux prévisions humaines agrégées, y compris pour les études non publiées à la coupure. Elles surestiment systématiquement les tailles d'effet. Une archive secondaire de 15 mégaétudes (606 effets) donne des corrélations plus faibles mais comparables à celles de prévisionnistes experts.
1. Prédire un effet n'est pas imiter une opinion
La littérature antérieure portait sur la capacité des LLM à reproduire des distributions de réponses à des questions d'enquête. L'objet ici est différent : il s'agit d'un effet de traitement, c'est-à-dire d'une différence entre conditions. C'est une quantité du second ordre, plus difficile à prédire et plus informative, puisqu'elle porte sur la réactivité d'une population à une intervention et non sur son état.
2. Le comparateur, bien choisi
Évaluer une prédiction exige un étalon. Les auteurs retiennent les prévisions humaines agrégées, référence pertinente parce que la littérature sur la prévision des résultats scientifiques montre que des groupes d'experts atteignent des corrélations modestes mais non nulles. Se situer à ce niveau signifie que le modèle est compétitif avec l'intuition collective du champ, ce qui est le standard réaliste, et non avec la vérité.
3. La question de la contamination, traitée frontalement
Le risque méthodologique central est la contamination des données d'entraînement. Le test retenu est le bon : restreindre l'évaluation aux études non publiées ni diffusées publiquement avant la coupure. Le maintien de corrélations élevées dans ce sous-ensemble constitue l'argument principal contre une explication par simple mémorisation. La réplication avec des modèles à poids ouverts renforce la robustesse en montrant que le résultat n'est pas propre à un système.
4. Corrélation élevée et biais systématique : deux propriétés distinctes
Le motif observé, corrélation élevée mais surestimation systématique, est typique d'un prédicteur bien ordonné mais mal calibré. Cela détermine précisément les usages légitimes. Les décisions ordinales (quelle version tester en priorité, quel effet mérite une réplication) sont soutenues. Les décisions cardinales (calcul de puissance statistique, dimensionnement d'échantillon, estimation d'un rapport coût-efficacité) ne le sont pas : une surestimation systématique conduirait à sous-dimensionner les études et à multiplier les résultats non significatifs.
🔎 Le réflexe méthodo à garder
Trois réserves. (1) Le domaine est restreint : expériences de sondage aux États-Unis, sur des textes, avec des résultats attitudinaux. Rien ne garantit la transposition à des comportements réels, à d'autres cultures ou à d'autres langues. (2) La corrélation plus faible sur les mégaétudes indique que la performance se dégrade quand les effets sont petits et nombreux, c'est-à-dire précisément dans les situations où l'on aurait le plus besoin d'aide. (3) Le risque signalé par les auteurs est social autant que technique : la substitution de données simulées à des données observées.
📌 L'essentiel en une phrase
Archive de 70 expériences de sondage préenregistrées représentatives aux États-Unis (469 effets, 119 330 participants) ; simulation par LLM d'échantillons représentatifs et inférence des effets de traitement par comparaison entre conditions. Prédictions GPT-4 fortement corrélées aux effets observés, à précision comparable aux prévisions humaines agrégées, y compris pour les études non publiées à la coupure d'entraînement, et répliquées sur des modèles à poids ouverts ; surestimation systématique des tailles d'effet. Archive secondaire de 15 mégaétudes (606 effets) : corrélations plus faibles mais comparables à celles de prévisionnistes experts. Enquête auprès de 460 chercheurs sur usages et risques perçus ; évaluation d'applications (test préliminaire, sélection d'interventions, identification d'effets à répliquer) et de risques (biais, mésusage).
Ce que le dispositif mesure exactement
Il faut être précis sur l'objet prédit. Le modèle ne prédit pas un comportement humain : il prédit le résultat d'une étude, laquelle est elle-même une mesure bruitée d'un effet comportemental, obtenue sur des panels en ligne avec leurs biais propres (professionnalisation des répondants, effets de demande, satisficing). La corrélation élevée peut donc en partie refléter la capacité du modèle à reproduire les régularités du genre « expérience de sondage » plutôt qu'une compréhension de la psychologie humaine. Cette distinction n'invalide pas l'utilité pratique, mais elle borne l'interprétation.
Le test de contamination et ses limites résiduelles
Restreindre l'évaluation aux études postérieures à la coupure est la bonne stratégie, mais elle ne ferme pas complètement la question. Trois fuites possibles subsistent : la diffusion partielle avant publication (préenregistrements publics, communications en conférence, fils de discussion), la similarité au corpus (une étude inédite portant sur un paradigme largement documenté reste prédictible par analogie), et l'opacité des données d'entraînement des modèles commerciaux, qui empêche toute vérification indépendante. La réplication sur modèles ouverts atténue le troisième point.
Calibration : la propriété qui décide des usages
La surestimation systématique est le résultat pratiquement le plus important de l'article. Une origine plausible est l'alignement : les modèles instruits produisent des réponses plus cohérentes et moins bruitées que des humains, ce qui réduit la variance intra-condition et gonfle mécaniquement l'écart standardisé entre conditions. Si cette explication est correcte, le biais est structurel et non corrigeable par un meilleur prompt, mais potentiellement corrigeable par un recalibrage empirique appris sur une archive comme celle-ci. C'est une piste que l'étude ouvre sans la fermer.
Risques d'écosystème
Trois risques dépassent la méthode. (1) Substitution silencieuse : présenter des effets simulés comme observés, ou ne pas déclarer l'usage du simulateur dans le processus de sélection des hypothèses. (2) Homogénéisation : si de nombreuses équipes filtrent leurs hypothèses avec le même modèle, la littérature se déplace vers ce que ce modèle juge plausible, ce qui réduit la diversité des tests et renforce ses propres biais. (3) Équité de représentation : les simulations reproduisent la démographie telle qu'elle est représentée dans les données d'entraînement, avec une sous-représentation attendue des minorités et des positions marginales, précisément là où l'erreur de prédiction serait la plus coûteuse.
✅ La formule honnête
L'article ne montre pas que l'IA peut remplacer les participants, et ne le prétend pas. Il montre qu'un LLM constitue un prévisionniste comparable à un panel d'experts, bien ordonné et mal calibré, donc utile pour hiérarchiser et filtrer en amont d'une collecte de données. La contribution la plus durable pourrait être l'archive elle-même, qui fournit un banc d'essai pour évaluer les futurs modèles sur une tâche scientifiquement pertinente.
