Suivre les progrès de l’IA sur 18 dimensions cognitives issues de la psychométrie

Contexte sur l’article ADeLe : pourquoi une échelle multidimensionnelle

ADeLe, pour Annotated-Demand-Levels, repose sur deux idées.

Idée 1 : ce qu’un benchmark mesure réellement peut être établi à partir de variables latentes issues de la psychométrie

Le point de départ de l’article ADeLe est que les benchmarks ne mesurent pas ce qu’ils annoncent mesurer. Une de ses analyses documente que sur 14 benchmarks examinés, neuf d’entre eux ne mesurent aucune des dimensions cognitives revendiquées par leurs auteurs, et pour les autres la correspondance n’est que très partielle. Les benchmarks de « raisonnement », en particulier, mesurent souvent des compétences hors de leur périmètre annoncé (défaut de spécificité), ou ne mesurent pas celles que leur périmètre annoncé implique (défaut de sensibilité). Ce constat invite à la prudence dans l’interprétation des scores de benchmarks, et plaide pour leur préférer des dimensions cognitives explicites du type de celles d’ADeLe.

Plutôt que de faire confiance à ces revendications, les auteurs procèdent en sens inverse. Ils sélectionnent d’abord 18 dimensions cognitives issues de la littérature psychométrique (voir Annexe 1), chacune assortie d’une définition, d’une échelle de difficulté allant de 0 à 5+ et d’exemples de questions pour chaque niveau. Ils s’en servent ensuite pour déterminer ce que chaque benchmark sollicite effectivement.

En pratique, 16 108 questions provenant de 63 tâches issues de 20 benchmarks ont été annotées le long des 18 dimensions par un LLM annotateur, formant le corpus ADeLe v1.0. L’accord entre annotateurs humains, ainsi qu’entre annotateurs humains et LLM annotateur, a été vérifié sur un sous-ensemble. Chaque benchmark dispose ainsi d’une distribution de difficulté qui indique, pour chaque dimension, la proportion de ses questions relevant de chaque niveau. Cette distribution ne dépend d’aucune population de sujets, et tout ensemble de questions annotées dispose d’une distribution de difficulté.

Idée 2 : les variables latentes de difficulté fournissent des dimensions naturelles pour évaluer des capacités cognitives

Une échelle de difficulté des questions se lit également comme une échelle de compétence des sujets. Chaque modèle d’IA est interrogé sur chaque question, ses réponses sont classées comme correctes ou incorrectes par un LLM juge disposant des réponses de référence, puis un score de capacité est calculé par dimension à partir de ces résultats et des annotations de difficulté.

Deux résultats de l’article justifient de traiter ces dimensions comme des variables de capacité. D’abord, pour prédire si un modèle donné répondra correctement à une question donnée, les annotations ADeLe font aussi bien ou mieux que les méthodes alternatives, avec une robustesse nettement supérieure dans les configurations hors échantillon (out-of-sample). Ensuite, les dimensions progressent de manière cohérente avec leurs descriptions : les dimensions de connaissance suivent principalement la taille du modèle, tandis que celles représentant le raisonnement quantitatif et logique, la conceptualisation, l’apprentissage et l’abstraction, ainsi que la modélisation d’autrui, sont renforcées chez les modèles d’IA avec chain-of-thought qui consacrent davantage de calcul à l’inférence. En isolant l’effet de la taille du modèle, les auteurs observent des rendements décroissants sur le score de capacité.

L’intérêt de ce cadre pour le suivi des capacités tient à trois propriétés :

1. les scores d’un modèle ne changent pas lorsqu’on ajoute d’autres modèles à l’évaluation, contrairement à l’Epoch Capabilities Index ;
2. les échelles ne saturent pas, par construction, puisqu’elles décrivent la difficulté des items et non le taux de réussite ;
3. un niveau donné dans une dimension se traduit en une description concrète de ce que le modèle sait faire.

Contexte sur l’article Human Scales : ancrer les niveaux dans des références humaines

Romero et al. prolongent l’article ADeLe en cherchant à ancrer ses niveaux dans des références humaines représentatives de la population mondiale. Nous avons exploré ce que cette approche indique de la progression des capacités des IA au cours du temps, mais l’extrapolation à l’ensemble de la population humaine nous paraît encore trop fragile. Ce billet s’appuie donc sur l’article ADeLe et ne reprend aucun résultat de l’article Human Scales. En revanche, les données collectées par ses auteurs nous ont permis d’établir nos propres repères humains sans recourir à cette extrapolation.

Notre analyse

Nous procédons en trois temps.

Évolution temporelle. Les 21 modèles sont associés à leur date de sortie. Les 18 dimensions sont combinées en 10 groupes, en reprenant les regroupements proposés par les auteurs. Le score d’un groupe est la moyenne harmonique des scores des dimensions qui le composent. Ce regroupement est nécessaire pour que le calcul ultérieur des repères humains ne souffre pas d’un trop grand nombre de données manquantes.

Frontière et tendance. Pour chaque groupe, la frontière rassemble les modèles dont le score est supérieur ou égal à celui de tous les modèles documentés sortis à la même date ou avant. Une régression affine bayésienne est ajustée sur cette frontière, dont nous représentons la moyenne a posteriori et l’intervalle de crédibilité à 95 %.

Repères humains. Nous isolons 183 questions TIMSS Grade 8 (élèves de 13-14 ans) annotées, accompagnées de leur taux de réussite international moyen. Nous définissons alors un sujet virtuel TIMSS-p, qui réussit toute question dont le taux de réussite est supérieur ou égal à p et échoue aux autres. Ce sujet virtuel dispose donc d’un ensemble de réponses correctes et incorrectes sur des questions annotées, ce qui permet de lui calculer un profil ADeLe par le même calcul que pour les modèles. Après vérifications, nous retenons les profils TIMSS-médiane (approximativement un élève médian, voir Annexe 2) et TIMSS-0.2 (approximativement un élève au top 20 %) sur 7 des 10 groupes, tracés en lignes horizontales.

Résultats

Les modèles progressent sur toutes les dimensions cognitives que le corpus ADeLe permet d’observer, sans plafonnement visible. Entre mi-2023 et mi-2024, la frontière franchit le niveau des bons élèves de 13-14 ans sur toutes les dimensions comparables. Le niveau 5 est aujourd’hui dépassé, à la fois par au moins un modèle et par la tendance sous-jacente, sur l’ensemble des dimensions.

Sur les dimensions de connaissance rattachées à un cursus scolaire, ce franchissement se lit directement en termes de niveaux d’études, puisque les paliers 1 à 5 correspondent respectivement à l’école élémentaire, au collège, au lycée, au premier cycle universitaire et au master.

La progression sur la dimension Volume indique une croissance exponentielle de la durée des tâches réalisables, répliquant les observations de METR. L’échelle Volume étant définie de manière logarithmique, avec chaque niveau correspondant à un ordre de grandeur de temps humain, la progression linéaire mesurée signifie une progression exponentielle du temps de travail humain équivalent.

Interprétation

Ces résultats ne signifient pas que les modèles dépassent déjà les humains sur toutes les tâches cognitives. D’une part, les évaluations mobilisées n’incluent que des tâches à base de texte. De l’autre, un modèle peut atteindre un niveau élevé sur chaque dimension actuellement incluse tout en échouant sur des tâches faisant appel à des dimensions rares et à l’avantage des humains. C’est ce qui explique qu’un benchmark comme SimpleBench, conçu pour exploiter cet écart, montre encore les modèles de pointe légèrement en dessous des humains.

En revanche, ces trajectoires affaiblissent l’hypothèse selon laquelle le progrès des IA pourrait être bloqué par des limites durables sur certaines capacités cognitives. Même si le profil des capacités reste irrégulier, les dimensions plus faibles progressent elles aussi continûment, et rien dans les données observées ne suggère qu’elles se stabiliseront sous le niveau humain. Le poids de cet argument reste modéré, étant donné que les scores utilisés proviennent d’évaluations textuelles et que les auteurs eux-mêmes appellent à étendre le cadre aux modèles agentiques.

Limites

• Annotations restreintes. ADeLe v1.0 ne contient pas de questions annotées au-delà du niveau 5. Les meilleurs modèles sont donc évalués sur leurs scores à des niveaux inférieurs à leur limite réelle, ce qui oblige à extrapoler certaines capacités au-delà de la difficulté maximale annotée.
• Texte uniquement. Les questions et réponses sont exclusivement textuelles, sans dimensions pour les usages agentiques, multimodaux ou avec des outils externes.
• Les modèles manquants. L’absence de plusieurs familles de modèles, dont Claude, produit une sous-estimation attendue de la position de la frontière, puisque l’ajout d’un modèle ne peut que la relever. L’effet sur l’analyse globale reste vraisemblablement limité, une part importante des modèles de frontière étant incluse.
• Le traitement dimension par dimension. Le calcul d’un profil sélectionne, pour chaque dimension, les questions dont le niveau sur cette dimension domine les autres, puis ajuste une sigmoïde à deux paramètres sur la probabilité de réussite. Cette procédure capture mal trois phénomènes. D’abord l’irrégularité des profils : un sujet très compétent en sciences formelles et faible en sciences naturelles échouera à une question exigeant les deux (avec un peu moins de sciences naturelles), mais cet échec sera imputé aux sciences formelles, et la question sera écartée avant le calcul de son score en sciences naturelles. Ensuite les effets de compensation : une question peut être résolue par une voie que ses annotations ne reflètent pas, par exemple en connaissant directement le résultat. Enfin le cumul des difficultés : une question difficile sur une seule dimension et une question difficile sur toutes les dimensions sont traitées de façon identique dans le calcul du score, alors que la seconde est manifestement plus dure.
• La régression linéaire. Elle ne peut pas capturer un changement de régime. Au vu de la qualité des ajustements obtenus, nous estimons que les tendances observées sont effectivement linéaires sur la période. La dimension Attention and Scan fait exception, la progression y est visible mais moins régulière, et la droite en rend moins bien compte. Cette hypothèse de linéarité devra être réexaminée à mesure que de nouveaux modèles seront évalués.

Nous nous attendons à ce que des méthodes de calcul de profil plus fines conduisent aux mêmes conclusions qualitatives. Ces limites importent davantage pour des analyses ultérieures qui reposeraient plus lourdement que la nôtre sur les valeurs absolues des scores.

Travaux futurs

• Évaluer davantage de modèles, en particulier les modèles de frontière passés et actuels absents de la base.
• Définir des niveaux de difficulté au-delà de 5 et ajouter les questions correspondantes, pour rendre les scores fiables dans la partie haute de l’échelle.
• Diversifier les références humaines, avec des adultes plus qualifiés, et ajouter des variables de fiabilité. Comparer des modèles à des profils de métiers permettrait d’anticiper leur possible automatisation. Quantifier la fiabilité, et non seulement le niveau moyen, permettrait d’estimer les probabilités de défaillances ou succès inattendus.
• Étendre le cadre aux configurations agentiques et multimodales, en tenant compte des échafaudages logiciels (scaffolds), ce qui soulève des difficultés méthodologiques propres.
• Traiter l’irrégularité des profils et les effets de compensation dans le calcul des scores, sans rendre le corpus plus coûteux à étendre.

Annexe 1 - Les dimensions d’ADeLe

L’improbabilité de deviner (UG) est comptabilisée à part, ce qui porte le total à 19 lignes pour 18 dimensions cognitives. Les niveaux de difficulté vont de 0, la dimension n’est pas sollicitée, à 5, sollicitation très élevée.

Annexe 2 - Construction des repères humains

Les données proviennent de l’article de suivi consacré aux références humaines (Romero et al.), dont les auteurs visent une extrapolation à la population mondiale. Nous ne reprenons pas cette extrapolation, que nous jugeons encore trop fragile, et nous limitons aux données brutes qu’ils ont collectées.

Nous retenons 183 questions issues de TIMSS Grade 8, enquête internationale portant sur des élèves de 13 à 14 ans, pour lesquelles nous disposons à la fois des annotations de difficulté ADeLe et du taux de réussite international moyen. Le sujet virtuel TIMSS-p réussit par construction toute question dont le taux de réussite est supérieur ou égal à p. Faire varier p permet de représenter des élèves fictifs de niveaux différents, avec TIMSS-médiane correspondant approximativement à un élève médian, et TIMSS-0.2 à un élève au top 20 %. Le profil ADeLe de chaque sujet virtuel est ensuite calculé comme pour un modèle.

Deux groupes de dimensions n’ont pas pu être traités faute de données suffisantes, et les résultats d’un troisième ont été jugés trop fragiles pour être publiés.

Cette construction ne prétend pas représenter un élève réel, dont les réussites et échecs ne suivent pas un seuil déterministe sur le taux de réussite international, mais fournit un repère interprétable.

Code

Le code de nos analyses est disponible sur github.com/General-Purpose-AI-Policy-Lab/adele-extension.