Avec le soutien du programme de subventions Accelerating Foundational Model Research (AFMR), une \u00e9quipe de chercheurs de Microsoft et de ses institutions partenaires a d\u00e9velopp\u00e9 une m\u00e9thode d’\u00e9valuation des mod\u00e8les d’IA capable de pr\u00e9dire et d’expliquer leurs faibles performances sur des t\u00e2ches sp\u00e9cifiques, ce que les benchmarks actuels peinent \u00e0 faire.<\/p>\n\n\n\n
Dans un article intitul\u00e9 \u00ab Une \u00e9chelle g\u00e9n\u00e9rique pour une \u00e9valuation explicable et pr\u00e9dictive de l’IA \u00bb, ils proposent une approche qui va au-del\u00e0 des indicateurs de pr\u00e9cision globale. Elle \u00e9value les connaissances et les capacit\u00e9s cognitives requises pour accomplir une t\u00e2che et \u00e9value les mod\u00e8les en fonction de ces capacit\u00e9s.<\/p>\n\n\n\n
ADeLe : Une approche par comp\u00e9tences pour l’\u00e9valuation des t\u00e2ches<\/p>\n\n\n\n
Ce cadre utilise la technique du niveau de d\u00e9sirabilit\u00e9 annot\u00e9 (ADeLe) pour \u00e9valuer la difficult\u00e9 des t\u00e2ches des mod\u00e8les d’IA en appliquant une \u00e9chelle mesurant 18 capacit\u00e9s cognitives et de connaissances. L’\u00e9valuation de la difficult\u00e9 repose sur une grille d’\u00e9valuation d\u00e9taill\u00e9e, initialement d\u00e9velopp\u00e9e pour les t\u00e2ches humaines et qui a fait ses preuves dans les mod\u00e8les d’IA. En comparant les exigences des t\u00e2ches et les capacit\u00e9s du mod\u00e8le, ADeLe g\u00e9n\u00e8re un profil de comp\u00e9tences qui non seulement pr\u00e9dit la performance, mais explique \u00e9galement la r\u00e9ussite ou l’\u00e9chec d’un mod\u00e8le en reliant les r\u00e9sultats \u00e0 des forces ou des limites sp\u00e9cifiques.<\/p>\n\n\n\n
Les 18 \u00e9chelles refl\u00e8tent les capacit\u00e9s cognitives fondamentales (par exemple, l’attention, le raisonnement), les domaines de connaissances (par exemple, les sciences naturelles ou les sciences sociales) et d’autres facteurs li\u00e9s \u00e0 la t\u00e2che (par exemple, la popularit\u00e9 d’une t\u00e2che sur Internet). Chaque t\u00e2che est not\u00e9e de 0 \u00e0 5 en fonction de son niveau d’implication dans une comp\u00e9tence particuli\u00e8re. Par exemple, un probl\u00e8me math\u00e9matique simple peut obtenir un score de connaissances formelles de 1, tandis qu’un probl\u00e8me math\u00e9matique exigeant une expertise avanc\u00e9e peut obtenir un score de 5. La figure 1 illustre le processus complet, de l’\u00e9valuation des exigences des t\u00e2ches \u00e0 la g\u00e9n\u00e9ration d’un profil de comp\u00e9tences. Pour d\u00e9velopper le syst\u00e8me, l’\u00e9quipe a analys\u00e9 16 000 exemples de 63 t\u00e2ches issues de 20 benchmarks d’IA afin de cr\u00e9er une m\u00e9thode de mesure unifi\u00e9e applicable \u00e0 un large \u00e9ventail de t\u00e2ches. L’article d\u00e9taille comment les scores des 18 \u00e9chelles universelles expliquent la r\u00e9ussite ou l’\u00e9chec d’un mod\u00e8le et comment ils pr\u00e9disent la performance lors de l’ex\u00e9cution de nouvelles t\u00e2ches dans des environnements familiers et inconnus.<\/p>\n\n\n\n
R\u00e9sultats de l’\u00e9valuation<\/p>\n\n\n\n
L’\u00e9quipe a utilis\u00e9 ADeLe pour \u00e9valuer 20 benchmarks d’IA populaires et est arriv\u00e9e \u00e0 trois conclusions principales : 1) Les benchmarks d’IA actuels pr\u00e9sentent des limites de mesure ; 2) Les mod\u00e8les d’IA pr\u00e9sentent des sch\u00e9mas diff\u00e9rents de forces et de faiblesses selon les capacit\u00e9s ; 3) ADeLe peut pr\u00e9dire avec pr\u00e9cision la r\u00e9ussite ou l’\u00e9chec des syst\u00e8mes d’IA dans de nouvelles t\u00e2ches.<\/p>\n\n\n\n
1. D\u00e9tecter les failles cach\u00e9es des m\u00e9thodes de test d’IA<\/p>\n\n\n\n
De nombreux tests d’IA populaires ne mesurent pas les indicateurs qu’ils pr\u00e9tendent mesurer ou ne couvrent qu’une difficult\u00e9 limit\u00e9e. Par exemple, le benchmark de l’examen de la fonction publique est con\u00e7u pour tester la capacit\u00e9 de raisonnement logique, mais il requiert \u00e9galement d’autres comp\u00e9tences telles que l’expertise et la m\u00e9tacognition. De m\u00eame, TimeQA, con\u00e7u pour tester la capacit\u00e9 de raisonnement temporel, ne contient que des questions de difficult\u00e9 moyenne, sans d\u00e9fis simples ou complexes.<\/p>\n\n\n\n
2. Cr\u00e9er des profils d\u00e9taill\u00e9s de comp\u00e9tences en IA<\/p>\n\n\n\n
L’\u00e9quipe a cr\u00e9\u00e9 des profils complets pour 15 programmes de Master en droit (LLM) \u00e0 l’aide d’une \u00e9chelle de notation de 0 \u00e0 5 points. Pour ces 18 comp\u00e9tences, elle a trac\u00e9 une \u00ab courbe caract\u00e9ristique du sujet \u00bb afin de montrer l’\u00e9volution du taux de r\u00e9ussite du mod\u00e8le en fonction de la difficult\u00e9 des t\u00e2ches.<\/p>\n\n\n\n
Elle a ensuite calcul\u00e9 le score de chaque comp\u00e9tence (le niveau de difficult\u00e9 auquel le mod\u00e8le a r\u00e9ussi \u00e0 50 %) et a utilis\u00e9 ces r\u00e9sultats pour g\u00e9n\u00e9rer des graphiques radiaux montrant les forces et les faiblesses de chaque mod\u00e8le \u00e0 diff\u00e9rentes \u00e9chelles et niveaux, comme illustr\u00e9 \u00e0 la figure 2. 3. Pr\u00e9dire la r\u00e9ussite et l’\u00e9chec de l’IA<\/p>\n\n\n\n
Le syst\u00e8me a atteint une pr\u00e9cision d’environ 88 % dans la pr\u00e9diction des performances de mod\u00e8les populaires tels que GPT-4o et LLaMA-3.1-405B, surpassant ainsi les m\u00e9thodes traditionnelles. Cela permet de pr\u00e9dire les \u00e9checs potentiels avant le d\u00e9ploiement, ajoutant une \u00e9tape importante \u00e0 l’\u00e9valuation de la fiabilit\u00e9 des mod\u00e8les d’IA.<\/p>\n\n\n\n
Perspectives d’avenir<\/p>\n\n\n\n
ADeLe peut \u00eatre \u00e9tendu aux syst\u00e8mes d’IA multimodaux et int\u00e9gr\u00e9s et a le potentiel de devenir un cadre standardis\u00e9 pour la recherche en IA, l’\u00e9laboration de politiques et l’audit de s\u00e9curit\u00e9.<\/p>\n\n\n\n
Dans un contexte o\u00f9 les progr\u00e8s de l’intelligence artificielle g\u00e9n\u00e9rale d\u00e9passent les m\u00e9thodes d’\u00e9valuation traditionnelles, ces travaux posent des bases opportunes pour am\u00e9liorer l’efficacit\u00e9 de l’\u00e9valuation de l’IA.<\/p>\n\n\n\n