Au cours de la dernière décennie, l’intelligence artificielle et l’apprentissage automatique sont apparus comme d’importants foyers de recherche, stimulés par les progrès du calcul GPU, des algorithmes logiciels et de la conception de matériel spécialisé. De nouvelles données suggèrent qu’au moins certaines des améliorations algorithmiques de la dernière décennie pourraient avoir été plus petites qu’on ne le pensait.

Les chercheurs qui travaillent à valider les améliorations à long terme de divers algorithmes d’IA ont trouvé de multiples situations où des mises à jour modestes d’anciennes solutions leur permettaient de correspondre à des approches plus récentes qui les avaient prétendument dépassées. L’équipe a comparé 81 algorithmes d’élagage différents publiés sur une période de dix ans et n’a trouvé aucune preuve claire et nette d’amélioration au cours de cette période.

Selon David Blalock, un étudiant diplômé en informatique au MIT qui a travaillé sur le projet, après cinquante articles « il est devenu clair qu’il n’était pas évident de savoir ce qu’était même l’état de l’art. » Le conseiller de Blalock, le Dr John Guttag, s’est dit surpris par la nouvelle et a déclaré à Science : « C’est le vieux truc, non ? Si vous ne pouvez pas mesurer quelque chose, il est difficile de l’améliorer. »

Des problèmes comme celui-ci, d’ailleurs, sont exactement la raison pour laquelle l’initiative MLPerf est si importante. Nous avons besoin de tests objectifs que les scientifiques peuvent utiliser pour une comparaison croisée valide des modèles et des performances du matériel.

Ce que les chercheurs ont trouvé, spécifiquement, c’est que dans certains cas, des algorithmes plus anciens et plus simples étaient capables de suivre les nouvelles approches une fois que les anciennes méthodes ont été modifiées pour améliorer leurs performances. Dans un cas, une comparaison de sept algorithmes de recommandation de médias basés sur des réseaux neuronaux a montré que six d’entre eux étaient moins performants que les algorithmes plus anciens, plus simples et non neuronaux. Une comparaison d’algorithmes de récupération d’images effectuée par Cornell a révélé que les performances n’avaient pas bougé depuis 2006 une fois les anciennes méthodes mises à jour :

Image de Science

Il y a plusieurs choses que je veux souligner ici : Tout d’abord, il y a beaucoup de gains en IA qui n’ont pas été illusoires, comme les améliorations des upscalers vidéo IA, ou les progrès notés dans les caméras et la vision par ordinateur. Les GPU sont bien meilleurs pour les calculs d’IA qu’ils ne l’étaient en 2009, et les accélérateurs spécialisés et les instructions AVX-512 spécifiques à l’IA de 2020 n’existaient pas non plus en 2009.

Mais nous ne parlons pas de savoir si le matériel est devenu plus gros ou meilleur pour exécuter les algorithmes d’IA. Nous parlons des algorithmes sous-jacents eux-mêmes et du degré de complexité qui est utile dans un modèle d’IA. En fait, j’ai appris quelque chose sur ce sujet directement ; mon collègue David Cardinal et moi avons travaillé sur certains projets liés à l’IA en relation avec le travail que j’ai effectué dans le cadre du projet DS9 Upscale. Les améliorations fondamentales des algorithmes sont difficiles et de nombreux chercheurs ne sont pas incités à tester pleinement si une nouvelle méthode est réellement meilleure qu’une ancienne – après tout, cela semble mieux si vous inventez une toute nouvelle méthode pour faire quelque chose plutôt que de régler quelque chose que quelqu’un d’autre a créé.

Bien sûr, ce n’est pas aussi simple que de dire que les modèles plus récents n’ont rien apporté d’utile au domaine, non plus. Si un chercheur découvre des optimisations qui améliorent les performances sur un nouveau modèle et que l’on constate que ces optimisations fonctionnent également pour un ancien modèle, cela ne signifie pas que le nouveau modèle n’était pas pertinent. La construction du nouveau modèle est la façon dont ces optimisations ont été découvertes en premier lieu.

L’image ci-dessus est ce que Gartner appelle un cycle de hype. L’IA en a définitivement fait l’objet d’un, et étant donné l’importance de cette technologie dans ce que nous voyons aujourd’hui de la part d’entreprises comme Nvidia, Google, Facebook, Microsoft et Intel, elle sera un sujet de discussion pendant longtemps. Dans le cas de l’IA, nous avons assisté à de véritables percées dans divers domaines, comme l’apprentissage de jeux vidéo efficaces par les ordinateurs, et à de nombreuses recherches sur les véhicules à conduite autonome. Les applications grand public, pour l’instant, restent plutôt de niche.

Je ne lirais pas cet article comme une preuve que l’IA n’est rien d’autre que du vent, mais je prendrais définitivement avec un grain de sel les affirmations concernant sa conquête de l’univers et son remplacement au sommet de la chaîne alimentaire. Les véritables avancées dans le domaine – au moins en termes de principes fondamentaux sous-jacents – pourraient être plus difficiles à obtenir que certains l’ont espéré.

Crédit image supérieur : Getty Images

À lire maintenant :

• Mise à niveau : L’IA GameGAN de Nvidia crée Pac-Man sans moteur de jeu sous-jacent
• Microsoft a construit l’un des superordinateurs les plus puissants au monde pour développer une IA semblable à celle d’un humain
• Nvidia dévoile son premier GPU basé sur l’ampère, plaçant la barre plus haut pour l’IA des centres de données

.