In de afgelopen tien jaar zijn kunstmatige intelligentie en machine learning uitgegroeid tot belangrijke brandhaarden van onderzoek, aangedreven door de vooruitgang in GPU-computing, software-algoritmen, en gespecialiseerde hardware-ontwerp. Nieuwe gegevens suggereren dat ten minste enkele van de algoritmische verbeteringen van het afgelopen decennium kleiner kunnen zijn geweest dan eerder werd gedacht.

Onderzoekers die werken aan het valideren van langetermijnverbeteringen in verschillende AI-algoritmen hebben meerdere situaties gevonden waarin bescheiden updates van oude oplossingen hen in staat stelden om nieuwere benaderingen te evenaren die hen zogenaamd hadden verdrongen. Het team vergeleek 81 verschillende snoei-algoritmen die in een periode van tien jaar waren uitgebracht en vond geen duidelijk en ondubbelzinnig bewijs van verbetering in die periode.

Volgens David Blalock, een afgestudeerde student computerwetenschappen aan het MIT die aan het project werkte, “werd het na vijftig artikelen duidelijk dat het niet eens duidelijk was wat de stand van de techniek was.” Blalock’s adviseur, Dr. John Guttag, toonde zich verbaasd over het nieuws en zei tegen Science: “Het is het oude liedje, toch? Als je iets niet kunt meten, is het moeilijk om het beter te maken.”

Problemen als deze zijn overigens precies waarom het MLPerf-initiatief zo belangrijk is. We hebben objectieve tests nodig die wetenschappers kunnen gebruiken voor een geldige onderlinge vergelijking van modellen en hardwareprestaties.

Wat de onderzoekers met name ontdekten, is dat in bepaalde gevallen oudere en eenvoudigere algoritmen in staat waren om de nieuwere benaderingen bij te houden, zodra de oude methoden werden aangepast om hun prestaties te verbeteren. In één geval toonde een vergelijking van zeven op neurale netwerken gebaseerde media-aanbevelingsalgoritmen aan dat zes ervan slechter presteerden dan oudere, eenvoudigere, niet-neurale algoritmen. Een Cornell-vergelijking van algoritmen voor het zoeken naar afbeeldingen toonde aan dat de prestaties sinds 2006 niet meer zijn veranderd nadat de oude methoden waren bijgewerkt:

Image from Science

Er zijn een paar dingen die ik hier wil benadrukken: Ten eerste zijn er veel AI-verbeteringen die niet illusoir zijn, zoals de verbeteringen aan AI-video-upscalers, of de vooruitgang in camera’s en computervisie. GPU’s zijn veel beter in AI-berekeningen dan ze in 2009 waren, en de gespecialiseerde versnellers en AI-specifieke AVX-512-instructies van 2020 bestonden ook niet in 2009.

Maar we hebben het er niet over of de hardware groter of beter is geworden in het uitvoeren van AI-algoritmen. We hebben het over de onderliggende algoritmes zelf en hoeveel complexiteit nuttig is in een AI-model. Ik heb eigenlijk rechtstreeks iets geleerd over dit onderwerp; mijn collega David Cardinal en ik hebben gewerkt aan enkele AI-gerelateerde projecten in verband met het werk dat ik heb gedaan met het DS9 Upscale Project. Fundamentele verbeteringen aan algoritmen zijn moeilijk en veel onderzoekers worden niet gestimuleerd om volledig te testen of een nieuwe methode daadwerkelijk beter is dan een oude – het ziet er immers beter uit als je een geheel nieuwe methode uitvindt om iets te doen in plaats van iets te tunen dat iemand anders heeft gemaakt.

Natuurlijk is het ook niet zo eenvoudig als zeggen dat nieuwere modellen niets nuttigs hebben bijgedragen aan het veld. Als een onderzoeker optimalisaties ontdekt die de prestaties van een nieuw model verbeteren en die optimalisaties blijken ook voor een oud model te werken, betekent dat nog niet dat het nieuwe model irrelevant was. Het bouwen van het nieuwe model is hoe die optimalisaties in de eerste plaats werden ontdekt.

Het bovenstaande beeld is wat Gartner een hype cycle noemt. AI heeft er zeker een doorgemaakt, en gezien de centrale plaats die de technologie inneemt in wat we tegenwoordig zien van bedrijven als Nvidia, Google, Facebook, Microsoft en Intel, zal het tot ver in de toekomst een onderwerp van discussie blijven. In het geval van AI hebben we echte doorbraken gezien op verschillende gebieden, zoals computers leren hoe ze effectief games kunnen spelen, en een heleboel onderzoek naar zelfrijdende voertuigen. Mainstream consumententoepassingen blijven vooralsnog vrij niche.

Ik zou dit artikel niet lezen als bewijs dat AI niets anders is dan gebakken lucht, maar ik zou beweringen over het veroveren van het universum en het vervangen van ons aan de top van de voedselketen zeker met een korreltje zout nemen. Echte vooruitgang op dit gebied – in ieder geval wat betreft de fundamentele onderliggende principes – zou wel eens moeilijker kunnen zijn dan sommigen hadden gehoopt.

Top image credit: Getty Images

Nu lezen:

• Level Up: Nvidia’s GameGAN AI creëert Pac-Man zonder onderliggende game-engine
• Microsoft bouwde een van de krachtigste supercomputers ter wereld om mensachtige AI te ontwikkelen
• Nvidia onthult zijn eerste GPU op Ampère-basis, legt de lat hoger voor datacenter-AI