Under det senaste decenniet har artificiell intelligens och maskininlärning vuxit fram som stora forskningshärdar, drivna av framsteg inom GPU-datorer, mjukvarualgoritmer och specialiserad hårdvarudesign. Nya uppgifter tyder på att åtminstone några av de algoritmiska förbättringarna under det senaste decenniet kan ha varit mindre än man tidigare trott.

Forskare som arbetar med att validera långsiktiga förbättringar av olika AI-algoritmer har funnit flera situationer där blygsamma uppdateringar av gamla lösningar gjort det möjligt för dem att matcha nyare tillvägagångssätt som förmodades ha ersatt dem. Teamet jämförde 81 olika beskärningsalgoritmer som släppts under en tioårsperiod och fann inga klara och otvetydiga bevis på förbättringar under denna tidsperiod.

Enligt David Blalock, en forskarstuderande i datavetenskap vid MIT som arbetade med projektet, blev det efter femtio artiklar ”uppenbart att det inte var uppenbart vad som ens var den senaste tekniken”. Blalocks handledare, dr John Guttag, uttryckte sin förvåning över nyheten och sade till Science: ”Det är den gamla sågen, eller hur? Om man inte kan mäta något är det svårt att göra det bättre.”

Problem som detta är för övrigt precis därför MLPerf-initiativet är så viktigt. Vi behöver objektiva tester som forskare kan använda för att göra giltiga korsvisa jämförelser av modeller och hårdvaruprestanda.

Vad forskarna specifikt fann är att äldre och enklare algoritmer i vissa fall kunde hålla jämna steg med nyare metoder så snart de gamla metoderna justerades för att förbättra deras prestanda. I ett fall visade en jämförelse av sju neurala nätbaserade algoritmer för medierekommendationer att sex av dem var sämre än äldre, enklare, icke-neurala algoritmer. En Cornell-jämförelse av algoritmer för bildåterhämtning visade att prestandan inte har rört sig sedan 2006 när de gamla metoderna uppdaterades:

Bild från Science

Det finns ett par saker jag vill betona här: För det första finns det många AI-vinster som inte har varit illusoriska, t.ex. förbättringarna av AI-videouppskalare eller de konstaterade framstegen inom kameror och datorseende. GPU:er är mycket bättre på AI-beräkningar än vad de var 2009, och de specialiserade acceleratorerna och AI-specifika AVX-512-instruktionerna från 2020 fanns inte heller 2009.

Men vi pratar inte om huruvida hårdvaran har blivit större eller bättre på att exekvera AI-algoritmer. Vi talar om de underliggande algoritmerna i sig och hur mycket komplexitet som är användbart i en AI-modell. Jag har faktiskt lärt mig något om detta ämne direkt; min kollega David Cardinal och jag har arbetat med några AI-relaterade projekt i samband med det arbete jag har gjort med DS9 Upscale Project. Grundläggande förbättringar av algoritmer är svåra och många forskare har inte incitament att fullt ut testa om en ny metod faktiskt är bättre än en gammal – det ser trots allt bättre ut om man uppfinner en helt ny metod för att göra något i stället för att trimma något som någon annan har skapat.

Självklart är det inte heller så enkelt att säga att nyare modeller inte har bidragit med något användbart till området. Om en forskare upptäcker optimeringar som förbättrar prestandan på en ny modell och det visar sig att dessa optimeringar också fungerar för en gammal modell, betyder det inte att den nya modellen var irrelevant. Att bygga den nya modellen är hur dessa optimeringar upptäcktes från början.

Bilden ovan är vad Gartner kallar en hypecykel. AI har definitivt varit föremål för en sådan, och med tanke på hur central tekniken är för vad vi ser från företag som Nvidia, Google, Facebook, Microsoft och Intel i dessa dagar kommer den att vara ett diskussionsämne långt in i framtiden. När det gäller artificiell intelligens har vi sett verkliga genombrott på olika områden, som att lära datorer att spela spel på ett effektivt sätt och en hel del forskning om självkörande fordon. De vanligaste konsumenttillämpningarna förblir än så länge ganska nischade.

Jag skulle inte läsa den här artikeln som ett bevis för att AI bara är het luft, men jag skulle definitivt ta påståendena om att AI kommer att erövra universum och ersätta oss i toppen av näringskedjan med en nypa salt. Verkliga framsteg inom området – åtminstone när det gäller de grundläggande underliggande principerna – kan vara svårare att uppnå än vad vissa har hoppats.

Top image credit: Getty Images

Nu läser du:

• Level Up: Nvidias GameGAN AI skapar Pac-Man utan en underliggande spelmotor
• Microsoft byggde en av världens mest kraftfulla superdatorer för att utveckla människoliknande AI
• Nvidia presenterar sin första ampere-baserade GPU och höjer ribban för AI i datacenter