Nogle AI-fremskridt i det sidste årti kan have været illusoriske
I løbet af det seneste årti har kunstig intelligens og maskinlæring udviklet sig til store brændpunkter inden for forskning, drevet af fremskridt inden for GPU-computing, softwarealgoritmer og specialiseret hardwaredesign. Nye data tyder på, at i det mindste nogle af de algoritmiske forbedringer i det seneste årti kan have været mindre end tidligere antaget.
Forskere, der arbejder på at validere langsigtede forbedringer i forskellige AI-algoritmer, har fundet flere situationer, hvor beskedne opdateringer af gamle løsninger har gjort det muligt for dem at matche nyere tilgange, der angiveligt havde afløst dem. Holdet sammenlignede 81 forskellige beskæringsalgoritmer, der blev udgivet i løbet af en tiårig periode, og fandt ingen klare og utvetydige beviser for forbedringer i løbet af denne periode.
Ifølge David Blalock, en kandidatstuderende i datalogi ved MIT, der arbejdede på projektet, blev det efter halvtreds artikler “klart, at det ikke var indlysende, hvad der overhovedet var state of the art”. Blalocks vejleder, Dr. John Guttag, udtrykte overraskelse over nyheden og sagde til Science: “Det er den gamle sav, ikke sandt? Hvis man ikke kan måle noget, er det svært at gøre det bedre.”
Problemer som dette er i øvrigt netop grunden til, at MLPerf-initiativet er så vigtigt. Vi har brug for objektive tests, som forskere kan bruge til at foretage en gyldig krydssammenligning af modeller og hardwareydelse.
Det, forskerne specifikt fandt, er, at ældre og enklere algoritmer i visse tilfælde var i stand til at holde trit med nyere metoder, når de gamle metoder blev justeret for at forbedre deres ydeevne. I et tilfælde viste en sammenligning af syv neurale netbaserede medieanbefalingsalgoritmer, at seks af dem var dårligere end ældre, enklere, ikke-nurale algoritmer. En Cornell-sammenligning af algoritmer til billedfremkaldelse viste, at ydeevnen ikke har ændret sig siden 2006, efter at de gamle metoder blev opdateret:
Billede fra Science
Der er et par ting, jeg vil understrege her: For det første er der en masse AI-gevinster, der ikke har været illusoriske, som f.eks. forbedringerne af AI-videoopskaleringssystemer eller bemærkede fremskridt inden for kameraer og computervision. GPU’er er langt bedre til AI-beregninger, end de var i 2009, og de specialiserede acceleratorer og AI-specifikke AVX-512-instruktioner fra 2020 fandtes heller ikke i 2009.
Men vi taler ikke om, hvorvidt hardware er blevet større eller bedre til at udføre AI-algoritmer. Vi taler om selve de underliggende algoritmer, og hvor meget kompleksitet der er brugbar i en AI-model. Jeg har faktisk lært noget om dette emne direkte; min kollega David Cardinal og jeg har arbejdet på nogle AI-relaterede projekter i forbindelse med det arbejde, jeg har udført med DS9 Upscale Project. Grundlæggende forbedringer af algoritmer er vanskelige, og mange forskere er ikke motiveret til fuldt ud at teste, om en ny metode faktisk er bedre end en gammel – det ser trods alt bedre ud, hvis man opfinder en helt ny metode til at gøre noget frem for at justere noget, som en anden har skabt.
Det er selvfølgelig heller ikke så enkelt som at sige, at nyere modeller ikke har bidraget med noget nyttigt til området. Hvis en forsker opdager optimeringer, der forbedrer ydeevnen på en ny model, og det viser sig, at disse optimeringer også virker på en gammel model, betyder det ikke, at den nye model var irrelevant. Det er ved at bygge den nye model, at disse optimeringer blev opdaget i første omgang.
Billedet ovenfor er det, som Gartner betegner som en hypecyklus. AI har helt klart været udsat for en sådan, og i betragtning af hvor central teknologien er for det, vi ser fra virksomheder som Nvidia, Google, Facebook, Microsoft og Intel i disse dage, vil den være et diskussionsemne langt ind i fremtiden. I AI’s tilfælde har vi set reelle gennembrud inden for forskellige emner, som f.eks. at lære computere at spille spil effektivt og en hel masse forskning i selvkørende køretøjer. Foreløbig er de almindelige forbrugerapplikationer stadig ret nicheprægede.
Jeg ville ikke læse denne artikel som bevis for, at AI kun er varm luft, men jeg ville helt sikkert tage påstande om, at den vil erobre universet og erstatte os i toppen af fødekæden, med et gran salt. Ægte fremskridt på området – i hvert fald hvad angår de grundlæggende underliggende principper – er måske sværere at opnå, end nogle har håbet.
Top image credit: Getty Images
Nu kan du læse:
- Level Up: Nvidias GameGAN AI skaber Pac-Man uden en underliggende spilmotor
- Microsoft byggede en af de kraftigste supercomputere i verden for at udvikle menneskelignende AI
- Nvidia afslører sin første ampere-baserede GPU og hæver barren for AI i datacentre