Viime vuosikymmenen aikana tekoäly ja koneoppiminen ovat nousseet merkittäviksi tutkimuskohteiksi GPU-laskennan, ohjelmistojen algoritmien ja erikoislaitteistojen suunnittelun edistysaskeleiden ansiosta. Uudet tiedot viittaavat siihen, että ainakin osa viime vuosikymmenen algoritmisista parannuksista on saattanut olla pienempiä kuin aiemmin on luultu.

Tutkijat, jotka työskentelevät validoidakseen eri tekoälyalgoritmien pitkän aikavälin parannuksia, ovat havainneet useita tilanteita, joissa vanhoihin ratkaisuihin tehdyt vaatimattomat päivitykset mahdollistivat sen, että ne pystyivät vastaamaan uudempiin lähestymistapoihin, joiden oletettiin syrjäyttäneen ne. Ryhmä vertasi 81:tä erilaista karsinta-algoritmia, jotka julkaistiin kymmenen vuoden aikana, eivätkä he löytäneet mitään selvää ja yksiselitteistä näyttöä parannuksista tuona aikana.

Projektissa työskennelleen MIT:n tietojenkäsittelytieteen jatko-opiskelijan David Blalockin mukaan viidenkymmenen paperin jälkeen ”kävi selväksi, ettei ollut selvää, mikä edes oli tekniikan nykytila”. Blalockin ohjaaja, tohtori John Guttag, ilmaisi yllätyksensä uutisesta ja kertoi Science-lehdelle: ”Se on vanha saha, eikö niin? Jos jotakin ei voi mitata, sitä on vaikea parantaa.”

Tällaiset ongelmat ovat muuten juuri se syy, miksi MLPerf-aloite on niin tärkeä. Tarvitsemme objektiivisia testejä, joita tutkijat voivat käyttää mallien ja laitteistojen suorituskyvyn validiin ristiinvertailuun.

Tutkijat havaitsivat erityisesti, että tietyissä tapauksissa vanhemmat ja yksinkertaisemmat algoritmit pystyivät pysymään uudempien lähestymistapojen perässä, kun vanhoja menetelmiä oli viritetty niiden suorituskyvyn parantamiseksi. Eräässä tapauksessa seitsemän neuroverkkopohjaisen mediasuosittelualgoritmin vertailu osoitti, että kuusi niistä oli huonompia kuin vanhemmat, yksinkertaisemmat, ei-neuraaliset algoritmit. Cornellin kuvien hakualgoritmeja koskevassa vertailussa havaittiin, että suorituskyky ei ole liikkunut vuoden 2006 jälkeen, kun vanhoja menetelmiä päivitettiin:

Kuva Science-tiedelehdestä

Tässä on muutama asia, joita haluan korostaa: Ensinnäkin, monet tekoälyn saavutukset eivät ole olleet näennäisiä, kuten tekoälyn parannukset videokuvan upscalereissa tai kameroiden ja tietokonenäön huomatut edistysaskeleet. Grafiikkasuorittimet ovat paljon parempia tekoälylaskennassa kuin ne olivat vuonna 2009, ja vuoden 2020 erikoistuneita kiihdyttimiä ja tekoälyyn erikoistuneita AVX-512-käskyjä ei ollut olemassa myöskään vuonna 2009.

Mutta emme puhu siitä, onko laitteisto kasvanut tai parantunut tekoälyalgoritmien suorittamisessa. Puhumme itse taustalla olevista algoritmeista ja siitä, kuinka paljon monimutkaisuus on hyödyllistä tekoälymallissa. Olen itse asiassa oppinut jotain tästä aiheesta suoraan; kollegani David Cardinal ja minä olemme työskennelleet joidenkin tekoälyyn liittyvien projektien parissa liittyen työhön, jota olen tehnyt DS9 Upscale Projectin parissa. Algoritmien perustavanlaatuiset parannukset ovat vaikeita, eivätkä monet tutkijat ole motivoituneita täysin testaamaan, onko uusi menetelmä todella parempi kuin vanha – näyttäähän se paremmalta, jos keksii täysin uuden menetelmän tehdä jotain sen sijaan, että virittäisi jotain, jonka joku muu on luonut.

Ei tietenkään ole niin yksinkertaista sanoa, etteivät uudemmat mallit ole myöskään tuoneet mitään hyödyllistä alalle. Jos tutkija löytää optimointeja, jotka parantavat suorituskykyä uudella mallilla ja näiden optimointien havaitaan toimivan myös vanhalla mallilla, se ei tarkoita, että uudella mallilla ei ollut merkitystä. Uuden mallin rakentaminen on sitä, miten nuo optimoinnit ylipäätään löydettiin.

Yllä oleva kuva on se, mitä Gartner kutsuu hype-sykliksi. Tekoälyyn on ehdottomasti kohdistunut sellainen, ja kun otetaan huomioon, miten keskeistä teknologia on Nvidian, Googlen, Facebookin, Microsoftin ja Intelin kaltaisten yritysten nykyisessä toiminnassa, se tulee olemaan keskustelunaiheena pitkälle tulevaisuuteen. Tekoälyn osalta olemme nähneet todellisia läpimurtoja eri aiheissa, kuten tietokoneiden opettamisessa pelaamaan pelejä tehokkaasti, ja paljon itsestään ajavien ajoneuvojen tutkimusta. Päävirran kuluttajasovellukset jäävät toistaiseksi melko kapeiksi.

En pitäisi tätä artikkelia todisteena siitä, että tekoäly on pelkkää kuumaa ilmaa, mutta suhtautuisin ehdottomasti varauksella väitteisiin siitä, että se valloittaa maailmankaikkeuden ja korvaa meidät ravintoketjun huipulla. Todelliset edistysaskeleet alalla – ainakin niiden taustalla olevien perusperiaatteiden osalta – saattavat olla vaikeampia kuin jotkut ovat toivoneet.

Top image credit: Getty Images

Now Read:

• Level Up: Nvidia’s GameGAN AI Creates Pac-Man Without an Underlying Game Engine
• Microsoft Built One of the Most Powerful Supercomputers in the World to Develop Human-Like AI
• Nvidia Unveils Its First Ampere-Based GPU, Raises Bar for Data Center AI