Im letzten Jahrzehnt haben sich künstliche Intelligenz und maschinelles Lernen als wichtige Forschungsgebiete herauskristallisiert, angetrieben von Fortschritten im GPU-Computing, bei Software-Algorithmen und spezialisiertem Hardware-Design. Neue Daten deuten darauf hin, dass zumindest einige der algorithmischen Verbesserungen des letzten Jahrzehnts kleiner waren als bisher angenommen.

Forscher, die daran arbeiten, langfristige Verbesserungen in verschiedenen KI-Algorithmen zu validieren, haben mehrere Situationen gefunden, in denen bescheidene Aktualisierungen alter Lösungen es ihnen ermöglichten, mit neueren Ansätzen gleichzuziehen, die sie angeblich abgelöst hatten. Das Team verglich 81 verschiedene Beschneidungsalgorithmen, die über einen Zeitraum von zehn Jahren veröffentlicht wurden, und fand keine klaren und eindeutigen Beweise für eine Verbesserung in diesem Zeitraum.

Nach David Blalock, einem Doktoranden der Informatik am MIT, der an dem Projekt mitarbeitete, wurde nach fünfzig Arbeiten „klar, dass es nicht offensichtlich war, was der Stand der Technik überhaupt war.“ Blalocks Berater, Dr. John Guttag, zeigte sich überrascht über die Nachricht und sagte gegenüber Science: „Es ist die alte Leier, richtig? Wenn man etwas nicht messen kann, ist es schwer, es zu verbessern.“

Probleme wie dieses sind übrigens genau der Grund, warum die MLPerf-Initiative so wichtig ist. Wir brauchen objektive Tests, mit denen Wissenschaftler Modelle und Hardware-Leistungen miteinander vergleichen können.“

Die Forscher fanden insbesondere heraus, dass in bestimmten Fällen ältere und einfachere Algorithmen mit neueren Ansätzen mithalten konnten, sobald die alten Methoden optimiert wurden, um ihre Leistung zu verbessern. In einem Fall zeigte ein Vergleich von sieben auf neuronalen Netzen basierenden Medienempfehlungsalgorithmen, dass sechs von ihnen schlechter waren als ältere, einfachere, nicht-neuronale Algorithmen. Ein Cornell-Vergleich von Algorithmen zur Bildsuche ergab, dass sich die Leistung seit 2006 nicht mehr verändert hat, nachdem die alten Methoden aktualisiert wurden:

Bild aus Wissenschaft

Es gibt ein paar Dinge, die ich hier betonen möchte: Erstens gibt es viele KI-Verbesserungen, die nicht illusorisch sind, wie die Verbesserungen bei KI-Video-Upscalern oder die bemerkenswerten Fortschritte bei Kameras und Computer Vision. GPUs sind bei KI-Berechnungen viel besser als 2009, und die spezialisierten Beschleuniger und KI-spezifischen AVX-512-Befehle von 2020 gab es 2009 auch noch nicht.

Aber wir reden nicht darüber, ob die Hardware bei der Ausführung von KI-Algorithmen größer oder besser geworden ist. Wir reden über die zugrunde liegenden Algorithmen selbst und darüber, wie viel Komplexität in einem KI-Modell sinnvoll ist. Mein Kollege David Cardinal und ich haben im Zusammenhang mit meiner Arbeit am DS9 Upscale Project an einigen KI-bezogenen Projekten gearbeitet. Grundlegende Verbesserungen von Algorithmen sind schwierig, und viele Forscher haben keinen Anreiz, umfassend zu prüfen, ob eine neue Methode tatsächlich besser ist als eine alte – schließlich sieht es besser aus, wenn man eine völlig neue Methode erfindet, anstatt etwas zu optimieren, das jemand anderes entwickelt hat.

Natürlich ist es nicht so einfach zu sagen, dass neuere Modelle nichts Nützliches zum Fachgebiet beigetragen haben. Wenn ein Forscher Optimierungen entdeckt, die die Leistung eines neuen Modells verbessern, und sich herausstellt, dass diese Optimierungen auch für ein altes Modell funktionieren, bedeutet das nicht, dass das neue Modell irrelevant war. Die Entwicklung des neuen Modells ist die Art und Weise, wie diese Optimierungen überhaupt erst entdeckt wurden.

Das obige Bild ist das, was Gartner als Hype-Zyklus bezeichnet. KI ist definitiv einem solchen unterworfen, und wenn man bedenkt, wie zentral die Technologie für das ist, was wir heutzutage von Unternehmen wie Nvidia, Google, Facebook, Microsoft und Intel sehen, wird sie auch in Zukunft ein Diskussionsthema sein. Bei der künstlichen Intelligenz haben wir in verschiedenen Bereichen echte Durchbrüche erlebt, z. B. wie man Computern beibringt, Spiele effektiv zu spielen, und wie man selbstfahrende Fahrzeuge erforscht. Mainstream-Anwendungen für Verbraucher bleiben vorerst eine Nische.

Ich würde dieses Papier nicht als Beweis dafür ansehen, dass KI nichts als heiße Luft ist, aber ich würde Behauptungen, dass sie das Universum erobern und uns an der Spitze der Nahrungskette ablösen wird, definitiv mit Vorsicht genießen. Echte Fortschritte auf diesem Gebiet – zumindest in Bezug auf die grundlegenden Prinzipien – sind vielleicht schwieriger zu erreichen, als manche gehofft haben.

Bildnachweis oben: Getty Images

Jetzt lesen:

• Aufsteigen: Nvidias GameGAN-KI erstellt Pac-Man ohne zugrundeliegende Spiel-Engine
• Microsoft hat einen der leistungsstärksten Supercomputer der Welt gebaut, um menschenähnliche KI zu entwickeln
• Nvidia stellt seinen ersten Grafikprozessor auf Ampere-Basis vor und legt die Messlatte für KI im Rechenzentrum höher