過去10年間、人工知能と機械学習は、GPUコンピューティング、ソフトウェア アルゴリズム、および特殊なハードウェア設計の進歩により、研究の主要な温床として浮上しました。 新しいデータは、過去 10 年間のアルゴリズムの改良のうち少なくともいくつかは、これまで考えられていたよりも小さなものであった可能性を示唆しています。

さまざまな AI アルゴリズムの長期的改良を検証している研究者は、古いソリューションに対する控えめな更新によって、それらを追い越したはずの新しいアプローチと一致する状況を複数発見しています。 このチームは、10 年間にリリースされた 81 の異なる刈り込みアルゴリズムを比較しましたが、その期間中に改善されたという明確な証拠は見つかりませんでした。 ブラロックの指導教官であるジョン・ガッタグ博士はこのニュースに驚きを示し、サイエンス誌に「昔からよくあることでしょう？ ちなみに、このような問題は、MLPerf のイニシアチブが非常に重要である理由そのものです。 具体的には、研究者たちが発見したのは、特定のケースにおいて、古い手法に手を加えてパフォーマンスを向上させると、古くて単純なアルゴリズムが新しいアプローチに追いつくことができる、ということです。 あるケースでは、7 つのニューラル ネット ベースのメディア推奨アルゴリズムを比較したところ、そのうちの 6 つが、ニューラル以外の古い、より単純なアルゴリズムより劣っていることが実証されました。 コーネル大学の画像検索アルゴリズムの比較では、古い手法が更新されても、2006年以来、パフォーマンスが衰えていないことがわかりました。

Image from Science

ここで私が強調したいことがいくつかあります。 まず、AI ビデオ アップスケーラの改善や、カメラおよびコンピューター ビジョンの注目すべき進歩のように、幻ではない多くの AI 利得があります。 GPU は、2009 年よりもはるかに AI 計算に優れており、2020 年の特殊なアクセラレーターと AI 専用の AVX-512 命令は、2009 年には存在しませんでした。 私たちが話しているのは、基礎となるアルゴリズムそのものと、AI モデルにおいてどの程度の複雑さが有用であるかということなのです。 実際、私はこのトピックについて直接何かを学んでいます。同僚の David Cardinal と私は、私が DS9 Upscale Project で行った仕事に関連して、いくつかの AI 関連のプロジェクトに取り組んでいます。 アルゴリズムの根本的な改良は難しく、多くの研究者は、新しい方法が古い方法よりも実際に優れているかどうかを十分にテストする動機付けがありません。

もちろん、新しいモデルがこの分野に何も貢献していないと言うほど単純ではありません。 もし研究者が新しいモデルでパフォーマンスを向上させる最適化を発見し、その最適化が古いモデルでも機能することがわかったとしても、それは新しいモデルが無関係であったことを意味するわけではありません。 新しいモデルを構築することは、そもそもそれらの最適化がどのように発見されたかということなのです。 AI は間違いなくその対象であり、Nvidia、Google、Facebook、Microsoft、および Intel などの企業が最近見ているものにとって、このテクノロジーがいかに中心的であるかを考えると、将来にわたって話題となることでしょう。 AIの場合、コンピュータに効果的なゲームの遊び方を教えたり、自動運転車の研究など、さまざまなテーマで真のブレイクスルーが起きています。 しかし、AI が宇宙を征服し、食物連鎖の頂点で私たちに取って代わるという主張には、間違いなく塩を振っておきます。 この分野における真の進歩は、少なくとも基本的な基礎原理の面では、一部の人が期待しているよりも難しいかもしれません。