機械的

前の画像 次の画像

ChatGPT は、ユーザーからのいくつかのプロンプトに基づいてエッセイ、電子メール、コンピューター コードを作成できる機能で世界中で話題になりました。 今回、MIT 主導のチームが、ChatGPT の背後にあるプログラムよりも数桁強力な機械学習プログラムにつながる可能性のあるシステムを報告しました。 彼らが開発したシステムは、今日の機械学習モデルの背後にある最先端のスーパーコンピューターよりも数桁少ないエネルギーを使用する可能性があります。

Nature Photonics の 7 月 17 日号で研究者らは、数百ミクロンスケールのレーザーを使用して、電子ではなく光の動きに基づいて計算を実行する新しいシステムの最初の実験デモンストレーションを報告しています。 新しいシステムにより、機械学習用の最先端のデジタル コンピューターと比較して、エネルギー効率が 100 倍以上向上し、システムの能力の尺度である計算密度が 25 倍向上したと研究チームは報告しています。 。

未来に向かって

研究チームは論文の中で、「将来の改善に向けてさらに数桁大きな改善が必要」とも言及している。 その結果、この技術は「データセンターから分散型エッジデバイスまでの機械学習タスクを加速するための大規模光電子プロセッサへの道を開く」と著者らは続けている。 言い換えれば、携帯電話やその他の小型デバイスは、現在は大規模なデータセンターでのみ計算できるプログラムを実行できるようになる可能性があります。

さらに、システムのコンポーネントは現在すでに使用されている製造プロセスを使用して作成できるため、「数年以内に商業用途に拡張できると期待しています。 たとえば、関連するレーザー アレイは、携帯電話の顔 ID やデータ通信に広く使用されています」と筆頭著者のザイジュン チェン氏は述べています。彼は MIT 電子研究所 (RLE) のポスドク時代にこの研究を行い、現在は研究員です。南カリフォルニア大学助教授。

MIT 電気工学およびコンピュータ サイエンス学科の准教授であり、この研究のリーダーである Dirk Englund 氏は次のように述べています。 はるかに大きなモデルをトレーニングするのは経済的に採算が取れません。 私たちの新しいテクノロジーにより、近い将来、そうでなければ到達不可能だった機械学習モデルへの飛躍が可能になる可能性があります。」

同氏は続けて、「次世代のChatGPTが100倍強力になった場合にどのような機能が搭載されるかはわかりませんが、それがこの種のテクノロジーで可能な発見体制です。」と述べています。 イングランド氏は、MIT の量子フォトニクス研究所のリーダーでもあり、RLE および材料研究所に所属しています。

進歩のドラムビート

現在の研究は、イングランドと多くの同じ同僚による過去数年間の進歩の最新の成果です。 たとえば、2019 年に英国のチームは、現在の実証につながった理論的研究を報告しました。 この論文の最初の著者である Ryan Hamerly 氏は、現在 RLE および NTT Research Inc. に所属しており、今回の論文の著者でもあります。

現在の Nature Photonics 論文のその他の共著者は、Alexander Sludds、Ronald Davis、Ian Christen、Liane Bernstein、および Lamia Ateshian です。全員が RLE です。 ベルリン工科大学のトビアス・ホイザー氏、ニールス・ヘルマイヤー氏、ジェームス・A・ロット氏、ステファン・ライツェンシュタイン氏。

ChatGPT の背後にあるようなディープ ニューラル ネットワーク (DNN) は、脳が情報を処理する方法をシミュレートする巨大な機械学習モデルに基づいています。 しかし、機械学習の分野が成長しているにもかかわらず、今日の DNN の背後にあるデジタル テクノロジーは限界に達しつつあります。 さらに、それらは膨大な量のエネルギーを必要とし、主に大規模なデータセンターに限定されます。 それが新しいコンピューティング パラダイムの開発の動機となっています。

電子ではなく光を使用して DNN 計算を実行すると、現在のボトルネックを突破できる可能性があります。 たとえば、光学を使用した計算は、エレクトロニクスに基づく計算よりもはるかに少ないエネルギーで済む可能性があります。 さらに、光学を使用すると、「はるかに大きな帯域幅を実現できる」、つまり計算密度を高めることができるとチェン氏は言います。 光は、はるかに狭い領域でより多くの情報を転送できます。