10億分の1秒を捉える超高速マシンビジョン：光AIを用いたイメージ処理技術を開発(大学院理工学研究科 内田淳史教授 共同研究)
2023/9/20
金沢大学理工研究域機械工学系の砂田哲教授、新山友暁准教授、自然科学研究科機械科学専攻博士前期課程の山口智也、修士修了生の荒井航平、埼玉大学大学院理工学研究科数理電子情報部門の内田淳史教授の共同研究グループは、リザバー計算（※1）と呼ばれる小脳を模したニューラルネットワーク（※2）を実装した光集積回路などに基づいて、サブナノ秒（10億分の1秒以下）の時間スケールで起こる超高速現象をリアルタイムに認識?検出できる新しいマシンビジョン（※3)技術の原理実証に成功しました。
近年の人工知能（AI）?機械学習の急速な進展により、コンピューティングの需要が爆発的に増加しています。それに対処する新しいコンピューティング技術として、「光」を利用したニューラルネットワーク（NN）処理および光回路技術が注目され、世界的に開発が進められています。しかし、光の持つ物理的な性質から、既存の電子型NN回路に匹敵する大規模なNN回路の開発は難しく、画像のような膨大な視覚情報を高速に処理することは困難と考えられてきました。また、これまで開発されてきた光NN集積回路の多くは、カメラのようなイメージセンサで取得した画像を処理することを前提にしていたため、通常のカメラでは捉えられない高速な現象の認識や突発的な現象に対する瞬時の情報処理による判断?認識は困難と考えられてきました。
本研究では、ゴーストイメージング（※4）と呼ばれるイメージング手法に基づき、カメラを用いずに観測対象の画像情報を取得し、それをリザバー計算と呼ばれる光NN回路で処理する光のマシンビジョン技術を開発しました。これにより、視覚情報の取得からAIでの判断プロセスまでを全て光のまま実行できるため、人間では決して捉えることのできない10億分の1秒以下（サブナノ秒）のタイムスケールで起こる現象をリアルタイムに認識したり、そこで発生する未知の異常を検出したり、さらにはそのような高速現象の録画?再生が可能になります。
今後さらに開発を進めることで、これまでにないオンチップ型の超高速イメージプロセッサへの発展が可能となり、基礎科学分野だけでなく、光通信分野や自動運転の事故防止などリアルタイムでの認識?判断?制御が必要となるさまざまな場面での活躍が期待できます。
本研究成果は、2023年9月14日にNature Publishing Groupの『Communications Physics』誌に掲載されました。
研究背景
人工知能（AI）?機械学習技術の急速な進展により、コンピューティング技術を革新する新しいハードウェアへの需要が急増しています。その中で、光を情報キャリアとするコンピューティング（光コンピューティング）は、従来の電子型コンピューティングにおける主要な制約を克服し、AIで必要となるさまざまな演算を超高速?低遅延かつ超低消費エネルギーで実現する可能性を秘めており、次世代のコンピューティング技術として大きな期待を集めています。
光コンピューティング研究では、最近のシリコンフォトニクス技術（※5）や光通信技術の進展とも呼応して、脳内の働きを模したニューラルネットワーク（NN）を光集積回路上に実装する研究が多く行われており、現在では、光NNは欧米を中心に急激に発展しています。光NNに演算の一部を委託することで、演算の低遅延化や省電力化を図ることが可能となり、外界からの光を直接的に処理できるメリットからセンサと合わせたAIアクセラレータ（※6）やエッジコンピューティング（※7）としての応用が期待できます。
しかし、現在の光NN回路研究の多くは、コンピューターの一部に組み込むことを前提としており、センシングデータを直接的に、光のまま処理することを前提に開発されてきませんでした。そのため、光NNの処理速度がいくら優れていても、センサにおけるデータ取得と処理速度によって、全体の処理速度が制限されていました。特に、イメージセンサ（カメラ）を使用する場合、カメラによって収集された大量の視覚情報を取得し処理することが必要ですが、通常のカメラのフレームレートは一秒間にせいぜい60枚程度であるため、数十ミリ秒以下の時間スケールで起こる高速な現象を捉えたり、突発的な現象への対処（例えば、飛び出しが生じた場合の瞬時的な認識?判断）したりすることは困難でした。
また、現在の光集積回路技術では、光の波長（数百nm）で光コンポーネントのサイズは制限されるので、数十nm以下の微細スケールにも対応可能な電子回路と比較して、大規模な回路製作は困難です。よって、外界から取得される大量の視覚情報を、NN回路に入力するためのニューロンの数（入力チャンネル数）を増やすことは容易ではなく、低遅延かつ高速に処理する技術の発達が妨げられていました。
研究成果の概要
本研究では、上述の2つの課題を克服する新しいイメージ処理技術を開発しました。本技術の特徴の1つは、カメラを用いずに外界からの視覚情報を取得して光NNでの処理を可能にする点です（図1）。カメラは、多数の光検出器からなるセンサであるため、大量のイメージデータが一度に取得されるので、入力チャンネルの数が少ない小規模な光NN回路単体では、データを処理しきれずに演算の高速化が困難という問題がありました。しかし、本技術では、観測したい物体の視覚情報を、一旦、音声データのように時間的に変動する1次元の信号（時系列信号）に変換することで、1つのチャンネルだけで光NN回路に視覚情報を入力させて処理させることが可能となります（図1）。この情報変換の方法は、ゴーストイメージングと呼ばれる、単一画素でイメージングを可能にする技術からヒントを得ています。単一画素で視覚情報を取得する新しいイメージング手法として注目を集めているゴーストイメージングでは、空間光変調器（※8）を使って複数枚のランダムパターンをつくり、それらを切り替えつつ観測したい物体に投影する必要があるため、高速なイメージ取得は困難と考えられてきました。本研究ではこの問題を克服するために、高速処理を得意とする光通信技術をベースにして、光スペックルパターン（※9）と呼ばれるランダムパターンを生成する新しい空間光変調方法を開発しました。これにより、従来の1000倍に近い25ギガヘルツ（一秒間に250億回の切り替えの速度）でランダムパターンの高速生成が可能になりました。このスペックルパターンを用いることで、カメラのフレームレートを遥かに超えるような高速な現象の視覚情報を光のまま取り込み、直接的に光NN回路に入力することが可能となりました。
また、上述の手法にて時系列信号として取得された視覚情報は、時系列信号の処理を得意とする光リザバー計算回路を用いて処理できます。本研究で開発された光リザバー計算回路では、微小共振器（※10）の構造を採用することで仮想的に多くの光ニューロンが高密度に内包されます。そのため、小規模の回路でありながら大量の情報を低遅延で処理でき、さらに少数個の学習データから精度の高い認識処理を実行できました。
以上の技術に基づき開発されたシステム上で、高速現象の認識?判断に関する簡単なデモを行った結果を図2に示します。外部ディスプレイに映した手書き文字のイメージを1％程度まで圧縮し、1ナノ秒（＝10億分の1秒）以下の時間でイメージのデータを取得?処理することが可能です。また、本システムは高速な異常検知にも有効です。異常検知はリアルタイム性が重要となりますが、通常の手法では、大量のデータ処理が必要とされるため時間がかかり、リアルタイム性を損なうことがあります。一方で、本開発手法では、0.4ナノ秒での超低遅延で異常検知可能なことが示されています。
さらに、本研究で開発したマシンビジョンシステムはイメージの認識?検知だけではなく、イメージの高速録画を可能とするポテンシャルも備えています。本技術では、観測したい対象からの視覚情報を時系列データに変換するため、光通信分野で開発された単一画素の高速光検出器でデータを記録することが可能となり、記録した時系列データを復元用のNNによりイメージへと変換できます。本手法は、従来の高速イメージング手法と異なり、パルスレーザーやストリークカメラのような大型機器を用いずに、汎用的な光通信コンポーネントのみで構成できます。また、時間分解能を自由に変えることや連続撮影も可能です。そのため、ナノ秒以下の時間スケールで発生する現象の録画?再生が可能となり、認識?判断だけでなく、その現象のイメージ分析も可能になると考えています。図3に高速イメージングの一例を示します。デジタルマイクロミラーデバイスという特殊なディスプレイに、手書き文字を表示してスイッチングさせたときのイメージング結果です。このように、マイクロ秒にわたる長い現象もナノ秒程度の分解能で捉え、そこで生じた現象を分析することにつながります。
今後の展望
本研究で開発された高速マシンビジョン技術は、汎用的な光コンポーネントのみで構成されており、将来的にはオンチップ型のイメージプロセッサへの発展も可能です。そのため、実験室の中だけでなくさまざまな場所や場面で活躍できる新しい高速イメージ処理技術として発展できます。例えば、自動運転車に搭載して、突発事故の防止やこれまで見過ごされてきた現象の検知や認識、または高速かつ低遅延での処理を必要とする光通信分野での情報処理、さらに顕微鏡と組み合わせてミクロな世界の高速イメージングや高速制御など幅広い分野への展開が期待できます。
本研究は、科学技術振興機構（JST）戦略的創造研究推進事業さきがけ「革新的コンピューティング技術の開拓」（研究総括：井上弘士 九州大学大学院システム情報科学研究院教授）研究領域における「光波動コンピューティングの展開」（研究者：砂田哲）（JPMJPR19M4）、学術変革領域A計画研究「光多重化によるフォトニックコンピューティングデバイスの変革」（22H05198）、 日本学術振興会科学研究費助成事業（基盤研究A 19H00868、基盤研究B 20H04255）、公益財団法人JKA補助事業の支援を受けて実施されました。
図1．従来研究と本研究の違い。
カメラで捉えたイメージデータはさまざまな変換や伝送プロセスを伴うため、低遅延処理が困難であるが、本研究はイメージデータを光のまま低遅延で処理可能。イメージを光の時系列データに変換するため、単一入力の光NNでも高速な処理が可能。
図2．(a)本研究の高速マシンビジョンシステム。ランダムパターンを高速にスイッチングするプロジェクタを開発し、ランダムパターンを測定対象に照射して、その反射光を光リザバー計算回路へ入力。挿図は、本研究で開発した光リザバー計算回路の写真。シリコンチップ上に作製。回路サイズは50μm×150μm。(b)あるディスプレイに写した手書き文字を、本手法で認識させた結果。
図3．高速イメージングの例。DMDディスプレイに写した手書き文字の時間変化を本開発のシステムで捉えて、復元用NNによりイメージ再構成した結果。数マイクロ秒で発生するスイッチングを時間分解能20ナノ秒でイメージング。連続的なイメージ取得が可能であり、時間分解能はサブナノ秒以下まで任意に調整可能。
掲載論文
| 雑誌名 | Communications Physics |
|---|---|
| 論文名 | Time-domain photonic image processor based on speckle projection and reservoir computing（スペックルプロジェクションとリザバーコンピューティングに基づく時間領域光イメージプロセッサ） |
| 著者名 |
Tomoya Yamaguchi, Kohei Arai, Tomoaki Niiyama, Atsushi Uchida, and Satoshi Sunada （山口智也,荒井航平,新山友暁,内田淳史,砂田哲） |
| 掲載日 | 2023年9月14日にオンライン版に掲載 |
| DOI | 10.1038/s42005-023-01368-w |
| URL |
https://doi.org/10.1038/s42005-023-01368-w
|
用語解説
※1 リザバー計算（Reservoir Computing）
時系列データの処理を得意とする再帰型ニューラルネットワークの一種であり、最近では、小脳での情報処理モデルとの類似性が指摘されている。リザバー計算は入出力層に加えて、リザバー層に巨大なランダムネットワークを用いる。再帰型ニューラルネットワークと異なり、ランダムネットワークでの学習は行わないので、簡単な最適化法で学習が可能である。本研究では、リザバー層として利用するランダムネットワークを光集積回路上に実装している。なお、リザバー計算は、文献によってはリザーバーコンピューティング、レザバーコンピューティング、レザボア計算などとも呼ばれている。
※2 ニューラルネットワーク（Neural Network、 NN）
脳内にある神経回路網の一部を模した数理モデルであり、近年の人工知能の中核的機能を担っている。特に、記憶機能として働くフィードバックループを有するニューラルネトワーク（NN）は再帰型NNと呼ばれ、時間変化する情報（時系列データ）の処理に用いられている。
※3 マシンビジョン（Machine Vision）
人間を介することなく、自動的にイメージデータを取得?処理?解析する技術や方法のことであり、ロボットや産業機器に人間の視覚を持たせる技術ともいえる。
※4 ゴーストイメージング（Ghost Imaging）
カメラのように視覚的な2次元情報を取得するデバイスを用いることなく、光の強さしか測定できない単一の検出器だけでイメージを取得する手法である。この手法では、ランダムなパターンを観測したい対象に投影し、そこから反射した光の強さを単一の検出器で検出する。独立したランダムパターンを何回も投影して、反射光の強さを記録しておき、そこから観測対象のイメージを再構成する。高性能なカメラが開発されていない波長帯や微弱な光しかない状況でも、イメージングが可能となる。ただし、通常のゴーストイメージングでは、ランダムパターンは空間光変調器を用いて生成しているため、イメージ取得のフレームレートを高くすることは困難であった。同等の手法として、シングルピクセルイメージングと呼ばれる手法もある。
※5 シリコンフォトニクス（Silicon Photonics）技術
半導体電子デバイスの製造技術をベースにして、シリコン基板上にさまざまな光コンポーネントを集積化させるための技術。小型であり、電子回路との親和性も高い光回路を作製することができる。
※6 AIアクセラレータ （AI Accelerator）
ニューラルネットワークの演算を高速化（アクセラレーション）させることに特化して開発されるハードウェア。
※7 エッジコンピューティング（Edge Computing）
ユーザーや端末の近くでデータを処理すること。端末の近くで処理することで、通信遅延や上位システムへの負荷を低減できる。
※8 空間光変調器（Spatial Light Modulator、 SLM）
光の空間分布（振幅、位相、偏光）などを変化させるための装置。液晶を用いた空間光変調器や多数の微小な鏡を使った空間変調器などがある。ゴーストイメージングだけでなく、レーザー加工、光ピンセット、ホログラフィーなどに用いられる。
※9 スペックルパターン（Speckle Pattern）
レーザー光をすりガラスのような散乱体やコア径の大きい光ファイバ（マルチモードファイバ）に照射して、光の強さを測定したときに見られる光の斑点模様。乱反射や多様な光伝搬、そして複雑な干渉の結果として生じる。
※10 微小共振器（Optical Microcavity）
微小な空間領域に光を高効率に閉じ込めるためのデバイス。楽器（音の共振器）と同じように、共振器の形で光の制御が可能となる。本研究では、共振器の形を工夫することによって、リザバー計算で用いるランダムネットワークを形成させた。
参考URL
