次世代人工知能への応用化に期待 千葉工業大学・基礎生物学研究所・兵庫県立大学などの研究チーム、 深層エコーステートネットワークにおける多層化が生み出す 多様な時間スケールのダイナミクスが性能向上の鍵

井上秀一（千葉工業大学）、信川創（千葉工業大学）、西村治彦（大和大学）、渡辺英治（基礎生物学研究所）、礒川悌次郎（兵庫県立大学）らの研究チームは、次世代型人工知能であるエコーステートネットワーク（Echo State Network: ESN）の性能を大幅に向上させるアーキテクチャとして注目されている「深層エコーステートネットワーク（Deep Echo State Network: DeepESN）」の性能向上の鍵として、階層ごとの多様な時間スケールのダイナミクスの生成が重要な役割を担っていることを明らかにしました。これまで、DeepESNのパラメータ最適化にはベイズ最適化などが用いられてきましたが、どのようなDeepESNのダイナミクスが性能向上に寄与しているのかについての十分な調査は行われていませんでした。研究チームは、DeepESNの各層で生成される挙動の時間スケールについて、関連するパラメータ群を調整することにより、性能との関連を評価しました。その結果、時間履歴に関わるパラメータ群の中で、DeepESNの構成要素であるニューロンの時間履歴項がタスクに対応した最適値を持ち、その設定下において階層間で異なる時間スケールのダイナミクスが発生し、その挙動が階層間で遅延伝搬することにより、長期間DeepESN内に保持されることが明らかとなりました。ESNでは、個々のニューロンが入力タスクに対する過去の入力履歴を基に多様な応答を重ね合わせて所望の信号を生成します。したがって、DeepESNの高い性能は、このような広範な時間スケールの領域に亘る応答によって達成されていると言えます。この研究成果は、DeepESNのパラメータ調整に一定の指針を提供し、学習に大きなリソースを割くことのできないエッジAIのような環境下での学習に大きく貢献すると期待されます。この研究成果は、2024年7月16日に、スイスに本部を置く科学・工学・医学についての出版社であるFrontiers Media SAの査読付き学術雑誌であるFrontiers in Artificial Intelligenceにて発表されます。

プレスリリース詳細