最近の研究では、脳に着想を得た浅いフィードフォワード ネットワークが、ディープ ラーニング アーキテクチャと比較して、計算の複雑さを軽減して自明でない分類タスクを効率的に学習できることが示されています。 浅いアーキテクチャは、ディープ ラーニング アーキテクチャと同じ分類成功率を達成できますが、複雑さは少ないことが示されました。 浅いアーキテクチャでの効率的な学習は、ニューロンの樹状突起下適応と異方性特性に関する以前の実験的研究からの発見を組み込んだ効率的な樹状ツリー学習に接続されています。 この発見は、エネルギー消費を削減しながら、高速で効率的な浅い学習のための独自のハードウェアを開発する可能性を示唆しています。 (深層学習ニューラル ネットワーク ツリーの表現。)
ディープラーニングは、多くの人工知能タスクを実現するための重要な魔法の要素のようです。 ただし、これらのタスクは、より単純な浅いアーキテクチャを使用することで効率的に実現できます。
で発表された研究によると、浅いフィードフォワード ネットワークは、ディープ ラーニング アーキテクチャと比較して計算の複雑さを軽減しながら、重要な分類タスクを効率的に学習できます。[{” attribute=””>Scientific Reports. This finding may direct the development of unique, energy-efficient hardware for shallow learning.
The earliest artificial neural network, the Perceptron, was introduced approximately 65 years ago and consisted of just one layer. However, to address solutions for more complex classification tasks, more advanced neural network architectures consisting of numerous feedforward (consecutive) layers were later introduced. This is the essential component of the current implementation of deep learning algorithms. It improves the performance of analytical and physical tasks without human intervention, and lies behind everyday automation products such as the emerging technologies for self-driving cars and autonomous chatbots.
Scheme of Deep Machine Learning consisting of many layers (left) vs. Shallow Brain Learning consisting of a few layers with enlarged width (right). Credit: Prof. Ido Kanter, Bar-Ilan University
The key question driving new research published today (April 20) in the journal Scientific Reports is whether efficient learning of non-trivial classification tasks can be achieved using brain-inspired shallow feedforward networks, while potentially requiring less computational complexity. “A positive answer questions the need for deep learning architectures, and might direct the development of unique hardware for the efficient and fast implementation of shallow learning,” said Prof. Ido Kanter, of Bar-Ilan’s Department of Physics and Gonda (Goldschmied) Multidisciplinary Brain Research Center, who led the research. “Additionally, it would demonstrate how brain-inspired shallow learning has advanced computational capability with reduced complexity and energy consumption.”
“We’ve shown that efficient learning on an artificial shallow architecture can achieve the same classification success rates that previously were achieved by deep learning architectures consisting of many layers and filters, but with less computational complexity,” said Yarden Tzach, a PhD student and contributor to this work. “However, the efficient realization of shallow architectures requires a shift in the properties of advanced GPU technology, and future dedicated hardware developments,” he added.
脳に着想を得た浅いアーキテクチャでの効率的な学習は、カンター教授による以前の実験的研究に基づいた効率的な樹状突起ツリー学習と密接に関連しています。この学習は、ニューロン培養を使用したサブ樹状突起適応と、さまざまなスパイク波形などのニューロンの他の異方性特性を組み合わせたものです。 、不応期および最大伝達率 (樹状突起学習に関する上記のビデオを参照してください。)
何年もの間、脳のダイナミクスと[{” attribute=””>machine learning development were researched independently, however recently brain dynamics has been revealed as a source for new types of efficient artificial intelligence.
Reference: “Efficient shallow learning as an alternative to deep learning” 20 April 2023, Scientific Reports.
DOI: 10.1038/s41598-023-32559-8