この論文”Inferring neural activity before plasticity as a foundation for learning beyond backpropagation”は、オックスフォード大学のYuhang Song氏らの研究グループが、従来の機械学習の常識を覆す学習理論「予測的構成(Prospective Configuration)」を提唱した研究です。この理論は、脳がどのように効率的に学習するのかについて新しい説明を提供しています。
従来の誤差逆伝播法との違い
これまで人工知能や脳科学の分野では、誤差逆伝播法(バックプロパゲーション)が学習メカニズムの主流とされてきました。この手法は、出力の誤差を入力層に向かって逆伝播させることで重みを調整するものです。しかし、この方法では学習に多くの試行回数が必要で、新しい情報を学ぶと以前の記憶が失われやすいという問題がありました。また、生物学的な妥当性についても疑問が投げかけられていました。
予測的構成のメカニズム
Song氏らの提案する予測的構成は、まず神経活動のパターンが最適な状態に調整され、その後でシナプスの重みが変更されます。これは従来の誤差逆伝播法とは逆の順序です。研究チームは、クマを例に挙げてこの理論を説明しています。クマが川を見たとき、水の音と鮭の匂いを予測します。もし予測と実際の状況が異なる場合、予測的構成では、まず望ましい神経活動パターンを推定し、それに基づいて選択的に結合を調整することで、不要な干渉を避けることができます。
実験による検証と優位性
研究チームは、この理論の優位性を様々な実験で実証しています。特に、より少ない学習回数で目標を達成できること、新しい情報を学んでも既存の記憶が保持されること、環境の変化に素早く適応できること、そして深い層構造を持つネットワークでも効率的に学習できることが示されました。
さらに注目すべき点として、この理論は人間や動物の学習行動のデータとよく一致することが挙げられます。これは、予測的構成が実際の生物の学習メカニズムをより正確に表現している可能性を示唆しています。
実用化への道と課題
この研究は、より効率的な人工知能システムの開発にも大きな影響を与える可能性があります。特に、アナログハードウェアを用いることで、従来の手法よりも高速な学習が実現できる可能性が指摘されています。
ただし、いくつかの課題も残されています。例えば、理論の数学的な基盤をさらに強化する必要があります。また、より複雑な現実世界の問題への適用可能性についても、さらなる検証が必要でしょう。
おわりに
この研究は、脳の学習メカニズムについて新しい視点を提供するとともに、より効率的な人工知能システムの開発への可能性を示すものといえます。特に、少ない学習データでも効果的に学習できる点は、実用的な応用においても重要な意味を持っています。
研究チームは、この理論をさらに発展させ、より複雑な学習課題への適用を目指しています。また、この理論に基づく新しいハードウェアの開発も期待されています。脳科学と人工知能の両分野に大きな影響を与える可能性を持つこの研究の今後の展開が注目されます。
Song, Y., Millidge, B., Salvatori, T., Lukasiewicz, T., Xu, Z., & Bogacz, R. (2024). Inferring neural activity before plasticity as a foundation for learning beyond backpropagation. Nature Neuroscience, 27(2), 348-358. https://doi.org/10.1038/s41593-023-01514-1