はじめに：従来の言語理論に挑戦する新たな研究
プリンストン大学のアリエル・ゴールドシュタイン博士らが2022年に『Nature Neuroscience』誌に発表した研究”Shared computational principles for language processing in humans and deep language models”は、人間の言語理解のメカニズムを根本的に見直すきっかけを提供する重要な成果です。この研究では、人間の脳がポッドキャストのような自然な言語を処理する際の神経活動を、GPT-2のような大規模言語モデルの計算過程と詳細に比較し、両者が驚くほど類似した処理原理を共有していることを明らかにしました。
研究チームは、従来の言語学的アプローチに対する根本的な疑問から出発しています。これまでの心理言語学では、人間の言語理解は名詞や動詞といった品詞分類と文法規則の組み合わせによって説明されてきました。しかし、近年のGPT-2のような自動回帰型深層言語モデルは、そうした明示的な言語規則を使わずに、単純に「次の単語を予測する」という目標だけで、驚異的な言語理解能力を獲得しています。この現象は、人間の言語処理メカニズムについても新しい視点を提供する可能性があります。
研究手法：脳活動の直接測定と行動実験の組み合わせ
この研究の最も注目すべき点は、その実験設計の精緻さです。研究者たちは二段構えのアプローチを採用しました。まず、50人の参加者を対象とした行動実験で、人間が自然な物語の中で次の単語をどの程度正確に予測できるかを測定しました。参加者たちには30分間のポッドキャスト番組「猿と馬がバーに入る話」の文字起こしを10語ずつのスライディングウィンドウで提示し、次に来る単語を予測してもらいました。
この行動実験の結果は予想以上に印象的でした。人間の予測正答率は平均28%に達し、これは最頻出語である「the」を盲目的に推測する場合の6%を大幅に上回る結果でした。さらに注目すべきは、人間の予測パターンとGPT-2の予測パターンが極めて高い相関（r=0.79）を示したことです。この結果は、人間とAIが自然言語を処理する際に、根本的に類似したアプローチを取っている可能性を示唆しています。
次に、研究チームは9人のてんかん患者を対象として、脳に直接電極を埋め込む電気皮質記録法（ECoG）による神経活動の測定を行いました。この手法は、fMRIなどの非侵襲的手法と比較して、時間分解能と空間分解能の両面で圧倒的に優れており、言語処理の詳細なメカニズムを解明するのに最適です。参加者たちは同じポッドキャスト番組を聞きながら、1,339個の電極から脳活動が記録されました。
第一の発見：単語が聞こえる前から始まる予測活動
研究の最も重要な発見の一つは、人間の脳が単語を実際に聞く前から、その単語の内容について予測的な活動を示すことでした。具体的には、単語が発声される800ミリ秒も前から、その単語の意味的内容に関連する神経活動が検出されました。この発見は、従来の「聞いてから理解する」という言語処理モデルを覆すものです。
この予測活動の存在を証明するために、研究者たちは巧妙な実験設計を用いました。彼らは、GPT-2が正しく予測した単語と誤って予測した単語を分けて解析しました。その結果、脳活動は実際に聞いた単語ではなく、GPT-2が予測した単語に対応していることが判明しました。例えば、GPT-2が「海」を予測したが実際には「雨林」という単語が発声された場合、脳の事前活動は「海」に関連したパターンを示していました。この結果は、脳が能動的に次の単語を予測しており、その予測内容が神経活動に反映されることを強く示唆しています。
この発見の意義は、言語理解が受動的な情報処理ではなく、能動的な予測プロセスであることを実証した点にあります。私たちが日常的に行っている会話では、相手の言葉を最後まで聞かなくても、その内容をある程度予測しながら理解を進めています。この研究は、そうした直感的な理解に神経科学的な裏付けを与えたのです。
第二の発見：予測誤差による学習メカニズム
研究の第二の重要な発見は、予測が外れた際に発生する「驚き」の神経信号です。GPT-2のような言語モデルでは、予測した単語の確信度と実際に現れた単語との違いによって「交差エントロピー」という驚きの指標が計算されます。研究者たちは、この計算上の驚きが、人間の脳活動パターンと驚くほど一致することを発見しました。
具体的には、GPT-2が低い確率を割り当てた単語が実際に発声された場合、単語開始から400ミリ秒後に強い神経活動が観測されました。この活動パターンは、予測的符号化理論で予想される「予測誤差信号」と一致します。つまり、脳は常に次に来る単語を予測しており、その予測が外れた時に生じる驚きが学習の原動力となっているのです。
この発見は、言語学習のメカニズムについて重要な示唆を提供します。子どもが言語を習得する過程では、無数の予測とその検証を繰り返すことで、徐々に言語の統計的パターンを学習していると考えられます。この研究結果は、そうした学習過程が成人になっても継続しており、日常的な言語理解の基盤となっていることを示しています。
第三の発見：文脈に依存する意味表現
研究の第三の発見は、脳が単語の意味を文脈に応じて柔軟に表現していることです。従来の単語埋め込み手法（GloVeなど）では、「撃つ」という単語には常に同じベクトル表現が割り当てられます。しかし、実際の言語使用では、「カメラで撮影する」「お酒を飲む」「バスケットボールでシュートする」といった文脈によって、同じ単語でも全く異なる意味を持ちます。
GPT-2のような文脈的言語モデルは、こうした文脈依存の意味表現を自動的に学習します。研究者たちは、この文脈的表現が脳の神経活動をより正確に予測できることを示しました。208個の電極で有意な相関が得られ、そのうち71個は従来の静的埋め込みでは予測できない反応でした。これらの電極は主に、下前頭回、側頭極、後上側頭回、頭頂葉、角回といった高次言語領域に分布していました。
この結果は、人間の脳が単語の意味を固定的に保存するのではなく、文脈に応じて動的に構築していることを示唆します。例えば、「銀行」という単語を処理する際、直前の文脈が金融に関する内容であれば金融機関としての意味が強化され、川に関する内容であれば河岸としての意味が活性化されるのです。
研究の限界と今後の課題
この研究は画期的な成果を上げていますが、いくつかの重要な限界も認識すべきです。まず、参加者の数が比較的少ない点です。脳活動の測定では9人、行動実験では50人という規模は、個人差の検討には十分とは言えません。特に、言語処理能力には大きな個人差があることが知られており、より大規模な研究による検証が必要です。
また、この研究で用いられたGPT-2は、現在の大規模言語モデルと比較すると比較的小規模なモデルです。GPT-3やGPT-4のようなより強力なモデルとの比較研究により、人間の言語処理との類似性がどこまで拡張できるかを検討する必要があります。
さらに、この研究は英語話者を対象としており、言語系統や文法構造が異なる言語での検証が待たれます。日本語のような語順の異なる言語や、中国語のような声調言語において、同様の予測メカニズムが働いているかは別途検証が必要です。
研究手法に関しても、電気皮質記録法は侵襲的な手法であり、健康な参加者での検証には限界があります。今後は、高時間分解能のfMRIやMEG/EEGといった非侵襲的手法との組み合わせにより、より幅広い参加者での検証が期待されます。
言語教育への応用可能性
この研究成果は、言語教育の分野にも重要な示唆を提供します。従来の言語教育では、語彙や文法規則の明示的な学習が重視されてきました。しかし、この研究結果は、予測に基づく言語処理の重要性を強調しています。
具体的には、学習者が次に来る単語を予測しながら読解や聴解を行うことで、より効果的な言語習得が可能になる可能性があります。また、学習者の予測が外れた際の「驚き」を適切に活用することで、記憶の定着を促進できるかもしれません。
第二言語習得研究の観点からも、この成果は興味深い問題を提起します。母語話者と第二言語学習者で、予測メカニズムにどのような違いがあるのか、また熟達度によってどのように変化するのかといった問題は、今後の重要な研究テーマとなるでしょう。
人工知能開発への含意
この研究は、人工知能の開発においても重要な示唆を提供します。現在の大規模言語モデルは確かに印象的な性能を示しますが、その内部メカニズムは依然としてブラックボックスです。この研究により、少なくとも予測と誤差修正という基本的なメカニズムにおいて、人間とAIが共通の原理を用いていることが明らかになりました。
ただし、研究者たちも指摘しているように、共通の計算原理を持つことと、同じ実装方法を用いることは別問題です。例えば、GPT-2で使用されているTransformerアーキテクチャは、並列処理を前提としており、人間の脳の逐次的処理とは根本的に異なります。つまり、「何をしているか」は似ていても、「どのようにしているか」は大きく異なる可能性があります。
この点は、人工知能の汎化能力や創造性の限界を理解する上でも重要です。現在の言語モデルは確かに人間のような言語生成能力を示しますが、真の理解や創造的思考を行っているかどうかは別の問題です。この研究は、そうした深い問いに対する一つの手がかりを提供していますが、完全な答えにはまだ遠い状況です。
脳科学研究への貢献
この研究は、脳科学の分野にも大きな貢献をしています。従来の言語脳科学研究では、単語や文の処理に関わる脳領域の同定に重点が置かれていました。しかし、この研究は脳の動的な予測メカニズムに焦点を当て、時間的により精密な分析を可能にしました。
特に注目すべきは、単語レベルでの予測活動を直接観測できたことです。これまでの研究では、文レベルや句レベルでの予測については報告されていましたが、個々の単語レベルでの予測を神経活動から読み取れたのは画期的です。この成果は、言語理解の時間的ダイナミクスについて、より詳細な理解を提供しています。
また、文脈的意味表現に関する発見も重要です。これまでの研究では、意味処理に関わる脳領域は比較的固定的に考えられていました。しかし、この研究により、脳が文脈に応じて柔軟に意味表現を調整していることが示されました。この発見は、意味記憶や概念表現に関する従来の理論を見直す必要性を示唆しています。
認知科学への波及効果
この研究の影響は、認知科学全体に及んでいます。予測的符号化理論は、知覚、注意、記憶といった様々な認知機能において重要な役割を果たすとされていますが、言語処理においてもその有効性が実証されました。これにより、認知機能の統一的な理解に向けた重要な一歩が踏み出されたと言えるでしょう。
また、この研究は計算論的アプローチの有効性を強く支持しています。従来の認知科学では、心理実験や神経科学的手法が主流でしたが、人工知能モデルとの比較により、より深い理解が得られることが示されました。今後は、認知科学と人工知能研究のさらなる融合が期待されます。
さらに、この研究は言語の本質に関する哲学的問いにも関係しています。言語理解が予測に基づくプロセスであるという発見は、意味とは何か、理解とは何かといった根本的な問題について新しい視点を提供します。これらの問題は、今後の学際的研究において重要なテーマとなるでしょう。
結論：新しい研究パラダイムの始まり
ゴールドシュタイン博士らの研究は、人間の言語理解メカニズムについて従来の枠組みを大きく変える可能性を秘めています。単語を聞く前から始まる予測活動、予測誤差による学習、文脈依存の意味表現という三つの共通原理は、人間とAIの言語処理における根本的な類似性を示しています。
しかし、この研究は終点ではなく、むしろ新しい研究領域の出発点と位置づけるべきでしょう。人間の認知メカニズムと人工知能の計算過程を比較するという手法は、今後様々な認知機能の研究に応用される可能性があります。同時に、この手法により得られた知見は、より人間らしい人工知能の開発にも貢献するでしょう。
最も重要なことは、この研究が示した人間の言語処理の動的で予測的な性質です。私たちは日常的に、相手の言葉を予測しながら会話を進めています。この研究により、そうした直感的な理解に科学的な基盤が与えられました。今後の研究により、言語だけでなく、思考や創造性といったより高次の認知機能についても、同様の理解が得られることが期待されます。
この研究が切り開いた新しい視点は、認知科学、神経科学、人工知能研究の各分野を横断する重要な貢献として、長く記憶されることでしょう。人間の心の働きと人工知能の計算過程との類似性と相違点を理解することは、人間とは何か、知能とは何かという根本的な問いに答える上で不可欠なプロセスなのです。
Goldstein, A., Zada, Z., Buchnik, E., Schain, M., Price, A., Aubrey, B., Nastase, S. A., Feder, A., Emanuel, D., Cohen, A., Jansen, A., Gazula, H., Choe, G., Rao, A., Kim, C., Casto, C., Fanda, L., Doyle, W., Friedman, D., . . . Hasson, U. (2022). Shared computational principles for language processing in humans and deep language models. Nature Neuroscience, 25(3), 369–380. https://doi.org/10.1038/s41593-022-01026-4