Zhang Zhihui（南カリフォルニア大学Rossier School of Education）とHuang Xiaomeng（Alibaba Cloud）による論文”The Impact of Chatbots Based on Large Language Models on Second Language Vocabulary Acquisition”（Heliyon, 2024）は、ChatGPTに代表される大規模言語モデル（LLM）を活用したチャットボットが、第二言語（L2）の語彙習得にどのような影響を与えるかを実証的に検討した研究です。52名の中国語母語話者の高校生を対象に、8週間にわたる準実験デザインのもと、受容的・産出的語彙知識と偶発的語彙学習の三つの観点から効果を測定しています。結論は明快で、LLMベースのチャットボットを活用したグループは、そうでないグループよりも統計的に有意な成績向上を示しました。
この研究を初めて読んだとき、率直に言えば「ついにこういう研究が出てきたか」という感慨と、「でも、それだけでは足りない」という物足りなさが同時に押し寄せてきました。語彙学習とテクノロジーの関係は、CD-ROMを使った教材が流行した1990年代から延々と議論されてきたテーマです。ツールは変わっても、問いはずっと同じ。「これを使えば、学習者は本当にことばを身につけるのか」という一点です。その問いに対して、本論文はどこまで答えられているのでしょうか。
研究の骨格を確認する
まず研究デザインを整理しておきましょう。参加者は女性27名、男性25名の計52名で、全員が英語を唯一の外国語として学ぶ中国語母語話者です。英語学習歴は最低2年以上とされており、Oxford Vocabulary Testによる事前テストで中級以上の語彙力が確認されています。実験群（EG）はLLMベースのチャットボットを語彙学習支援ツールとして使用し、統制群（CG）は別のデジタルリソースを使用しました。両群ともCambridge THINKシリーズのA2レベルテキストを週1回読み、下線付きの目標語80語の意味を探ることが課題とされました。
評価は4段階で行われています。8週間の学習終了直後に受容的・産出的語彙テストを実施し、2週間後に同じ形式の遅延テストを再実施しました。産出的テストにはLauferとNationによるVocabulary Levels Testの改訂版（18問）が、受容的テストにはReadによるWord Associates Test（40問）が使用されています。いずれも語彙研究の分野でよく知られた信頼性の高いツールです。
結果を見ると、即時テストでは産出的語彙の平均正解率がEG 73.93%に対してCGは66.24%、受容的語彙ではEG 67.34%に対してCGは64.27%で、いずれも統計的に有意な差が確認されました（p < 0.001）。遅延テストになると差はさらに広がります。産出的語彙の平均正解率はEGが67.95%、CGは55.55%となり、実に12.39ポイントもの開きが生じました。受容的語彙でも4.7ポイントの差が維持されています。数字だけを見れば、LLMチャットボットの効果は十分に示されているといえます。
産出的語彙への着目という視点
この研究が持つ最も興味深い貢献のひとつは、産出的語彙知識への着目です。受容的語彙、すなわち読んだり聞いたりするときに意味が理解できる語彙については、これまでにもCALL（コンピュータ支援言語学習）の文脈で研究が積み重ねられてきました。しかし産出的語彙、つまり自分で使いこなせる語彙については研究が手薄でした。そこには理由があります。産出的語彙の習得には時間がかかりますし、測定も難しい。8週間という短期間の研究でその変化を捉えようとすること自体、野心的な試みです。
Nation（2001）の古典的な枠組みによれば、学習者は一般に産出的語彙よりもはるかに大きな受容的語彙を持っています。Webb（2008）もL2学習者の産出的・受容的語彙サイズを実証的に比較し、その非対称性を確認しています。本研究はこの伝統的な知見を踏まえつつ、LLMチャットボットが「受容から産出へ」という橋渡しを加速する可能性を示唆しています。特に遅延テストで差が広がったことは、チャットボットとの対話が単なる短期的な記憶の強化にとどまらず、より深い語彙処理を促進している可能性を示しており、理論的に見ても示唆的です。
その背景として著者らが挙げているのが、チャットボットが提供する「安全な言語産出環境」という概念です。人前で間違えることへの不安―いわゆる言語不安―は、日本の英語学習者にとっても深刻な問題として長く語られてきました。チャットボット相手であれば、どれだけ誤った文を送っても笑われる心配はありません。この心理的安全性が、学習者の能動的な産出行動を引き出し、それが語彙の定着につながったという解釈は、説得力があります。
偶発的語彙学習という見落とされがちな観点
本論文が取り上げる第三の問い、偶発的語彙学習（incidental vocabulary learning）もまた重要です。これは学習者が意図的に語彙を覚えようとするのではなく、何か別のことをしている最中に自然と語彙が身につくプロセスです。母語習得に最も近い形の学習とも言われており、近年のL2研究では注目度が高まっています。
本研究では、実験群の学習者が8週間で目標語80語以外に平均10.38語の「非目標語」について質問していたことが確認されています。さらに69.23%以上の学習者が10語以上の非目標語を習得していたという観察結果も報告されています。チャットボットとの対話がきっかけとなり、学習者が自発的に語彙の探索行動をとり始めたわけです。まるで辞書を引いて目当ての語を探しているうちに、隣のページの単語が目に入って覚えてしまう、あの感覚に近いかもしれません。ただし、偶発的語彙習得の測定方法については論文中の記述が十分ではなく、後述するように方法論的な疑問が残ります。
システム設計の工夫と限界
本研究が使用したチャットボットシステムは、OpenAIのAPIをバックエンドとして利用し、バックエンドサービス、検索サービス、AIロボットの三層構造で設計されています。ユーザーインタフェースとしては「Huang」という名前のキャラクターが採用され、語彙の意味説明、例文提示、クイズ機能、会話練習、テキスト生成という四つの学習コンテキストが組み込まれています。
このシステム設計自体は、教育的に見て合理的です。意味だけを聞くのではなく、類義語・反義語を尋ねたり、その語を使った物語を生成させたりという多様なインタラクションが可能になっています。システム観察の結果によれば、学習者が1週間に尋ねた質問の種類は、意味に関するもの（39.29%）が最多で、次いで例文（22.41%）、類義語・反義語（21.31%）、語の文化的・歴史的背景（16.98%）という分布でした。この多様性は、Nation（2001）が提唱する語彙知識の多面的な側面―意味・形式・使用―に対応するものであり、理論的な整合性があります。
ただし、ここで一点気になることがあります。このチャットボットシステムは研究者自身（Huang Xiaomengが所属するAlibaba Cloud）が設計・開発したものです。研究対象のツールを研究者自身が作っているという状況は、設計の工夫を詳細に説明できるという利点がある一方で、評価における利益相反の可能性という問題を内包しています。論文にはこの点についての明示的な言及がなく、査読プロセスでも問われていないようですが、研究の透明性という観点からは検討が必要な論点です。
方法論的な問いかけ
実験デザインとしての完成度についても、冷静に見ておく必要があります。まず52名という標本サイズは、統計的有意差を確認するには十分かもしれませんが、一般化可能性（external validity）という点では限定的です。参加者は全員が中国語母語話者の高校生で、オンライン英語コースの受講者に絞られています。日本の英語学習者とは学習環境も言語的背景も異なります。
また、統制群が使用した「別のデジタルリソース」の内容が明確に示されていません。これは実験の公正性に直結する問題です。チャットボットの有無という比較なのか、それとも特定のデジタルツールとの比較なのかによって、結果の解釈はかなり変わります。もし統制群が単純なウェブ検索や電子辞書を使っていたとすれば、LLMチャットボットの優位性はむしろ当然の結果であり、それ自体はそれほど驚くべきことではありません。
さらに、研究者が指摘するRLHF（Reinforcement Learning from Human Feedback）やPPO（Proximal Policy Optimization）といった技術的説明は、LLMの動作原理を解説するという意味では有益ですが、実際の実験とどのように接続されているのかが不明瞭です。本研究のチャットボットがRLHFを具体的にどのように実装しているかの記述は薄く、技術的な説明が過剰な一方で、実験変数の操作についての情報が不足している印象を受けます。加えて、学習者の個人差（学習スタイル、自律学習への傾向、デジタルリテラシーなど）を統制する手続きについても、もう少し詳しい説明があれば研究の精度がより明確になったでしょう。
日本の英語教育現場への示唆
では、この研究から日本の英語教育関係者は何を読み取れるでしょうか。いくつかの点を考えてみます。
まず、産出的語彙指導の課題という文脈で本研究は意義を持ちます。中学・高校の英語授業では、受容的な語彙知識の育成に重点が置かれがちです。英文を読んで意味がわかる語彙を増やすことは大切ですが、それを実際に使えるかどうかはまた別の問題です。本研究の結果は、LLMチャットボットとの自由な対話的インタラクションが産出的語彙知識の習得を促進する可能性を示しており、教員が明示的に取り組みにくい「使える語彙」の育成を、チャットボットが補完できるかもしれないという示唆を提供しています。
次に、授業外の自律学習支援という観点です。本研究では学習者が1週間に平均24.37の質問をチャットボットに投げかけています。授業時間には限りがあります。日本の高校生が1週間に英語の授業を受ける時間は多くて4〜5時間程度でしょう。その外側で、いつでも・どこでも・何度でも語彙について質問できる環境を提供できるとすれば、チャットボットの役割は授業の延長線上にあるものとして位置づけられます。これは「授業でやる」か「AIに任せる」かという二択ではなく、教師とAIが役割分担するブレンデッドなアプローチとして考えるべきです。
また、言語不安との関連は日本の文脈で特に重要です。スピーキングや語彙使用への不安が強い日本の学習者にとって、評価されない安全な環境でことばを試せるチャットボットは、心理的なウォームアップ装置として機能する可能性があります。そこで失敗を重ねることで、実際の人間とのやりとりへの恐怖感が和らぐとすれば、チャットボット活用の意義はテスト結果の数値以上のところにあるかもしれません。
関連研究との対比
本論文が引用しているDokukinaとGumanova（2020）の研究は、チャットボットが外国語学習における個人アシスタントとして機能することを示しています。またKim（2018）の韓国のEFL学習者を対象とした研究は、チャットボットと英語語彙学習の関係を探った先行研究として位置づけられています。これらの研究は多くがルールベースの従来型チャットボットを対象としており、LLMベースの本研究との比較で重要なのは、応答の自然さと柔軟性の違いです。従来型チャットボットは特定のキーワードや定型的なコマンドに依存しており、学習者が予期しない質問を投げかけると応答が崩れることがありました。LLMはその制約をほぼ解消しており、学習者がより自由にインタラクションを展開できる点が本研究の実験的優位性の一部を説明しています。
一方、チャットボット研究全体として見ると、Hwangと Chang（2021）が指摘するように、教育場面におけるチャットボット研究には技術的な機能面への偏重と、タスクの真正性（authenticity）への懸念という課題が残っています。本研究のタスク設計―テキストを読み、下線の引かれた目標語について自由にチャットボットに質問する―は、従来のドリル型学習よりは真正性が高いと言えますが、実際のコミュニケーションの文脈とはまだ距離があります。語彙を「知っている」ことと、それを自然な文脈で「使える」こととの間には、まだ大きな溝があり、この研究がそこまで踏み込んでいるかどうかは慎重に評価する必要があります。
研究の誠実さと残された課題
本論文の著者らは結論部において、研究の限界を比較的正直に認めています。標本サイズの制約、学習者の動機や満足度の未測定、偶発的学習に影響するモチベーションやコンテンツの要因についての未解明点、そして異なるチャットボットモデル間の比較の必要性などが挙げられています。この誠実さは評価できます。
ただし、教育研究としてより深く掘り下げてほしかった点があります。それは、学習者がどのようにチャットボットと対話したかという質的な側面です。量的な観察データ（質問頻度、質問タイプの分布）は報告されていますが、学習者が実際に何を感じ、どう試行錯誤し、どのような認知的処理を経て語彙を習得したかについての質的な分析が薄い。混合研究法（mixed-methods approach）を採用していると明記されているにもかかわらず、質的データの分析がほとんど見えてこないのは、研究デザインと実際の分析の間のギャップとして気になります。
AIツールを教室に導入するということ
少し視野を広げて考えてみます。ChatGPTをはじめとするLLMが一般に普及した今、「AIを使って語彙を学ぶ」ことは研究室の外でもすでに起きています。学習者は自分でプロンプトを工夫し、わからない語を調べ、例文を生成させています。本研究が描くような「設計されたチャットボット」を使った実験的学習と、学習者が日常的に行うLLMとのインタラクションとの違いは何か。その問いは、今後の研究が引き受けるべきテーマです。
教師の立場からすれば、重要なのはおそらく「どのチャットボットを使うか」よりも「どのようにチャットボットを使わせるか」という問いです。本研究では学習者全員に同一のガイドラインが提供され、チャットボットとの対話の仕方について明示的な指導が行われています。この「メタ的な指導」の部分が、チャットボット活用効果の鍵を握っている可能性があります。ツールだけ渡して「使ってみて」では効果は限定的でしょう。何をどう聞けばよいかを教えること、それ自体がひとつの重要な言語教育の課題です。
結語に代えて
本論文はLLMベースのチャットボットが第二言語語彙習得に有効であるという実証的な証拠を提示した、タイムリーかつ価値ある研究です。特に産出的語彙と偶発的語彙学習への効果を検討した点は、先行研究の空白を埋める試みとして評価できます。統計的な結果は明確で、読者に一定の確信を与えます。
しかし、標本の限定性、統制群の設定の曖昧さ、質的分析の薄さ、そして研究者自身が開発したツールを評価するという構造的な問題については、結果を解釈する際に念頭に置いておく必要があります。52名の中国語母語話者の高校生という特定の集団における8週間の結果は、より多様な学習者集団や異なる言語教育文脈へとそのまま適用できるわけではありません。
それでも、この研究が指し示す方向は無視できません。LLMチャットボットは、語彙学習における産出的知識の育成を支援し、学習者の自律的な探索行動を促し、言語不安を緩和する潜在的な力を持っているということ。日本の英語教育が長年抱えてきた「知っているけれど使えない」という語彙学習の壁に対して、テクノロジーがひとつの答えになりうるかもしれないという可能性を、本研究は確かに示しています。その可能性を検証するための、より厳密で、より多様な文脈における後続研究を期待したいと思います。
Zhang, Z., & Huang, X. (2024). The impact of chatbots based on large language models on second language vocabulary acquisition. Heliyon, 10, e25370. https://doi.org/10.1016/j.heliyon.2024.e25370