はじめに―英語のライティング指導をめぐる現場の悩み
英語を外国語として学ぶ学生にとって、作文は最も難しいスキルの一つです。文法、語彙、構成、内容、すべてを同時に考えなければならないからです。教師の立場からすれば、学生一人ひとりの作文に丁寧なフィードバックを与えたいと思っても、クラスの人数が多ければ物理的に不可能です。そこで近年注目を集めているのが、Grammarlyのような自動ライティング評価システム（AWE）です。 本論文”Exploring the effects of automated written corrective feedback on EFL students’ writing quality: A mixed-methods study”の筆者Ning Fanは、中国の遵義医科大学（Zunyi Medical University）で外国語を教える研究者です。Fan自身も、多くの英語教師が直面する同じ悩みを抱えていたのでしょう。応用言語学の博士号を持ち、19年の教育経験を持つ同僚教師とともに、この研究を実施しました。研究の舞台は中国西南部の大学で、対象は英語を専攻しない2年生67名です。彼らの英語力は比較的低く、全国統一試験であるCET-4（大学英語試験4級）のスコアは425点未満（TOEFLで約50点相当）でした。研究の構成―実験群と対照群による比較
この研究では、学生を2つのグループに分けました。実験群30名は教師からのフィードバックとGrammarlyからの自動フィードバックの両方を受け取り、対照群37名は教師からのフィードバックのみを受け取りました。 研究期間は12週間で、その間に学生は4つのライティング課題（事前テスト、課題1、課題2、事後テスト）と2つの修正課題を完成させました。すべての課題は議論文形式で、CET-4の過去問題から採用されており、120～180語を30分で書くという条件でした。 興味深いのは、この研究が「混合研究法」を採用している点です。つまり、数値データだけでなく、学生へのアンケート調査（5段階評価の質問と自由記述）も組み合わせています。これは、統計的な結果だけでは見えてこない学生の実感や困難を理解するための工夫です。予想外の結果―Grammarlyの効果は認められず
研究者が最も知りたかったのは、「Grammarlyと教師のフィードバックを組み合わせた場合、教師のフィードバックだけの場合と比べて、学生のライティングの質は向上するのか」という点でした。 結果は意外なものでした。 統計分析の結果、実験群と対照群の間に統計的に有意な差は見られなかったのです。具体的には、以下の8つの指標すべてにおいて差がありませんでした。 統語的複雑性については、T単位の平均長（MLT）、T単位あたりの従属節数（DC/T）、節あたりの等位句数（CP/C）、節あたりの複雑名詞句数（CN/C）という4つの指標で測定されました。語彙的複雑性については、語彙多様性（MTLD）と語彙洗練度（LCM）で測定されました。そして正確性はエラー率、流暢性は総語数で測定されました。 たとえて言えば、高級な包丁を使っても、普通の包丁を使っても、料理の出来栄えに差がなかったようなものです。道具の良し悪しだけでは、技術の向上は保証されないということです。学生の声―Grammarlyへの複雑な感情
アンケート調査からは、学生のGrammarlyに対する複雑な感情が浮かび上がってきました。 肯定的な面としては、58.6%の学生がGrammarlyのフィードバックを理解できると答え、62.1%が修正方法を理解できると答えました。また、65.5%の学生が文法の間違いを訂正するのに役立つと回答し、同じ割合の学生がライティングの質の向上に役立つと答えました。 一方で、自由記述では異なる側面が見えてきます。38%の学生が文法と語彙のフィードバックを最も気に入っていると答えましたが、20%の学生は句読点のフィードバックを最も気に入らないと答えました。ある学生は「句読点はライティングにおいて些細な要素だと思う」と述べています。 さらに深刻なのは、一部の学生が感じた困難です。ある学生（S22）は「時々、Grammarlyのフィードバックを理解するために翻訳ツールを使わなければならない。なぜなら英語で書かれているから」と述べています。別の学生（S23）は「何をしても正しい修正ができないので、Grammarlyのフィードバックに基づいて作文を修正できない」と訴えています。なぜ効果が見られなかったのか―3つの可能性
Fanは、Grammarlyの効果が見られなかった理由として、3つの可能性を挙げています。 第一に、学生の英語力が低すぎたという問題です。Grammarlyは英語でフィードバックを提供します。しかし、英語力が低い学生にとって、英語でフィードバックを読むこと自体が大きな壁になります。これは、泳げない人に英語の水泳教本を渡すようなものです。内容がいくら正確でも、理解できなければ意味がありません。 ここで重要なのが、心理学者Vygotskyが提唱した「発達の最近接領域（ZPD）」という概念です。これは、学習者が一人ではできないけれど、適切な支援があればできるようになる範囲のことを指します。フィードバックが効果を持つためには、この範囲内になければなりません。しかし、Grammarlyのフィードバックが学生のZPDの外にあった可能性があります。 第二に、学生がGrammarlyに慣れていなかったという問題です。ある学生（S20）は「Grammarlyに慣れていないので、使うのが不便だ」と述べています。中国のEFL学生の多くは、母国語でフィードバックを提供する「Pigai」というシステムを使い慣れています。別の学生（S22）は「Grammarlyを2回しか使ったことがないので、どんな種類のフィードバックを提供するのかさえ知らない」と述べています。 さらに別の学生（S3）は技術的な問題を指摘しています―「Grammarlyは私たちの国で作られたものではないので、時々インターネット接続の問題でログインできない」。これは、どんなに優れたツールでも、使いやすくなければ効果を発揮できないことを示しています。 第三に、学生がGrammarlyの有用性を信じていなかったという問題です。調査結果を見ると、半数以上の学生がGrammarlyがライティング能力の向上に役立つと強く同意または同意していません。たとえば、語彙を増やすのに役立つと答えたのは37.9%、ライティング能力を高めるのに役立つと答えたのは44.8%にとどまりました。 言語学者Longは、学習者の「注意」が言語習得において重要な役割を果たすと指摘しています。しかし、有用だと思わないものには注意を向けません。これは、筋トレの効果を信じていない人が、ジムに通っても真剣に取り組まないのと似ています。意外な発見―満足度とライティングの質の関係
研究の第二の問いは、「学生のGrammarlyに対する満足度とライティングの質の間に関係があるか」というものでした。 結果は興味深いものでした。8つの指標のうち7つについては、満足度との相関が見られませんでした。しかし、1つだけ例外がありました。それは、T単位の平均長（MLT）です。これは、文の長さの複雑さを測る指標です。 Grammarlyに対してより肯定的な態度を持つ学生は、より長く複雑な文を書く傾向がありました。これは中程度の正の相関（r = .436）で、統計的に有意でした。 これは何を意味するのでしょうか。一つの解釈は、即座に詳細なフィードバックを受け取れることで、学生が長い文を書くことを恐れなくなった可能性です。通常、複雑な文を書けば間違いも増えます。しかし、Grammarlyがすぐに修正を提案してくれるなら、試してみようという気持ちになるかもしれません。 ただし、この発見は慎重に解釈する必要があります。長い文を書けるようになることは良いことですが、それだけでは良いライティングとは言えません。内容、構成、一貫性など、他の要素も重要だからです。先行研究との比較―一致と矛盾
この研究の結果は、一部の先行研究と一致していますが、他の研究とは矛盾しています。 効果がなかったという点では、Huang and Renandya（2020年）、Ware（2014年）、Wilson and Czik（2016年）の研究と一致しています。しかし、効果があったと報告するBarrot（2023年）やThi and Nikolov（2022年）の研究とは矛盾します。 この違いは何から生まれるのでしょうか。一つの重要な要因は、学習者の英語力のレベルです。比較的高い英語力を持つ学習者を対象にした研究では、AWEの効果が見られる傾向があります。一方、本研究のように低い英語力の学習者を対象にした場合、効果が見られにくいようです。 また、使用するAWEシステムの種類、フィードバックの提供方法、研究期間の長さなども影響する可能性があります。J. Li et al.（2015年）の研究では、Criterionというシステムを使用し、学生のライティングが初稿から最終稿にかけて向上したと報告しています。しかし、本研究ではそのような改善は見られませんでした。学生が求めるもの、嫌うもの―質的データからの発見
自由記述の質問から、学生の具体的な好みが見えてきました。 最も気に入っている点として、11名（38%）の学生が文法と語彙の両方のフィードバックを挙げ、7名（24%）が文法のフィードバックのみを、9名（31%）が語彙のフィードバックのみを挙げました。ある学生は「Grammarlyは文法の間違いを訂正し、良い語彙を推薦してくれる」と述べています。 一方、最も気に入らない点として、6名（20%）の学生が句読点のフィードバックを挙げました。3名（10%）は語彙のフィードバックを、3名（10%）はGrammarlyの操作システムを、2名（7%）は文法のフィードバックを、2名（7%）はプレミアム機能を、1名（3%）は採点機能を挙げました。 興味深いのは、ある学生が述べた「より高度なGrammarlyのフィードバックを通じてライティング能力を向上させたいと思うことがあるが、それには料金を払わなければならない」というコメントです。これは、無料版の限界と、学生の経済的制約を示しています。 また、別の学生は「Grammarlyが与えるスコアは、私のライティング能力を反映していない」と不満を述べています。これは、自動評価システムの限界を学生自身が感じていることを示しています。研究の限界―著者自身が認める課題
Fanは、この研究にはいくつかの限界があることを正直に認めています。 第一に、学生がGrammarlyのフィードバックをどのように使って修正したのか、詳しく調べていない点です。学生がフィードバックをどう理解し、どう適用したのか、どんな困難に直面したのかを知ることができれば、より深い理解が得られたでしょう。 第二に、個人差の役割を調査していない点です。モチベーション、ワーキングメモリ、学習スタイルなど、様々な要因がライティングの質に影響を与えます。Grammarlyのフィードバックが一部の学生には効果的でも、他の学生には効果的でない可能性があります。 第三に、サンプルが低い英語力の学生に限られている点です。そのため、この結果を他のレベルの学生に一般化することはできません。 第四に、議論文のみを扱っている点です。物語文、説明文、説得文など、他のジャンルでは異なる結果が得られる可能性があります。 これらの限界にもかかわらず、この研究は重要な貢献をしています。それは、AWEシステムを導入すれば自動的に学生のライティングが向上するという単純な期待を否定し、より慎重なアプローチの必要性を示した点です。教育現場への示唆―教師は何をすべきか
この研究から、英語教師は何を学ぶべきでしょうか。Fanは3つの提案をしています。 第一に、AWEシステムを導入する際には慎重になるべきだということです。特に英語力の低い学生に対しては、システムを導入すれば自動的に改善するという幻想を持つべきではありません。もしAWEを使いたいなら、学生が最大限に恩恵を受けられるような方法を考える必要があります。たとえば、英語力の低い学生には、母国語でフィードバックを提供するAWEシステムの方が適切かもしれません。 第二に、学生の修正プロセスを監視し、適切な支援を提供する必要があるということです。アンケート結果を見ると、半数以上の学生がGrammarlyの潜在的な有用性を認めています。しかし、英語力が低いために、フィードバックを効果的に適用して作文を修正することができないのです。 ここで教師の役割が重要になります。クラスサイズが小さいEFL環境では、一対一のライティングカンファレンスを通じて個別のフィードバックを提供できます。また、学生に複数回の修正を義務付けることで、主体性とフィードバックへの関与を高めることができます。 第三に、学生に内容と構成の重要性を認識させる必要があるということです。アンケートでは、ほぼすべての学生が文法や語彙などの言語関連の問題を障害として挙げました。しかし、内容や構成の重要性に言及した学生は一人もいませんでした。 これは深刻な問題です。なぜなら、良い文章を書くには、正確な文法や豊富な語彙だけでなく、論理的な構成と説得力のある内容が必要だからです。教師は、学生がこれらの側面の重要性を理解するよう導く必要があります。より広い文脈で考える―テクノロジーと教育の関係
この研究は、テクノロジーと教育の関係について、より広い疑問を投げかけています。 近年、AI技術の発展により、教育分野でも様々な自動化ツールが登場しています。それらは効率性と即時性を約束します。教師の負担を減らし、学生により多くの練習機会を提供できるとされています。 しかし、本研究が示すように、テクノロジーの導入は万能薬ではありません。学習者の特性、使用の文脈、教師のサポート、学習者の受容性など、多くの要因が効果を左右します。 たとえば、計算機の例を考えてみましょう。計算機は計算を速く正確に行えますが、それだけでは数学の理解は深まりません。数学の概念を理解し、問題解決の方法を学ぶには、人間の教師の指導が不可欠です。同様に、Grammarlyは文法の間違いを指摘できますが、それだけでは良い文章を書く能力は育ちません。社会文化理論からの視点―学習は社会的営み
FanがVygotskyの社会文化理論に言及している点は重要です。この理論によれば、学習は本質的に社会的な営みです。人間のやり取り、対話、交渉を通じて、学習者は新しい知識やスキルを獲得します。 Grammarlyのような自動システムは、この社会的側面を欠いています。フィードバックは一方通行で、学習者が疑問を持っても質問できません。また、学習者の感情や動機づけを考慮することもできません。 ある学生（Lai, 2010年の研究より）が述べたように、AWEシステムは「非人間的な指導」をもたらす可能性があります。学生は機械と向き合うことに孤独を感じ、学習意欲を失うかもしれません。 一方、教師からのフィードバックは、たとえ同じ内容であっても、人間的な温かみがあります。教師は学生の努力を認め、励まし、個別のニーズに応じた支援を提供できます。これは、機械には代替できない価値です。注意と気づき―言語学習の認知プロセス
FanがSchmidtの「気づき仮説」に言及している点も重要です。この理論によれば、言語学習において「気づき」は不可欠です。学習者が新しい言語形式に気づき、意識的に注意を向けることで、学習が促進されます。 本研究では、多くの学生がGrammarlyのフィードバックを有用だと感じていませんでした。そのため、フィードバックに十分な注意を払わなかった可能性があります。注意を払わなければ、気づきは生まれません。気づきがなければ、学習は起こりません。 これは、教室での経験と一致します。どんなに良い教材や活動を用意しても、学生が興味を持たなければ、学習効果は限定的です。逆に、学生が価値を感じ、積極的に関与すれば、シンプルな活動でも大きな効果を生むことがあります。今後の研究への期待―残された問いと可能性
この研究は終わりではなく、始まりです。Fanが提案するように、今後の研究で探究すべき課題は多くあります。 まず、学生がフィードバックをどのように処理し、適用しているかを詳しく調べる必要があります。思考発話法（think-aloud protocol）を使えば、学生の認知プロセスをリアルタイムで観察できます。どこで躓くのか、何が混乱の原因なのか、どんな戦略を使っているのかが明らかになるでしょう。 次に、個人差の役割をより詳しく調査する必要があります。モチベーション、自己効力感、学習スタイル、メタ認知能力など、様々な要因がAWEの効果を調整する可能性があります。ある学生には効果的でも、別の学生には効果的でないかもしれません。 また、異なる英語力レベルでの効果を調査する必要があります。本研究は低い英語力の学生を対象にしましたが、中級や上級の学習者では異なる結果が得られるかもしれません。 さらに、異なるジャンルやタスクでの効果を探る必要があります。議論文だけでなく、物語文、説明文、ビジネスレターなど、様々な種類の文章で調査すべきです。 最後に、長期的な効果を調査する必要があります。本研究は12週間でしたが、より長期間AWEを使用した場合、学生のライティング能力やAWEに対する態度がどう変化するのか、興味深い問いです。教育におけるAIの役割を再考する
この研究は、教育におけるAI技術の役割について、重要な教訓を与えてくれます。 AIは強力なツールですが、教育の複雑さと人間的側面を考えると、教師の代わりにはなれません。むしろ、AIは教師の仕事を補完し、支援するツールとして位置づけるべきです。 たとえば、Grammarlyは基本的な文法や綴りのチェックには優れています。これらの作業を自動化することで、教師はより高次の指導―内容の深化、議論の展開、批判的思考の促進―に時間を使えます。 また、AWEシステムは、学生に即座のフィードバックと無制限の練習機会を提供できます。これは、多忙な教師にとって貴重な助けになります。しかし、それだけでは十分ではありません。教師の個別指導、励まし、対話が必要です。結びに代えて―バランスの取れたアプローチへ
この研究から得られる最も重要な教訓は、テクノロジーに対する過度な期待を避け、バランスの取れたアプローチを取るべきだということです。 Grammarlyのようなツールは、適切に使えば有用です。しかし、それは魔法の杖ではありません。学生の英語力、教師のサポート、学習環境、学生の動機づけなど、多くの要因が学習の成否を左右します。 英語教育において、技術は手段であって目的ではありません。最終的な目標は、学生が効果的にコミュニケーションできる能力を育てることです。そのためには、文法の正確さだけでなく、内容の深さ、論理の明確さ、創造性、批判的思考など、多様な能力が必要です。 Ning Fanのこの研究は、AWEシステムの限界と可能性の両方を明らかにすることで、より思慮深い技術の統合への道を示しています。教師、研究者、政策立案者は、この知見を活かし、学生にとって最も有益な学習環境を作り出すべきでしょう。 教育は、最終的には人と人とのつながりです。テクノロジーはその過程を支援できますが、人間の温かみ、理解、励ましに取って代わることはできません。この基本的な真実を忘れずに、私たちは技術を賢く活用していくべきなのでしょう。Fan, N. (2023). Exploring the effects of automated written corrective feedback on EFL students’ writing quality: A mixed-methods study. SAGE Open, 13(2), 1–17. https://doi.org/10.1177/21582440231181296