AIと人間の教師はどちらが頼りになるか―第二言語ライティング評価研究の現在地を読む

英語を教えていると、「どうすれば生徒の作文力を伸ばせるか」という問いに、何度も立ち止まることがあります。赤ペンで添削を続けても効果が見えにくい、かといってフィードバックをやめるわけにもいかない。そんなもどかしさを、多くの日本の英語教員が経験しているのではないでしょうか。今回取り上げるのは、Vahid AryadoustとMehdi Riaziが2017年にEducational Psychology誌に発表した論文 “Role of Assessment in Second Language Writing Research and Pedagogy” です。これは特集号（Special Issue）の巻頭エディトリアルとして書かれたもので、第二言語ライティング評価研究の現状を整理し、特集号に収録された4本の論文を紹介しながら、研究分野全体の方向性を論じた論考です。

筆頭著者のAryadoustはシンガポールの南洋理工大学国立教育研究所（NIE）に所属する応用言語学・言語テスティングの研究者で、中東や東アジアの言語評価研究にも造詣が深い人物です。共著者のRiaziはオーストラリアのマッコーリー大学言語学部に所属し、第二言語ライティング研究および混合研究法（Mixed Methods Research）を専門としています。二人とも、理論と実践の橋渡しを意識した研究者であり、この論文にもその姿勢が色濃く反映されています。

評価研究を三つの柱で整理する

この論文でまず目を引くのは、第二言語ライティング評価研究を三つのサブフィールドに整理した視点の明快さです。第一は評価ツールの開発と妥当性検証、第二は教師や自動評価システムによるフィードバックの妥当性、第三はジャンルに基づくライティング指導の有効性です。この三分類は、複雑に絡み合う研究の諸潮流を整理するための「地図」として機能しています。研究論文を読んでいると、全体像がつかめずに迷子になることがありますが、このような整理は読者にとって実際にありがたいものです。

第一の柱である評価ツールの開発については、Kim（2011）による診断的ライティングチェックリストの妥当性研究が引用されています。Kimの研究は、「内容の充足度」や「構成の効果性」といった5つの観点からなる評価ツールを開発し、その心理測定的信頼性を示したものです。著者たちはこの研究を高く評価しつつも、診断的・形成的評価ツールの開発はまだ十分に進んでいないと指摘します。日本の学校現場では、英作文の評価がいまだに採点者の主観や経験に依存している場合が少なくありません。信頼性の高い診断ツールが整備されれば、教師の負担軽減にもつながり得る話です。

フィードバックは本当に効くのか

第二の柱であるフィードバック研究は、特に日本の英語教育関係者にとって身近なテーマでしょう。著者たちはVan Beuningen（2010）の包括的なレビューを引きながら、「訂正フィードバックが学習を促進するという証拠はある、しかし談話レベルのスキル向上には時間がかかる」という微妙な立場を取ります。つまり、単語の綴りや文法的な誤りならフィードバックが効きやすいけれど、文章全体の構成や論理展開を鍛えるには、もっと長期的な取り組みが必要だということです。

これは、現場での実感と一致しているのではないでしょうか。毎回丁寧に添削しても、同じ間違いが繰り返されるという経験は、英語教員なら誰もが持っているはずです。それは教師の怠慢でも生徒の不真面目さでもなく、学習のメカニズムそのものに内在する難しさなのかもしれません。そう思うと、少し肩の荷が下りる気がします。

さらに著者たちは、Liu and Brown（2015）のメタ分析を引いて、「教師フィードバックの有効性と役割はいまだ未解決の問題である」と述べています。この「未解決」という表現に、研究者としての誠実さを感じます。フィードバック研究は数十年にわたって積み重ねられてきましたが、それでも確定的な結論は出ていない。むしろ、文脈や学習者の属性によって効果が異なることが見えてきており、一律の処方箋を求める姿勢そのものを問い直す必要があるのです。

自動採点システムは使えるのか

この論文が特に注目を集めるのは、Automated Writing Evaluation（AWE）つまり自動ライティング評価システムに関する議論です。CriterionやWriteToLearn、そして中国のEFL学習者向けに開発されたPigaiといったシステムが取り上げられています。著者たちは、AWEシステムが即時フィードバックを提供できる点を利点として認めつつも、「その教育的・評価的有用性については、まだ一般化できる段階にない」と慎重な姿勢を取ります。

特集号に収録されたRanalli, Link, and Chukharev-Hudilainenの研究は、CriterionをKane（2015）の証拠に基づく妥当性論証フレームワークに照らして検証したもので、「誤り検出の精度はある程度あるが、文脈によって大きく異なる」という結論を示しています。また、Bai and HuによるPigaiの研究では、中国の学部生がPigaiのフィードバックをどのように利用するかを調査し、形式的なフィードバック（文法・機械的規則）には対応できるが、意味的なフィードバック（コロケーションや語選択）への対処は難しいという知見が得られています。

これらの知見は、日本でも急速に普及しつつあるAI英語学習ツールの評価に直接的な示唆を与えます。ChatGPTをはじめとする生成AIは英作文のフィードバックに使われ始めていますが、どの種類のエラーに対して信頼でき、どの種類には限界があるのかを教師が理解した上で使うことが求められます。盲目的な信頼も全面的な否定も、どちらも生産的ではありません。

ジャンルで教えるとはどういうことか

第三の柱として、著者たちはジャンルに基づくライティング指導の理論と実践を丁寧に解説しています。ジャンル理論には、シドニー学派（Systemic Functional Linguistics）、英語特定目的（ESP）、そして北米のニュー・レトリックという三つの伝統があることが紹介されます。Flowerdew（2002）の整理に従えば、前二者はテクスト中心のアプローチ（「ジャンル習得」）、後者は状況志向のアプローチ（「ジャンル意識」）と位置付けられます。

簡単に言えば、「このジャンルのテクストはこういう構造になっている、だから真似て書け」と教えるのか、「このジャンルがどんな社会的状況の中で使われているのかを理解し、その文脈に応じて書けるようになれ」と教えるのか、という違いです。教員養成の観点から言えば、初学者には前者の方が教えやすく、学習効果も見えやすい。しかし長期的な発展を考えれば、後者の視点も欠かせません。Johns（2008）がESPとSFLのアプローチの方が初心者には適していると述べている点も、現場の感覚に合っています。

特集号のRakedzon and Baram-Tsabariの研究は、大学院生を対象に「一般市民向けの科学的文章（ポピュラーサイエンスライティング）」を14週間で教えるプログラムの効果を準実験的デザインで検証し、学術ライティングとポピュラーサイエンスライティングの両方に有意な向上が見られたと報告しています。この研究は、科学技術系の専門家が研究成果を市民に届ける能力を育てるという、現代的かつ実践的な課題に応えるものです。日本でも、研究者や技術者が一般向けに発信する「サイエンスコミュニケーション」の需要は高まっており、大学英語教育においてもこうしたジャンルを扱う意義は十分にあります。

認知診断モデルという新しい評価の視点

最後に紹介されるXieの研究は、認知診断モデリング（CDM）の一種であるReduced Reparameterized Unified Model（RUM）を用いて、中国人学習者の英語アカデミックライティングの診断的チェックリストを検証したものです。この研究が示す重要な発見のひとつは、「同じ素点を持つ学習者が、必ずしも同じスキルセットを持っているわけではない」という事実です。

これは、日本の英語教育の現場でも深く考えるべき点です。たとえば大学入試で同じ英作文スコアを取った学生であっても、一方は語彙と構成が優れていて文法が弱く、もう一方はその逆である、というケースは十分にあり得ます。それを一つの数字で処理してしまうと、個々の学習者に必要な指導が見えにくくなります。CDMはそこに切り込む可能性を持ちますが、著者たちもコスト・人員・運用上の制約があることを認めており、万能ではありません。Xieが低・中程度のステークス評価における自己評価・ピア評価の代替可能性を提案しているのも、現実的な妥協点の模索として読めます。

量的研究の強さと限界を正直に語る

この論文で筆者たちが一貫して強調するのは、量的手法の優位性ですが、それを主張するだけに終わらず、その限界もきちんと述べている点が誠実です。量的研究は一般化しやすく、結果の検証が容易で、教師や一般市民にも伝えやすい。しかし、サンプル全体の傾向を示すものであって、個々の学習者には直接適用できない場合もある。Borsboom（2005）の著書 Measuring the Mind を引きながら、グループレベルの効果量が個人レベルの証拠とはならないことを指摘する箇所は、研究リテラシーの観点からも示唆に富んでいます。

そして著者たちは、質的研究や混合研究法（MMR）との対話の重要性も強調します。量的手法が「木を見る」ものだとすれば、質的手法は「森を見る」ものであり、両者を組み合わせることで初めて複雑な教育現象の全体像に近づけるという主張は、研究方法論として極めて健全な態度です。

日本の英語教育への示唆

この論文が描く研究の全体像を日本の英語教育という文脈に置き直すと、いくつかの重要な示唆が浮かび上がります。まず、信頼性の高い診断的ライティング評価ツールの開発と普及が急務である点です。日本では英作文の評価が長らく経験則に依存してきましたが、Kim（2011）やXieの研究が示すように、科学的に検証された評価基準の整備は、教師の指導改善にも直結します。

次に、AWEシステムの導入に際しての慎重な判断の必要性です。日本でもAIを活用した英語学習ツールの市場は急成長していますが、「AIが採点してくれるから大丈夫」という姿勢は危険です。どのような誤りを検出でき、どのような誤りを見逃すのかを教師が把握した上で補完的に使う姿勢が求められます。

さらに、ジャンル教育の視点を大学英語教育に取り込む可能性です。日本では英語ライティング指導が「自由英作文」の枠を出ないことも多く、アカデミックライティングや専門分野のジャンルに特化した指導は大学院教育でも十分とは言えません。Rakedzon and Baram-Tsabariの研究が示すように、目的を明確にしたジャンル指導は短期間でも有意な効果を上げられるのです。

関連研究との対比と学術的考察

本論文はエディトリアルという性質上、自らが実験を行う研究論文ではなく、研究のレビューと特集号の紹介を兼ねた論考です。同じ時期の関連研究と比較すると、たとえばHyland（2013）のジャンル教育論や、Chapelle（2001）のCALL研究との連続性が見えます。AryadoustとRiaziが取り上げる枠組みは、これらの先行研究を踏まえつつ、評価研究という特定の視点からライティング指導を再編成するという独自の貢献を持っています。

一方で、この論文の限界として指摘できるのは、「量的研究が望ましい」という立場が若干強調されすぎている点です。第二言語ライティングの学習過程を深く理解するためには、学習者の内省や教室での相互作用を扱う質的研究が不可欠であり、量的方法の優位性を強調するあまり、質的研究の貢献が後景に退いているように見える箇所があります。もっとも、著者たち自身もMMRへの期待を表明しており、この点への自覚はあると言えますが。

また、この論文が発表された2017年当時と比較して、AIと自然言語処理の技術は著しく進歩しています。ChatGPTのような大規模言語モデルが登場した現在、AWEシステムに関する議論は再び更新を迫られています。本論文の議論は、その更新のための基盤として依然として有効ですが、最新の技術的発展を踏まえた批判的読解が求められます。

学びの現場を、もう少し科学的に

教えることは、どこか職人仕事に似ています。長年の経験と勘が、マニュアルよりも頼りになることもある。しかし、その経験と勘を言語化し、検証し、他者と共有できる形にすることで、より多くの学習者が恩恵を受けられるようになります。AryadoustとRiaziのこの論文は、そのような科学的な姿勢を第二言語ライティング評価研究の分野でどのように実践するかを、広い視野で示した論考です。

専門用語が多く、実験デザインも複雑ですが、根本にある問いは単純です。「どうすれば、学習者がより良く書けるようになるか」。その問いに、研究者も教師も、それぞれの立場から真摯に向き合い続けることが大切です。この論文は、その問いに向き合うための地道な一歩として、今後も参照され続ける価値を持っています。