第二言語ライティング（以下L2ライティング）の世界は、ここ数十年で大きく変わりました。かつての英語作文指導といえば、教師が赤ペンを手に学習者の答案を一枚一枚丁寧に添削するというイメージが強かったのですが、今やコンピュータが自動で採点し、フィードバックを返す時代になっています。そのような激変の中で、「評価」はいったいどうあるべきか――この問いに真正面から向き合ったのが、Vahid AryadoustとMehdi Riaziが2017年にEducational Psychology誌に掲載した論文、”Role of Assessment in Second Language Writing Research and Pedagogy”（L2ライティング研究と教育実践における評価の役割）です。
この論文は同誌の特集号（スペシャルイシュー）のエディトリアル（編集者序文）という位置づけですが、その内容はむしろ独立した総説論文に近く、L2ライティング評価の現在地を丁寧に整理しながら、収録4論文の意義を論じる構成になっています。Aryadoustはシンガポールの南洋理工大学国立教育研究所（NIE）に所属する言語テスティングの専門家で、中東・太平洋地域の言語アセスメント研究でも知られています。Riaziはオーストラリアのマッコーリー大学言語学部に所属し、混合研究法（MMR）を用いたL2ライティング研究を牽引してきた研究者です。二人の専門的背景が、この論文に学習科学・言語テスティング・教育実践という複数の視点をもたらしています。
L2ライティング評価の三本柱
この論文が提示する最も重要なフレームワークは、L2ライティング評価研究を三つのサブフィールドに整理した点にあります。第一は評価ツール（ルーブリックやチェックリストなど）の開発と検証、第二は教師やAWE（自動ライティング評価）システムが提供するフィードバックの妥当性と解釈、そして第三はジャンル基盤のアプローチの有効性です。この三分類は研究者にとってもシンプルで分かりやすく、実践的な示唆を導き出しやすい整理の仕方です。
第一のサブフィールドについては、Kim（2011）による診断的ライティングチェックリストの研究が詳しく紹介されています。このチェックリストは「内容の充実度」や「構成の効果性」など五つのライティング次元を測るものであり、心理測定的な信頼性が確認されています。日本の高校や大学英語の現場でも、いまだに「〇点満点の総合評価」で終わってしまうことが少なくありませんが、この研究はそのような一元的評価では見えてこない学習者の具体的な課題を可視化できることを示しています。評価は点数をつけるためだけのものではなく、学習者の弱点を的確に診断し、次の指導に活かすためにあるという発想は、日本の英語教育現場でも今後ますます重要になるでしょう。
自動採点システムをめぐる期待と現実
第二のサブフィールド、とりわけAWEシステムに関する議論は、現在の日本の教育政策とも深く結びついています。AIを活用したスピーキング・ライティング評価への期待は、英語教育改革の文脈でも大きく高まっているからです。しかし著者たちは冷静です。「フィードバックの提供―それが教師によるものであれAWEシステムによるものであれ―は引き続き広く受け入れられた実践であるが、さらなる研究を要する」と明記しています。
特集号の第一論文、Ranalli・Link・Chukharev-Hudilainen（以下Ranalli et al.）によるCriterion（ETS開発のAWEシステム）の研究は、Kane（2015）の証拠ベースの妥当性論証フレームワークを使い、Criterionのフィードバックの正確さと有用性を検証したものです。結果は「ある程度は正確」でありながら、特定のエラータイプの検出精度が著しく低い場面も確認されました。しかも以前の研究との比較では、コンテキストによって性能が大きく異なることも明らかになりました。これは重要な指摘です。あるシステムが特定の集団や課題条件では優れた性能を発揮しても、別の環境ではその限りではないということを示しています。AWEを日本の教育現場に導入する際にも、開発者の謳い文句をそのまま信じるのではなく、実際の使用環境における独自の検証が欠かせないのです。
もう一つのAWE論文はBai・HuによるPigaiの研究です。Pigaiは中国のEFL学習者向けに開発されたAWEソフトウェアで、コーパスを利用して語彙・文法・構造・内容を採点します。30名の中国人大学生を対象にしたこの研究では、学習者は文法やスペルなどの形式的フィードバックには積極的に応答し、修正も比較的成功したのに対し、コロケーションや語の選択といった意味的フィードバックへの対応は不十分でした。これは日本人英語学習者の傾向とも重なるように思われます。表面的なミスは修正できても、より深いレベルの語彙・表現の問題には自力での対応が難しい―そのギャップを埋めるためにこそ、教師の指導が必要なのではないでしょうか。
ジャンル教育という視点の広がり
第三のサブフィールドであるジャンル基盤アプローチについても、この論文は丁寧な整理を行っています。Hyon（1996）の分類に基づき、シドニー学派（SFLを基盤とする）、専門目的英語（ESP）、そして北米のニュー・レトリックという三つの伝統が紹介されています。Flowerdew（2002）がこれをテキスト基盤アプローチと状況指向アプローチに整理したこと、さらにJohns（2008）が前者を「ジャンル習得」、後者を「ジャンル意識」と呼んだことも丁寧に言及されています。
特集号第三論文のRakedzonとBaram-Tsabariによる研究は、理系・工学系の大学院生177名を対象に、14週間の英語学術ライティングモジュールがポピュラーサイエンスライティング（一般向け科学記事）の能力に与える影響を準実験的に検証したものです。結果は、学術ライティングとポピュラーサイエンスライティングの両方において有意な向上が見られ、英語運用能力の改善も確認されました。ポピュラーサイエンスライティングとは、難解な研究成果を一般の人々にわかりやすく伝える文章のことで、通常の学術論文とは大きく異なるジャンルです。「逆ピラミッド型」の構成で、最も重要な結論から始め、方法論や背景への言及は最小限に抑えるという独自の様式があります。日本の大学でも英語アカデミックライティングの授業が増えていますが、こうした多様なジャンルへの対応力を育てるカリキュラム設計は、まだ十分に議論されていないように感じます。
認知診断モデルという新しい武器
特集号の最後の論文は、Xieによる認知診断モデリング（CDM）の応用研究です。これは第一サブフィールド（評価ツールの開発・検証）と深く関係しますが、その技術的精緻さはこれまでの評価研究を大きく超えています。XieはKim（2011）の診断チェックリストを中国人英語学習者に適用し、reduced RUM（再パラメータ化統合モデル）という統計手法を用いて、各学習者がどのライティングスキルを「習得（mastery）」し、どれを「未習得（non-mastery）」であるかを識別しました。
この研究の最も興味深い発見は、「同じ得点の学習者であっても、必ずしも同じスキルセットを持つとは限らない」という点です。総合点が同じ80点でも、ある学生は内容構成に強く語彙に弱い一方、別の学生はその逆かもしれません。それを総合点だけで判断していては、適切な指導につながらないのです。これは日本の大学入試や英語検定試験にも当てはまる問題です。合否や級の判定に使われる「一つの数字」が、実際の言語能力の多面的な姿をどれほど捉えられているのか、改めて問い直す必要があるでしょう。
Xieはまた、CDMアプローチの実装には予算・人材・物流上の制約が伴うことも正直に認めており、低・中程度のステークス評価においては自己評価や相互評価が代替策として有望であると提案しています。この現実的な視点も、日本の教育現場にとって示唆に富む部分です。
量的研究の強みと限界―MMRへの展望
AryadoustとRiaziは、本特集号の論文群が主に量的アプローチを採用していることを明言しています。その理由として、より広い集団への知見の一般化、変数間の統計的関係の確立、そして教師・研究者・一般への結果の伝達のしやすさを挙げています。しかし二人は、量的手法の推進がそのまま質的研究の軽視を意味するわけではないとも強調しています。Borsboom（2005）を引用しながら、間の集団全体に当てはまる統計的効果は、個々の学習者への直接の適用を保証しないという重要な留意点も示しています。
Riaziが別途執筆中の論文で論じているように、混合研究法（MMR）こそがL2ライティング研究の複雑な問いに迫るための有力な方法論です。量的データが示す傾向を、質的データが提供する文脈や解釈で補完する――そのような研究設計は、「なぜ学習者はAWEフィードバックを活用しないのか」「教師の赤ペンはなぜ効果を持ち続けるのか」といった問いに、より豊かな答えを与えてくれるはずです。
日本の英語教育現場への示唆
この論文を読んで日本の英語教育関係者が感じるのは、「他人事ではない」という感覚ではないでしょうか。AIを活用した英語ライティング・スピーキング評価の導入が議論される中、評価の妥当性をどう担保するか、フィードバックをどう設計するかという問題は、まさに今日の課題です。
特集号で収録された研究が示す通り、AWEシステムは「形式的エラーの検出と修正」という用途では一定の有効性を示しますが、「高度なライティングスキルの育成」という観点では現時点では限界があります。日本語話者である日本人英語学習者の誤りのパターンは英語母語話者や中国語話者とも異なる部分が多く、海外で開発されたAWEシステムがそのまま機能するかどうかは慎重に検証する必要があります。
また、CDMが示す「個別診断」の考え方は、日本の高校・大学での指導設計にも重要なヒントを与えています。学習者全員に同じ教材、同じ課題、同じフィードバックを与えるのではなく、一人ひとりの弱点に応じた指導を設計するという発想は、現場の教師にとって理想論のように聞こえるかもしれません。しかし技術的なツールが整ってきた今、それは決して絵空事ではなくなっています。
さらにジャンル教育の観点から言えば、日本の大学英語教育は長らく「パラグラフライティング」という比較的狭いジャンルに集中しがちでした。Rakedzonらの研究が示すように、多様なジャンルを意識的に教えることが、学習者の汎用的なライティング能力の向上に貢献します。レポートだけでなく、ブログ記事、プレスリリース、一般向け解説文など、「伝える相手によって文章の形を変える力」を育てることが、これからの英語ライティング教育には求められているのではないでしょうか。
批判的検討―この論文の限界と可能性
もちろん、この論文にも検討すべき点はあります。エディトリアルという性格上、個々の研究の詳細な批判的分析には深み入ることが難しく、特集号に収録された論文への言及がやや肯定的に偏っている印象は否めません。また、「量的アプローチの有用性」を強調するあまり、質的研究が持つ固有の価値――学習者の動機・信念・文化的背景など、数字では捉えられない要素――への目配りがやや少ないように感じられます。
さらに、このエディトリアルが主に参照するのは英語圏・中国・中東・東アジアの文脈であり、日本固有の制度的文脈（センター試験から共通テストへの移行、英語4技能評価の動向、指定校推薦や総合型選抜での活用など）には直接触れていません。この論文の示唆を日本に応用するためには、研究者・実践者による追加的な文脈化が不可欠です。
それでも、この論文が持つ意義は大きいと言えます。L2ライティング評価という複雑なフィールドを三つのサブフィールドに整理し、量的手法の強みと限界を誠実に論じ、AWEの現実的な有用性と今後の可能性を冷静に評価した点は、研究者にとっても実践者にとっても有益な基準点となります。
評価は、学習の終わりではなく始まりです。AryadoustとRiaziのこの論文は、その当たり前のように聞こえる事実を、改めて真剣に考えるきっかけを与えてくれます。点数をつけることで満足するのではなく、その点数が何を意味し、どう次の指導に活かすかを問い続けること。それこそが、L2ライティング評価研究の、そして私たちの教育実践の、本質的な使命なのかもしれません。
Aryadoust, V., & Riazi, M. (2017). Role of assessment in second language writing research and pedagogy. Educational Psychology, 37(1), 1–7. https://doi.org/10.1080/01443410.2016.1227089
