英語を教えている現場の先生なら、一度はこんな経験があるのではないでしょうか。生徒が書いた英作文を丁寧に添削して返却したのに、次の作文でまったく同じ誤りが繰り返されている。あるいは、採点に何時間もかけたのに、生徒はスコアしか見ていない。そんなもどかしさを感じたことがある人にこそ、この論文は読んでほしい一本です。
本稿で取り上げるのは、Vahid AryadoustとMehdi Riaziが共同編集した特集号の巻頭論説、”Role of Assessment in Second Language Writing Research and Pedagogy”（Educational Psychology, 2017, Vol. 37, No. 1, pp. 1–7）です。Aryadoustはシンガポールの南洋理工大学国立教育研究所に所属する言語評価の専門家であり、Riaziはオーストラリアのマッコーリー大学言語学部に籍を置く第二言語ライティング研究者です。この二人が編者として設計した特集号は、第二言語ライティング評価の現状と課題を多角的に論じるものであり、本論説はその全体像を示す「地図」のような役割を担っています。
第二言語ライティング評価の三つの柱
Aryadoustらはまず、第二言語ライティング評価の研究を三つの大きな領域に分類しています。第一が評価ツールの開発と検証、第二がフィードバックとスコアの有効性に関する研究、そして第三がジャンル基盤アプローチの有効性に関する研究です。この三本柱の整理は非常にわかりやすく、研究者だけでなく教育現場の実践者にとっても、自分の関心がどのあたりに位置するかを把握しやすい構成になっています。
第一の柱である評価ツールの開発に関しては、Kim（2011）による診断的ライティングチェックリストの研究が参照されています。Kimの研究は、「内容の充足度」や「構成の有効性」など五つの次元からライティングを診断するツールの信頼性と妥当性を検証したものであり、英語学習者の誤りを具体的に特定できることが示されました。こうした診断的評価ツールの開発と検証は、日本の英語教育においても非常に重要なテーマです。なぜなら、日本の学校現場では依然として総括的評価（何点取れたか）が主流であり、学習者が「何がわかっていて、何がわかっていないか」を細かく把握できる形成的・診断的評価の仕組みが圧倒的に不足しているからです。
フィードバック研究の「迷宮」に光を当てる
第二の柱であるフィードバック研究は、現場の先生方にとっておそらく最も身近なテーマでしょう。論説ではVan Beuningen（2010）による包括的な先行研究レビューが紹介されており、フィードバック研究を「書くことを学ぶ（learning-to-write）」アプローチと「学ぶために書く（writing-to-learn）」アプローチに分類しています。前者は継続的な訂正フィードバックを通じて学習者の書く力を伸ばすことを目的とし、後者は心理言語学的・認知的側面に焦点を当てた、より統制された研究手法を採用します。
重要なのは、訂正フィードバックが学習促進に一定の効果をもつという証拠がある一方で、談話レベルの書く力を高めるには相当な時間と労力が必要だという指摘です（Truscott & Hsu, 2008）。つまり、文法の誤りを直すことと、段落構成や論理展開を改善することは、別物として考える必要があるということです。これは日本の英語教師にとっても痛切なリマインダーです。文法ミスの訂正には熱心でも、文章全体の論理構造や説得力に対するフィードバックは後回しになりがちではないでしょうか。
また、自動ライティング評価（Automated Writing Evaluation、以下AWE）システムについても論説は詳しく言及しています。CriterionやMy Access、WriteToLearnといったシステムが紹介されており、これらが生成するフィードバックの精度についての研究は「決定的な結論が出ていない」とされています（Stevenson & Phakiti, 2014）。とはいえ、一部のAWEシステムは採点の信頼性において著しく高い数値を達成しているとも述べられており（Liu & Kunnan, 2016）、研究者の間でもAWEへの評価は一様ではないことがわかります。
AWEをめぐる二つの研究―CriterionとPigai
特集号に収録された論文の中でも、AWEに関する二つの研究は特に注目に値します。一つはRanalli、Link、Chukharev-Hudilainen（本特集号収録）によるもので、AWEソフトウェアのCriterionを使って形成的評価の有効性を検証した研究です。Kane（2015）の証拠に基づく妥当性論証フレームワークを援用し、Criterionのフィードバックが「評価推論（evaluation inference）」と「利用推論（utilisation inference）」の観点から妥当かどうかを二段階で検討しています。結果として、Criterionは誤りの特定に「ある程度」の精度を示したものの、特定のエラータイプの検出精度は著しく低く、特に高度なライティングコースでは効果が限定的であることが示されました。
もう一方はBaiとHuによる研究で、中国のEFL（外国語としての英語）学習者向けに開発されたAWEソフト「Pigai」の有効性を検討したものです。30名の英語専攻の大学生を対象に実施されたこの研究では、学生たちは文法やメカニクス（句読点、大文字など）に関するフィードバックには積極的に対応したものの、コロケーションや語選択といった意味に関わるフィードバックにはほとんど反応しなかったことが報告されています。この知見は非常に示唆的です。学習者は「直しやすいもの」を直す傾向があり、より深い言語的問題には手をつけないという傾向は、日本の英語学習者にも当てはまる可能性が高いでしょう。
日本でも英語ライティングにAIツールを活用しようという動きは着実に広がっています。しかし、このような研究成果が示すとおり、AWEシステムを単純に「導入すればよい」というわけではありません。どのような学習レベルに、どのような目的で使うのかを慎重に設計する必要があります。特に、高度な談話能力やアカデミックライティングの育成を目指す場面では、AWEだけに頼るのは危険だということを、現場の教員はしっかりと認識しておく必要があります。
ジャンル教育の三つの伝統と日本の英語教育
論説の第三の柱であるジャンル基盤アプローチについては、Hyon（1996）が提示した三つの伝統が整理されています。Systemic Functional Linguistics（SFL）に基づくシドニー学派、English for Specific Purposes（ESP）、そして北米のNew Rhetoricです。Flowerdew（2002）はこれらをテキスト基盤アプローチと状況志向アプローチに分類し、Johns（2008）はそれぞれを「ジャンル習得」と「ジャンル意識」として概念化しています。
Johns（2008）はまた、特に初学者には、SFLやESPのようなテキスト基盤アプローチがより有効であると主張しています。活動理論（Russell, 1997）を基盤とするNew Rhetoricは、テキストが生産される文脈、読者と書き手の役割、イデオロギー、所属するコミュニティなど多くの要因を考慮に入れますが、その抽象性の高さゆえ、初学者には適用が難しい面もあるということです。日本の高校や大学で英語を学ぶ学習者の多くが「初学者」に近いレベルであることを考えると、SFLやESPの視点を取り込んだ指導設計が現実的かつ有効だということになります。
特集号第三論文であるRakedzonとBaram-Tsabariの研究では、177名の理系・工学系の大学院生を対象に、14週間のアカデミックライティングコースを通じて「ポピュラーサイエンスライティング（一般向け科学読み物の執筆）」が向上するかどうかを準実験的デザインで検証しています。結果は肯定的であり、学術的ライティングとポピュラーサイエンスライティングの両方において、有意な向上が認められました。これは、日本の大学における英語教育にも重要な示唆を含んでいます。大学院レベルの英語教育では、論文執筆スキルに重点が置かれがちですが、研究成果を広く社会に伝えるための「わかりやすい英語」の能力も同様に必要であるという視点が、今後の日本の高等教育に取り入れられるべきでしょう。
認知診断モデルが変える評価の「粒度」
特集号の最後の研究論文は、Xieによるもので、認知診断モデリング（Cognitive Diagnostic Modelling、CDM）を用いた診断的ライティング評価の妥当性を検討したものです。使用されたモデルはreduced Reparameterized Unified Model（RUM）であり、Kim（2011）の診断チェックリストをベースにした評価ツールに適用されています。分析の結果、高・中・低の能力グループそれぞれに異なるスキルの習得・非習得パターンが存在することが明らかになりました。
論説はこの知見について、従来の一点集計スコア（ホリスティックスコア）では見えなかった情報が、CDMによって可視化できることの重要性を強調しています。たとえば、同じ合計点を取った学習者が、まったく異なるスキルプロファイルを持っている場合があるという指摘は、非常に鋭い観察です。逆に言えば、異なる合計点の学習者が、実は似たようなスキルセットを持っていることもあるということです。これは日本の定期試験や入学試験に対する根本的な問い直しを促します。「80点」という数字が示す意味は、実は人によってまったく違うのかもしれません。
また、Xieはこのアプローチの実施上の制約として、コスト、ロジスティクス、訓練された人材の確保を挙げており、低・中程度のステークスの評価場面では自己評価や相互評価の活用も検討すべきだと提案しています。これは実践的な提言であり、日本の学校現場でも取り入れやすい発想です。特に授業内での形成的評価においては、教師が一人ですべてのフィードバックを担う必要はなく、学習者同士の評価活動を組み込むことで、より豊かな学習経験を設計できるでしょう。
量的研究と質的研究、そしてその先へ
論説の結論部では、本特集号が量的アプローチを中心に据えた意図と、その限界についても率直に語られています。量的手法には、結果の一般化可能性、統計的関係の確認、教師や研究者への伝達のしやすさという利点がある一方で、「森ではなく木を見てしまう」という批判があることも認めています。そして、質的アプローチが文脈に根差した包括的な視野をもたらすことを評価しつつ、mixed-methods research（MMR）こそが第二言語ライティング研究の課題に答えるうえで有望だと論じています（Riazi, in press）。
この主張は非常に現実的です。実際、現場の英語教師は量的データだけでは判断できない多くの文脈的要因に日々向き合っています。どの学習者がなぜ誤りを繰り返すのか、どのような授業設計がモチベーションに影響するのか、そうした問いに答えるためには、質的データとの組み合わせが不可欠です。研究と実践の橋渡しという意味でも、MMRへの期待は大きいといえます。
日本の英語教育現場への示唆
この論説が提示する研究の全体像を、日本の英語教育の文脈から振り返ってみると、いくつかの重要な点が浮かび上がります。まず、評価の目的を明確にすることの重要性です。総括的評価（学習の評価）だけでなく、形成的・診断的評価（学習のための評価）を日常的に組み込む設計が求められています。次に、フィードバックの設計と活用に関して、「直しやすいもの」ではなく「学習に最も必要なもの」にフォーカスするフィードバックをどう設計するかが問われます。そして、AWEシステムの活用については、万能視することなく、そのスコープと限界を理解したうえで適切な場面で活用することが肝心です。さらに、ジャンルへの意識については、学習者が接する英文のジャンルを意識した指導設計が、特に大学教育以降のレベルで求められます。最後に、個別フィードバックの可能性として、CDMのような診断的アプローチを部分的にでも導入することで、学習者一人ひとりの強みと弱みに即した指導が可能になります。
もちろん、本論説はあくまで特集号の編集者による俯瞰的な論説であり、個々の研究の詳細な批判的検討よりも、分野全体の地図を描くことに主眼が置かれています。そのため、特定の研究知見についての深い分析や、対立する見解への細やかな対応は、収録各論文に委ねられています。また、取り上げられた研究の多くは中国や北米など特定の地域に偏っており、日本の文脈への直接的な適用には慎重な読み替えが必要です。
とはいえ、Aryadoustら編者が見せた視野の広さと、研究と実践を橋渡ししようとする一貫した姿勢は高く評価されるべきものです。英語ライティング評価の研究は今後も急速に発展し続けるでしょう。そのなかで、現場の教師が研究動向を把握し、自らの実践を見直すための土台として、本論説は非常に有益な出発点を提供しています。評価とは、学習者の出来不出来を記録するだけの作業ではありません。それは学びを深めるための対話であり、指導を改善するための鏡でもあります。そのことを、改めて思い起こさせてくれる論文です。
Aryadoust, V., & Riazi, M. (2017). Role of assessment in second language writing research and pedagogy. Educational Psychology, 37(1), 1–7. https://doi.org/10.1080/01443410.2016.1227089
