「テストのために勉強する」という言葉を聞いて、眉をひそめる英語教育関係者は少なくないでしょう。しかし現実には、多くの学習者がテストのスコアを目標に学習計画を立て、そのための対策に時間とエネルギーを注ぎ込んでいます。これは日本も例外ではありません。英検、TOEIC、TOEFLといったテストに向けた学習は、多くの学校・大学・社会人学習者の日常風景です。問題は、そうした「テスト対策学習」が、本当の意味での英語力の向上につながっているのかどうかという点です。今回紹介するのは、まさにその問いに正面から向き合った研究です。
研究の背景と筆者たちについて
Yu and Xu（2024）は、Language Testing in Asia誌に掲載された論文 “Writing assessment literacy and its impact on the learning of writing: A netnography focusing on Duolingo English Test examinees” において、Duolingo英語テスト（以下DET）のライティングセクションを題材に、学習者の「評価リテラシー（assessment literacy）」とその学習への影響を分析しています。第一著者のChengyuan Yuは米国ケント州立大学のライティングテスト・アカデミックライティングを専門とする研究者であり、第二著者のWandong Xuは香港理工大学で博士学位を取得した新進の研究者で、言語評価・認知・自己調整学習などを専門としています。二人とも英語が外国語である環境で高度な英語教育を受けてきた背景を持ち、テスト対策の実情を身近に知る立場からこの研究を行っています。
DETは、Duolingo社が開発・運営するオンラインの英語能力試験です。従来型のTOEFLやIELTSと比べ、自宅で受験できること、コスト面での手軽さ、短時間で結果が出ることなどから、特にCOVID-19パンデミック期に一気に普及しました。世界中の大学・大学院がDETスコアを入学審査に採用しており、高校生・大学生にとっては「大学進学のためのパスポート」ともいえる存在になっています。同テストはコンピュータ適応型で自動採点が行われており、ライティングセクションでは写真や文章プロンプトに基づく4種類の作文課題が出題されます。
「評価リテラシー」とは何か
少し立ち止まって、「評価リテラシー」という概念を整理しておきましょう。これは簡単に言えば、テストや評価についてどれだけ理解しているかという能力です。Lee & Butler（2020）の定義によれば、言語評価リテラシー（LAL）とは、言語評価の原則や社会文化的・政治的・倫理的な文脈に関する知識、評価を設計・実施する技術的スキル、そして評価結果を解釈・共有する能力を包括するものです。これまでの研究の多くは教師や試験管理者に焦点を当ててきましたが、当の学習者についてはあまり研究されてこなかったというのが現状です。また、従来の研究は主に教室内の評価（クラスルームアセスメント）を対象としており、DETのような大規模・高度高校試験の文脈に適用された研究は乏しいとされてきました。
本研究では、Chan & Luo（2021）の提唱する四次元モデルを理論的枠組みとして採用しています。このモデルは学習者の評価リテラシーを「知識（knowledge）」「態度（attitude）」「行動（action）」「批評（critique）」の四つの次元で捉えます。知識とは評価の目的・プロセス・評価基準についての理解、態度とはテストへの姿勢や感情の調整、行動とは学習戦略の開発や振り返り、批評とはテストを批判的に検討したり他者と議論したりする能力です。
ネットノグラフィーという方法論
研究の方法論も注目に値します。著者たちは「ネットノグラフィー（netnography）」という手法を採用しました。これはオンラインコミュニティを観察・分析する民族誌的アプローチであり、近年の応用言語学研究でも注目されています。具体的には、中国最大の動画共有プラットフォームである「Bilibili」で「DET」「DETライティング」といったキーワードで検索し、DET受験者が投稿した23本の動画とそのコメント・弾幕（ダンマク、動画上にリアルタイムで流れるコメント機能）を分析対象としました。
動画の長さは4分32秒から52分34秒まで幅があり、コメント数は6件から582件、弾幕数は0から184件とさまざまでした。受験者のスコアは110から145の範囲と多様で、単一プロフィールに偏らない点が強みです。オンラインプラットフォームから収集されたデータは、研究者の介入がない「自然な声」である点で信頼性が高く、学習者の生のリテラシー観を映し出しています。分析はChan & Luoの枠組みを用いた演繹的コーディングと、Corbin & Strauss（1990）のグラウンデッドセオリーに基づく帰納的コーディングを組み合わせた二段階構成で行われました。
学習者はテストの何を知っているのか
分析結果を見てみましょう。まず「知識」の側面では、多くの受験者がDETの目的（大学入学のための資格証明）、試験形式（コンピュータ適応型）、採点の仕組み（自動採点）について一定の理解を持っていました。興味深いのは、自動採点の性質についての認識です。多くの受験者は「機械は文章の論理性や一貫性を評価できない」と考え、代わりに語彙の多様性・文法的複雑性・文章の長さといった表層的な言語特徴に集中していたのです。
ある受験者はこう言っています。「DETのライティングは統計的な機械学習で自動採点される。機械は文章の論理を判断できないから、語彙の高度さや多様性に集中すべきだ。文章構造がばらばらでもペナルティを受けることはない」。これはまるで、採点者の目を欺くためのゲームをしているようです。日本でいえば、英検の二次試験に向けて「使えるフレーズ集」を丸暗記するような戦略と重なります。確かに短期的にはスコアが上がるかもしれませんが、それは本当の意味での英語力の向上なのでしょうか。
態度と感情がもたらす学習への波及効果
「態度」の次元では、多くの受験者がDETをIELTSやTOEFLの代替手段として肯定的に評価しており、真剣に取り組もうとする姿勢が確認されました。しかし同時に、その動機は明らかに短期的・道具的なものでした。「目標スコアを達成したら、この段階の英語学習はひとまず終わり」という発言は象徴的です。長期的なライティング力の向上を目指す動機は弱く、入学許可を得ることが最終目標になっていました。
感情調整の面でも興味深い知見がありました。テスト中に難しいトピックに遭遇したとき、あるいは模擬試験で低スコアを取ったとき、多くの受験者は不安を感じると報告しています。ただし、採点プロセスについての知識が豊富な受験者は、低スコアを前向きに解釈する傾向がありました。「模擬試験のスコアが低くても慌てる必要はない。苦手な分野を特定するチャンスだ」という態度がその一例です。知識が感情調整に、そして感情調整が評価への積極的な関与に、さらに学習成果へとつながるという連鎖が確認されました。
行動―戦略は豊富、しかし方向性は…
「行動」の面では、受験者たちは非常に能動的でした。テンプレート文の暗記、語彙リストの収集、タイピング速度の練習、過去の経験の振り返りなど、多様な学習戦略を駆使していました。動画視聴者たちも積極的に「単語リストをシェアしてください！」「テンプレートを教えて！」といったコメントを残しており、学習コミュニティとしての機能も果たしていました。
しかし、その戦略の多くが「本当の意味でのライティング力を鍛えること」よりも「スコアを最大化すること」を主目的としていた点は見逃せません。あるビデオでは「なぜ100語以上書けたのか。それは長いテンプレートを使ったから。自動採点だからテンプレートを使っても減点されない」という発言がありました。この発言の裏には、ライティングを「意味のあるコミュニケーション」ではなく「スコアを引き出すためのゲーム」として捉える学習観があります。
批評―声はあっても変化には届かない
「批評」の次元では、受験者たちはDETのライティングセクションについて一定の批判的視点を持っていました。「5分間で50語以上の文章だけでライティング能力を測るのは難しい」「自動採点は論理性を評価できない。機械採点と人間採点を組み合わせるべきだ」といった意見が見られました。これはかなり鋭い洞察であり、学習者が試験制度の問題点を認識していることを示しています。
しかしながら、そうした批評が実際の学習行動の変容には結びついていませんでした。受験者たちはテストを批評しつつも、そのテストに従わざるを得ない立場にあります。高等教育への入り口を握るテストに反旗を翻すことはできない。だからこそ、批評は「不満のはけ口」に留まってしまうのです。この点は、テストが学習に与える「ウォッシュバック効果（washback effect）」の研究においても繰り返し指摘されてきた問題です。
新しいモデルが示すもの
これらの分析をもとに、著者たちは評価リテラシーと学習の関係を示す新たなモデルを提示しています。このモデルの特徴は、四つの次元の内部構造と次元間の連鎖関係を明示した点にあります。例えば、テスト目的の知識は全体的な態度に影響し、その態度が学習への投資と長期的な学習に作用します。また、テストプロセスの知識は感情調整を介して評価への関与に、そして学習成果に波及します。さらに、振り返りが学習戦略の開発に、その戦略がテストへの投資と長期学習に影響するという経路も示されました。
このモデルは、評価リテラシーが単なる「知識の量」ではなく、知識・態度・行動・批評が複雑に絡み合う多次元の構造体であることを示しています。そして、各次元は互いに連鎖しているため、評価リテラシーのトレーニングは総合的に行う必要があるという示唆が得られます。
日本の英語教育への示唆
この研究が示すことを、日本の英語教育の文脈で考えてみましょう。日本でも、英検・TOEIC・TOEFL・IELTSといった外部テストのスコアが大学入試や就職活動に活用される機会が増えています。「4技能試験対策」として、テンプレート暗記や頻出テーマの対策が塾や英語学校で盛んに行われています。これは本研究で描かれた中国人受験者の姿と驚くほど重なります。
問題は、学習者が「評価の目的」を正確に理解していない場合、戦略が的外れになるということです。DETの受験者たちがコヒーレンスや論理性を「機械が評価できないから無視していい」と判断したように、学習者の知識の歪みは学習の方向性を根本から誤らせます。これはQi（2007）が中国の高校英語テストで観察したパターン、すなわち手書きの美しさや形式的な体裁を磨くことに時間をかけるという行動とも一致しており、高度高校試験が持つ汎文化的な問題といえます。
さらに、本研究は「感情調整」の重要性を浮かび上がらせています。テストに対する不安や焦りをどのように管理するかは、学習の質に直接影響します。日本の教育現場でも、高校や大学の英語教師が単に語彙や文法を教えるだけでなく、学習者がテストを正確に理解し、感情的にも健全に取り組めるよう支援する役割が求められているといえます。
また、本研究はオンライン動画コミュニティ（この場合はBilibili）が非公式な学習の場として機能していることを示しています。日本でもYouTubeやTikTokで英語学習・試験対策動画が大量に発信されており、学習者はその情報に基づいて行動しています。しかし、その情報が必ずしも正確であるとは限りません。教師が教室外での学習に目を向け、学習者が接している情報の質を高める働きかけをすることの重要性が改めて問われます。
関連研究との対比と本研究の学術的意義
本研究の学術的位置づけについても触れておきましょう。評価リテラシー研究の主流は長らく教師を対象としており、学習者の声を中心に置いたアプローチは相対的に少数でした。Butler et al.（2021）が小学生でも評価リテラシーを持っていることを示したことが一つの転換点でしたが、高度高校試験の文脈での学習者評価リテラシー研究はまだ希少です。
本研究はネットノグラフィーという手法を採用することで、研究者の介入がない自然なデータを確保しました。インタビューや質問紙では、回答者が「正しい答えを言おうとする」バイアスが働きやすいものです。一方、動画や弾幕コメントは受験者が自発的に表明した声であり、よりリアルな評価リテラシーの状態を映し出しています。この方法論的な選択は高く評価できます。
一方で、限界も率直に認められています。サンプルサイズが23本の動画と限定的であり、Bilibiliを使う中国語圏の受験者に偏った集団であることから、普遍化には慎重さが必要です。また、視覚的・聴覚的情報を持つ動画データを分析しながら、マルチモーダルアプローチを明示的に採用していないという点も、今後の研究で補強される余地があります。
自動採点が生む学習の歪みという問題
最後に、自動採点の問題について改めて考えたいと思います。DETのような自動採点システムは、効率性と再現性の高さという点で優れています。しかし本研究が明らかにしたように、学習者が自動採点の「弱点」を逆手にとって表層的な特徴（語彙の難易度、文の長さ）だけを鍛えるという行動は、テストの妥当性そのものを脅かします。コヒーレンスや論理性、内容の深さといった高次のライティング能力が評価されないと学習者が信じている限り、それらの能力は鍛えられません。
著者たちは、テスト開発者が自動採点システムにコヒーレンス・コヒージョン・論理・内容などの評価指標を組み込む必要性を訴えています。これは技術的に挑戦的な課題ですが、生成AIの進展を背景に現実味が増しつつあります。また、テスト開発者が採点基準の透明性を高め、受験者が正確な情報に基づいて学習できる環境を整備する責任も指摘されています。
この点は、日本の教育現場にも直結します。例えば、英検のライティング採点基準は公開されていますが、それが十分に学習者や教師に理解・活用されているかといえば、疑問の余地があります。採点基準の「読み方」を教えることも、評価リテラシー教育の重要な柱になり得ます。
本研究は、「テストのために書く学習者」の実態を丁寧に描き出しながら、その学習がどこで食い違い、どこに可能性があるかを示してくれています。学習者の声に耳を傾けることの重要性は、研究者のみならず、日々の授業の中で学習者と向き合う英語教師にとっても変わらぬ真実でしょう。
Yu, C., & Xu, W. (2024). Writing assessment literacy and its impact on the learning of writing: A netnography focusing on Duolingo English Test examinees. Language Testing in Asia, 14, Article 24. https://doi.org/10.1186/s40468-024-00297-x
