「テストの点数が高いのに、なぜ書けないのか」という嘆きを、英語教師なら一度は聞いたことがあるでしょう。あるいは、逆に「この生徒はどこでつまずいているのだろう」と首をかしげながら、赤ペンで大量のコメントを書き込んだ経験をお持ちの方も多いはずです。従来の英語テストは、合否や点数という「結果」は教えてくれても、学習者がどの技能でつまずいているかという「原因」を教えてくれないことがほとんどでした。本論文は、そうした課題に正面から向き挑んだ研究です。
本稿で紹介するのは、Farshad Effatpanah、Purya Baghaei、Ali Akbar Booriの三名によって2019年にLanguage Testing in Asia誌に掲載された論文、”Diagnosing EFL learners’ writing ability: a diagnostic classification modeling analysis”です。著者たちはイランのマシャッドにあるイスラム・アザド大学英語学科に所属しており、特にBaghaeiは認知診断評価と心理測定学の分野で活発に研究を発表している研究者です。この研究では、イランの大学に通うEFL（外国語としての英語）学習者500名を対象に、彼らのL2（第二言語）ライティング能力を「認知診断モデル（CDM）」と呼ばれる統計的手法によって分析しています。
「一つのスコア」では見えないものがある
まず、この研究の出発点となっている問題意識を整理しましょう。IELTSやTOEFLのような標準化されたテストは、受験者の英語力を「一つの数値」として表します。しかしそれは、料理の腕前を「80点」と評価するようなもので、「包丁さばきは得意だが、火加減が苦手」という具体的な情報は含まれていません。実際の教育現場では、「この学習者は文法は大丈夫だが、語彙の運用が弱い」とか「内容は豊かだが、文章の構成力が課題だ」といった細かな診断こそが、次の指導に直結します。
こうした問題意識に応えるのが「認知診断評価（CDA）」という枠組みです。CDAは、認知心理学と教育測定学を融合させたアプローチであり、学習者が特定のサブスキルを「習得しているか否か」という二値的な情報を提供します。従来のIRTや古典的テスト理論が連続した能力値（θ）を推定するのに対して、CDMは「習得／未習得」という質的分類を行う点が特徴的です。医療に例えるなら、体温や血圧という連続値ではなく、「糖尿病の診断あり／なし」に近い情報を提供するようなものです。
研究の設計と使用された道具立て
本研究の具体的な手続きを見てみましょう。対象はイラン国内21大学から選ばれた500名の英語学科生で、学部生から修士課程学生まで含まれています。彼らは「大学一年生になるとはどういうことか」というテーマで、350語以上の英語記述式エッセイを授業内で作成しました。
このエッセイの採点に使われたのが、Kim（2011）によって開発された「EDD（Empirically derived Descriptor-based Diagnostic）チェックリスト」です。35項目の二値的評価（「はい」「いいえ」）からなるこのチェックリストは、ライティングを以下の5つのサブスキルに分けて評価します。すなわち、CON（内容充実度）、ORG（構成の有効性）、GRM（文法知識）、VOC（語彙使用）、MCH（表記規則）です。4名の訓練を受けた評価者がこのチェックリストを用いて採点を行い、評価者間信頼性係数（ピアソン相関）は0.82という十分な値が得られています。
そして分析に使われた統計モデルが、本論文のタイトルにもある「ACDM（Additive Cognitive Diagnostic Model）」です。ACDMはde la Torre（2011）が提案した補償型の認知診断モデルで、「一つの属性が欠けていても、他の属性の習得によってそれを補える」という仮定を置きます。非補償型モデルでは全ての属性が揃わないと正答確率が上がりませんが、補償型のACDMでは各属性が独立かつ加算的に正答確率を高めます。著者らが以前行った比較研究（論文提出中）において、EFLライティングデータにはACDMが最もよく適合することが示されていたため、本研究でもこのモデルが採用されています。
Q行列の構築と検証―見えない橋を架ける作業
CDMを機能させるためには「Q行列（Q-matrix）」と呼ばれる設計図が不可欠です。これは、各テスト項目（この研究ではチェックリストの各ディスクリプタ）がどのサブスキルと対応しているかを示す行列です。たとえば「このエッセイは、書き手が何を言いたいのかを推測せずとも読めるほど明確に書かれている」という項目は、ORGとGRMの2つのサブスキルを必要とすると判断されます。
Q行列の精度は診断結果の妥当性に直結するため、その構築と検証は非常に重要です。本研究では、まず4名の評価者が内容専門家として各項目とサブスキルの関連を議論し、初期Q行列を作成しました。次に、de la Torre & Chiu（2016）が提案した統計的手続きをGDINAパッケージで実施し、Q行列を経験的に精緻化・検証しています。この過程では、純粋に統計的提案に従うのではなく、内容的な妥当性を専門家が逐一確認するという、理論と経験的証拠の往復作業が行われています。最終的なQ行列では、CONに9項目、ORGに12項目、GRMに15項目、VOCに5項目、MCHに7項目が対応付けられました。
結果が示すもの―語彙と内容がボトルネック
さて、分析の結果はどうだったでしょうか。まず属性習得率（全体の何パーセントの学習者がその属性を習得しているか）を見ると、最も習得率が低いのはVOC（語彙使用）で32%、続いてCON（内容充実度）が43%でした。一方、最も習得率が高いのはORG（構成）で61%、次いでMCH（表記）が56%、GRM（文法）が52%という結果でした。
この結果は興味深い含意を持ちます。一般的に英語教育では文法指導に多くの時間が割かれますが、この研究では文法の習得率はそれほど低くなく、むしろ「何を書くか（内容）」と「どのような言葉で書くか（語彙）」という高次の技能の方が難しいことが示されています。Wilson et al.（2016）も指摘するように、表記や文法は低次のスキルであり、語彙・構成・内容は認知的に高度な高次スキルです。この観点から見ると、500名のイラン人EFL学習者が高次スキルで苦戦しているという知見は、EFLという環境では豊かな言語インプットが不足しがちであることと整合的です。
潜在クラス分析の結果を見ると、最も多くの学習者が属したプロファイルは「全属性未習得α₁＝[00000]」（22%、約113名）と「全属性習得α₃₂＝[11111]」（19%、約96名）という二極化した分布でした。つまり、「全くできない群」と「全部できる群」がともに大きく、その間の「部分的に習得している群」が比較的少ないという分布です。著者らは、このいわゆる「フラットプロファイル」の多さが、サブスキル間の高い相関（特にGRMとMCHの相関が0.87、GRMとVOCが0.78）に起因すると説明しています。高い相関は、各属性が独立した構成概念というよりも互いに密接に絡み合っていることを意味し、CDAが「余分な情報をほとんど提供しない」という批判的観点も生じさせます。
モデル適合と診断精度―数値の背後にある意味
モデルの適合度については、MX2値が31.2（p＞0）、MADcor値が0.058、SRMSR値が0.074、RMSEAが0.083という結果が示されました。CDMには明確なカットオフ基準が存在しないため解釈には慎重さが必要ですが、著者らはこれらの値を「概ね良好な適合」と評価しています。また、分類精度（Pa）は0.74、分類一貫性（Pc）は0.63という値が得られており、属性単位で見た場合はいずれも0.90以上という高い値を示しています。この乖離は、全プロファイルパターンを正確に分類することの難しさを物語っており、5つのサブスキルが生み出す32通りのパターン全てを高精度で識別するのは、特に属性間相関が高い場合には本質的に困難であることを示しています。
日本の英語教育現場への示唆
では、日本の英語教育の文脈でこの研究をどう読むべきでしょうか。日本の高校や大学の英語授業でも、ライティング評価の多くはいまだに「一つの総合点」または大まかな観点別評価にとどまっています。教師が「もっと具体的なフィードバックを出したい」と思っても、採点の手間や評価ツールの不備がボトルネックになることは珍しくありません。
本研究で使用されたEDDチェックリストは、35項目の二値評価という形式であるため、慣れれば比較的効率的に使えるツールです。5つのサブスキルに分解された評価情報は、教師が「この学生はVOCとCONを重点的に伸ばす必要がある」というような具体的な指導計画を立てる際に直接役立ちます。Nation & Macalister（2010）が述べるように、診断的アセスメントはコース設計における「ニーズ分析」としての機能を果たします。日本でも、大学の英語ライティングコース導入時や学期中間での形成的評価として、このようなCDAアプローチを採用する価値は十分にあるでしょう。
また、ACDMが「補償型モデル」として機能することは、日本のEFL学習者像とも符合するかもしれません。日本の学習者は一般に文法知識は高い一方で語彙の運用や内容生成に課題を抱える傾向があります。もし文法の高い習熟度が語彙や内容の不足をある程度補える（補償型）のであれば、それは日本語式の「文法先行型学習」がライティングにおいてどのように機能するかを分析する上でも、CDMは有用な枠組みになり得ます。
先行研究との比較から見えてくること
本研究はKim（2011）とXie（2016）という先行研究の直接的な延長線上に位置しています。Kim（2011）はEDDチェックリストを開発し、RRUM（Reduced Reparameterized Unified Model）を使って英語のアカデミックライティングを診断しました。Xie（2016）も同チェックリストと同モデルを用いて香港の大学生を対象に研究を行っています。
本研究がこれらと異なる点は主に二つあります。第一に、使用するモデルをACDMに変更したことです。著者らは並行研究においてACDMがEFLライティングに最も適合するモデルであることを示しており、モデル選択に理論的・経験的根拠があります。第二に、対象がイランのEFL環境であることです。Kim（2011）やXie（2016）が香港という英語使用頻度の比較的高い環境を対象にしていたのに対し、本研究はより「純粋なEFL環境」での診断を試みています。
一方で、Kim（2011）やXie（2016）と比較すると、本研究の学習者は特にVOCとCONにおいて低い習得率を示しており、EFL環境の深刻さが浮き彫りになっています。習得率43%と32%という数値は、これらの学習者の多くが英語でのアカデミックライティングという課題に対してまだ基礎的な段階にあることを示唆しています。
研究の限界と今後の展望
著者ら自身も率直に認めているように、本研究にはいくつかの重要な限界があります。最も根本的な問題は、この研究が「真の診断テスト（true diagnostic test）」ではなく、既存の非診断的な課題にCDAを後付けで適用する「レトロフィッティング」のアプローチを取っていることです。DiBello et al.（2007）やJang（2009）が指摘するように、この手法では学習者のスキル習熟度についての推論の妥当性に疑問が生じる可能性があります。
また、使用された記述式エッセイの課題が一つだけである点も気になります。「大学一年生になるとはどういうことか」というトピックは、学習者によって経験の多寡が異なり、内容（CON）の評価に特有のバイアスをもたらす可能性があります。さらに、4名という評価者数は信頼性確保の面では最低限の水準であり、Rasch分析のような多面的評価モデルを用いた評価者効果の除去も今後の研究では検討に値するでしょう。
フラットプロファイルの問題も重要です。全体の約41%が「全部習得」か「全部未習得」という二極に集中してしまうと、診断情報としての付加価値が問われます。Lee & Sawaki（2009a）が指摘するように、CDAを適用した結果として多くの学習者がフラットプロファイルに分類されてしまう場合、プロファイル得点の有用性は総合スコアと大差ないかもしれないのです。今後は、より差別化された診断情報を提供できるよう、テスト設計段階からCDAの枠組みを組み込んだ「真の診断テスト」の開発が急務です。
それでも、この研究が持つ意義
限界を踏まえた上でも、この研究が持つ学術的・実践的な意義は小さくありません。L2ライティングへのCDA適用研究はいまだに少なく、本研究はその数少ない実証事例の一つです。500名という大規模なサンプル、Q行列の経験的検証プロセスの透明性、そして補償型モデルを選ぶ理論的根拠の明示は、後続研究にとっての手本となります。
「語彙と内容が最も難しい」という知見は、日本を含むEFL環境の教師にとって「やっぱりそうだったのか」という実感と重なるのではないでしょうか。文法ドリルや形式的な作文練習を超えて、豊かな内容を英語で表現するための語彙指導・思考力育成の必要性を、データが裏付けてくれたとも言えます。
CDAというアプローチが「評価のための評価」に終わらず、授業改善や個別フィードバックに直結する形で根付くためには、教師側のリテラシー向上と測定技術の普及が必要です。本研究はその道筋を示した、着実な一歩と言えるでしょう。
Effatpanah, F., Baghaei, P., & Boori, A. A. (2019). Diagnosing EFL learners’ writing ability: A diagnostic classification modeling analysis. Language Testing in Asia, 9, Article 12. https://doi.org/10.1186/s40468-019-0090-y
