英語を外国語として学ぶ学習者（EFL学習者）の作文能力をどのように評価するか―この問いは、日本を含むアジア圏の英語教育関係者にとって長年の課題です。ベテランの教師であれば、学生のエッセイを読みながら「なんとなく上手い」「どこか物足りない」と感じた経験があるはずです。しかしその「なんとなく」を言語化し、客観的な根拠として示すことは、思いのほか難しい作業です。本稿で取り上げるのは、タイのラームカムヘン大学（Ramkhamhaeng University）教育学部カリキュラム・教授法学科のAnongnad Petchprasertによる研究で、自動テキスト解析ツール「Coh-Metrix」を使ってEFL学習者の英語ライティングを評価しようという試みです。2021年にAsian-Pacific Journal of Second and Foreign Language Educationに掲載されたこの論文は、計算言語学と第二言語ライティング研究を橋渡しする意欲的な一作です。
Coh-Metrixとは何か―数字が映し出す文章の「中身」
まず、Coh-Metrixについて簡単に説明しておきましょう。これはアメリカ・メンフィス大学のInstitute for Intelligent Systemsの研究チームが開発した自然言語処理（NLP）ツールで、テキストを語・文・談話の各レベルで自動的に分析します。単語の難易度、文の長さ、結束性（cohesion）といった要素を数値化することで、人間の評価者が見落としがちな言語的特徴を客観的に提示してくれます。いわば、文章を「見えない物差し」で測るような道具です。
Petchprasertはこのツールを使い、タイ人英語専攻の大学生40名が書いた80本のエッセイを分析しました。参加者はもともと80名いましたが、必修ライティング科目の未修了者や課題未提出者を除いた結果、最終的に40名のデータが使用されています。学生たちは8週間にわたるコースの中で、「21世紀において教育は無意味か」「インターネットなしの一週間」という二つのトピックについてエッセイを書きました。Coh-Metrixが分析したのは、語数（word length）、物語性（narrativity）、統語的単純性（syntactic simplicity）、語の具体性（word concreteness）、参照的結束性（referential cohesion）、深い結束性（deep cohesion）という六つのディスコース要素です。
人間の評価者 vs. コンピュータ―信頼性と再現性の問題
この研究を読んで最初に目を引くのは、人間の評価者とコンピュータの違いについての整理です。Humphreys & Wangの2017年の研究を引きながら、Petchprasertは指摘します。人間による採点は、採点者の専門知識や注意力に大きく依存するため、一貫性に欠けやすいと。これは耳が痛い話ではないでしょうか。採点基準を設けていても、同じ答案を別の日に読むと評価が変わってしまう、あるいは複数の教師が採点すると点数がばらつく、という経験は多くの英語教員が持っているはずです。自動採点ツールは同じプロセスを繰り返すことで同一の結果を出すため、信頼性と再現性において人間より優れている面があります。この点は、ライティング評価の妥当性を追い求める研究者や実践家にとって、無視できない論点です。
もちろん、だからといってコンピュータが人間の教師に取って代われるわけではありません。Petchprasert自身も結論部分で「テクノロジーは授業デリバリーや人間的なやりとりを完全に代替できるものではない」と述べており、自動ツールはあくまでも「第二の意見」として機能するものだと位置づけています。この姿勢は誠実で、実践的です。
語数と質の関係―長ければいいわけではないが
分析結果から、まず語数について見てみましょう。第一課題の平均語数は511語、第二課題では575語で、40名中29名（69%）が二度目の課題でより長いエッセイを書いたことがわかりました。この差は統計的に有意でした（t(41) = −8.57, p < .05）。Crossley, Roscoe, & McNamaraらの先行研究でも、優れたライターは語数の多いテキストを産出する傾向があると示されており、本研究の結果はその知見と一致しています。
ただし、Petchprasertは注意深くこう添えています。語数だけで優れたライターを定義することはできない、と。この慎重さは重要です。長い文章が必ずしも質の高い文章ではないことは、採点経験のある教師なら実感しているはずです。同じことをくどくどと繰り返したり、関係のない情報を付け足したりして語数を稼ぐ学生は少なくありません。そこで、六つのディスコース要素を組み合わせた多角的な分析が意味を持ってきます。
物語性・統語的単純性・語の具体性―何がテキストの「読みやすさ」を決めるか
物語性（narrativity）のスコアを見ると、多くのテキストがz得点でマイナスの値を示しており、特に第二課題のテキストはより複雑で読みにくいことが示されました。これはアカデミックな議論文（argumentative essay）の特性として理解できます。日常会話や物語文とは異なり、議論文には抽象的な概念や複雑な論理構造が伴うため、自然と「物語性」のスコアは低くなります。
論文中では学生の実際の文章が引用されており、第一課題の一例として次のような英文が示されています。「インターネットは私にとって重要なものの一つです。1日に約10時間使います」といった内容で、一人称代名詞「I」が頻繁に繰り返されています。Petchprasertはこれを、Li（2014）の研究を踏まえ、一人称の過剰使用はアカデミックライティングにおいて不適切かつ非公式とみなされると指摘しています。日本の英語教育でも、学生が英文エッセイを書く際にやたらと「I think…」から始めてしまう傾向は共通した問題ではないでしょうか。
語の具体性（word concreteness）については、ほぼすべてのテキストが平均値（0.0）を下回り、抽象語が多く使われていることがわかりました。興味深いのは、第二課題になると抽象語の使用がさらに増えた点です。「教育」「態度」「ライフスタイル」「社会的地位」といった概念語が増えるということは、学生がより洗練されたアカデミックな表現に近づいている証拠とも言えます。単純に「わかりやすい言葉を使う」のが良いとは限らず、適切な抽象語の使用はむしろ学術的成熟度の指標となりえます。
結束性の重要性―文章をつなぐ「見えない糸」
本研究の中でも特に注目すべきなのが、参照的結束性（referential cohesion）と深い結束性（deep cohesion）の分析です。結束性とは、文章内の語や概念がどのようにつながっているかを示す指標です。料理に例えるなら、食材がバラバラに皿に盛られているのか、それとも一つの料理としてまとまっているのかの違いです。
第一課題では60%の学生が高い参照的結束性を示した一方、第二課題では45%が低い結束性を示しました。論文中の例文では、代名詞「they」が三回繰り返され、しかも最後の「they」が何を指しているか不明瞭な文章が示されています。これはいわゆる「代名詞の泳ぎすぎ」問題で、日本人英語学習者の作文でも非常によく見られる現象です。逆に、第二課題の別の例では、「Thai students」「the students」「they」と段階的に言い換えが行われており、語彙的な多様性と結束性の両立が示されています。この変化は、学生が課題の要求に応じて言語的レパートリーを広げつつある証拠として解釈されています。
深い結束性（deep cohesion）については、第二課題のテキストのほうがz得点が高く（正の方向）、より読みやすいことが示されました。「therefore」「and」「because」といった接続語や副詞が積極的に使われており、論理的なつながりが明確になっています。これはライティング指導の観点から見ると、接続詞・接続副詞の指導がいかに大切かを改めて示しています。多くの日本の学校でも「接続詞を使おう」とは教えますが、それがテキストの深い結束性にどのように貢献するかを数値で示せる点が、Coh-Metrixの強みです。
ディスコース要素間の相関―複数の視点でライティングを見る
研究の第二の問いは、各ディスコース要素間に有意な相関があるかという点でした。分析の結果、参照的結束性と統語的単純性の間に有意な負の相関が見られました（第一課題：r = −.51, p = .00、第二課題：r = −.39, p = .00）。つまり、文章のつながりが豊かなライターほど、複雑な統語構造を使う傾向があるということです。これは直感的に納得できます。複雑なアイデアをつなぐには、複雑な文構造が必要になるからです。
また第二課題では、物語性が語の具体性（r = −.46, p = .00）、参照的結束性（r = .48, p = .00）、深い結束性（r = .47, p = .00）とそれぞれ有意な相関を示しました。Allen et al.（2019）も同様に、物語的柔軟性と参照的結束性の正の相関を報告しており、本研究の知見はその再現とも言えます。さらに、両課題にまたがって統語的単純性の相関が非常に高く（r = .61, p = .00）、個人の統語スタイルは課題をまたいでも安定していることがわかります。ライティング指導において「個人差」を軽視しがちですが、この安定性は、ある学生の統語的癖を早期に把握することが継続的な指導に役立つことを示唆しています。
日本の英語教育現場への示唆―採点の「ブラックボックス」を開く
さて、本研究を日本の英語教育の文脈でどう受け止めるべきでしょうか。日本では現在、高校・大学を問わず英語ライティング指導への関心が高まっています。大学入学共通テストへの英語4技能評価の議論、英語民間試験の活用論、そしてAIを使ったライティング評価ツールの普及―こうした流れの中で、本研究が提示する「自動テキスト分析による客観的評価」というアプローチは、非常にタイムリーです。
特に注目すべきは、Coh-Metrixが「なぜこのエッセイは読みにくいのか」を具体的に示せる点です。「結束性が低い」「接続詞が少ない」「抽象語が多すぎる」といった具体的な指摘は、学生にとってもわかりやすいフィードバックになります。ただ「もっと論理的に書きなさい」と言うだけでは学生は途方に暮れてしまいますが、「参照的結束性を高めるために代名詞の使い方を見直しなさい」という具体的な指示は行動につながります。
一方で、日本の教育現場ではこうしたデジタルツールの導入にはまだ大きなハードルがあります。教師のITリテラシーの問題、英語入力環境の整備、採点基準との整合性など、実装上の課題は少なくありません。また、Coh-Metrixは英語テキストに特化したツールであり、英語を外国語として学ぶ日本人学生の文章にどこまで対応できるかという疑問も残ります。本研究の対象はタイ人学生であり、日本人英語学習者との言語的背景の違いも考慮が必要です。
研究の限界と今後への期待
Petchprasert自身も認めているように、本研究の最大の限界はサンプルサイズの小ささです。最終的に40名というのは、統計的な一般化を行うには物足りない数字です。また、研究デザインとして、ライティングの「上達」を測るには、中間地点の測定が一度だけ（8週間中の第一課題と最終課題のみ）では不十分な面もあります。改定プロセスの詳細な記録についても、今後の課題として著者は挙げています。
加えて、Coh-Metrixのスコアが実際の教師による評価とどの程度一致するのか、という検証が本研究には含まれていません。Varner et al.（2013）のように教師と学生の評価基準のズレを検討した研究や、Aryadoust & Liu（2015）のように語彙的洗練度が書く力の予測因子になるという知見と比較すると、本研究は相関分析にとどまっており、因果的な議論には踏み込んでいません。この点をより深く掘り下げることが、今後の研究課題として残ります。
それでも、タイという東南アジアのEFL文脈でCoh-Metrixを活用した実証研究として、本論文は貴重な事例を提供しています。アジア各地の英語教育研究者にとっては、同様の研究を自国の学習者集団で行うための出発点となるでしょう。日本でも、こうした自動テキスト分析を取り入れた研究が増えることで、ライティング評価の精度と透明性が高まることが期待されます。
おわりに―「感覚」を「データ」に変えるということ
教師としての経験は、何物にも代えがたいものです。長年の指導経験で培われた「目」は、数字には還元できない豊かさを持っています。しかし同時に、その経験が「思い込み」や「先入観」を生むこともあります。Coh-Metrixのような自動分析ツールは、教師の経験的直感を否定するためのものではありません。むしろ、その直感を言語化し、検証し、より多くの人と共有するための道具です。
Petchprasertの研究が示すように、学生のライティングには「語数」「物語性」「統語的構造」「語の抽象度」「結束性」といった複数の次元があり、それらが複雑に絡み合って「文章の質」を形成しています。どれか一つを見るだけでは全体像はつかめません。多角的な分析こそが、ライティング教育の深化につながるのです。「なんとなく上手い」を「これが上手い理由」に変えること―それが、自動テキスト分析ツールが英語教育にもたらす最大の貢献かもしれません。日本の英語教育においても、こうした計算言語学的アプローチへの関心と実践が広がることを期待したいと思います。
Petchprasert, A. (2021). Utilizing an automated tool analysis to evaluate EFL students’ writing performances. Asian-Pacific Journal of Second and Foreign Language Education, 6(1), Article 1. https://doi.org/10.1186/s40862-020-00107-w
