Thursday, October 3, 2019

Accuracy (正解率) に関する統計

アプリの数カ所で「Accuracy」という言葉を見かけると思います。一つの例として、私自身が日本語の勉強に使っているデータの「Session Statistics」を紹介したいと思います。ちなみに、「Session Statistics」は「Statistics」中にあります。




それぞれのセッションのデータの中に、次のような Accuracy (正解率)に関する統計があります。


「D to W accuracy」を例にとって説明しましょう。カッコの中に「GOT ITs / views 」と書いてありますが、68%の「正解率」は GOT ITを押した回数 (15) をカードの答えを見た回数 (22)で割って、算出したということを意味します。

皆さんが見慣れている画面で説明しましょう。下に「D to W」(「定義から言葉へ」)の「質問」の画面の一例があります。


これを見て、「と違って」を意味し、「***」に入る英単語を思いそうとします。思い出せた、あるいは give up してから、「ANSWER」をタップして下のような答えを見ることになっています。そして「ANSWER」の矢印を押す際に、一つの 「view」、つまり一回答えを見たことが記録されます。




ここで、答えを見る前に、「unlike」という答えを正しく思い出すことができたのであれば、「GOT IT」をタップし、「GOT IT」を一回押したことが記録されます。一発で正解できたら一回の「GOT IT」を一回の「view」で割ることになり、100%の正解率になります。しかし、答えを見る前に「unlike」を思い出せなかった場合には「GOT IT」を押さずに、「NEXT」を押します。次回、ちゃんと「unlike」を思い出せたら、「GOT IT」を押し、「GOT IT 数 / view 数」が 1/2 の 50% になります。

通常のクイズなら、正解率が高い方がいいことになりますが、このアプリの場合は高い「正解率」がいいとは限りません。なぜかと言えば、できたかどうかを判断するのは利用者本人で、正しく思い出せていなくとも、早くアプリ利用を終わらせるために「GOT IT」を押し続けると 100% の「正解率」になるからです。

皆さんにとって、高い正解率が問題になるのは、紙で実施するクイズを受ける段階です。前のパージョンと違って、Kankaku V5では次のように、それぞれの問題の正解率を表示できるようにしました。
上の画像は先週実施した一人の学生の紙のクイズから撮ったものですが、「DW」の数字はこの学生は「D to W」でこのカードの答えを6回見ていて、「GOT IT」を4回押していることを意味します。また、「W to D」(「WD =」)では9回答えを見ていて、その内5回「GOT IT」を押しています。(「RG」については別の投稿で説明します。)この学生の正解率は、真面目にアプリを使っている可能性が高いことを示しています。実際、この学生のクイズはとてもよくできていました。

先週、次のようなケースもありました。

この学生の場合は、一つの問題ではなく、すべての問題の正解率が高かったのですが、紙のクイズではほとんど正解できていませんでした。これでアプリの使い方を誤っていたか、それとも意図的にズルをしていたか、いずれかの問題があったことがわかりました。

正解率を見て、クイズなどの点数を変えることはありませんが、最終的な成績評定の際に参考にします。クイズなどの点数はやや低くても、アプリ利用時の正解率などを見て、真面目に取り組んでいると判断できる場合には、成績を上げる場合があります。しかし、クイズの出来が悪いのに、アプリ内の正解率が高い場合には、普段の取り組み方は不真面目だろうと判断し、救うようなことはありません。