Thursday, January 23, 2020

ICS番付の更新

今日、ICS番付を更新しました。これまで、アプリ利用に関する統計は過去2週間のみでしたが、「App Usage(長期)」で学期のはじめから今までの利用の統計を公開しています。また、これまで「Paper Quizzes」で示してきた正解率を、アプリ利用に関する統計と組み合わせました。下の画像に見られるように、アプリ内の 「GOT IT数」(D to W または W to D で "GOT IT" を押した回数の合計)に紙のQuizの正解率を掛けて、「修正GOT IT数」を算出しています。また、表を「修正GOT IT数」順に並び替えました。


この表に見られるように、GOT IT数がやや低くても、Quizでの正解率が高かった人の順位が上がっている一方、正解率が低かった人の順位が下がっています。

この「修正GOT IT数」をグラフにすると次のようになります。


上位3, 4割の学生はよく取り組んでくれたと思います。しかし、真ん中あたりからはいかにも「どんぐりの背比べ」と言わざるを得ません。やはり、多くの受講生はあまり力を入れてこなかったと思います。


さて、今回、受講生の皆さんにとくに注目してほしいのは、下に見られるアプリ内の正解率(「Accuracy (正解率) に関する統計」参照)とQuizの正解率との関係です。



色付けの意味は次の通りです。
  • 緑 紙のQuizの正解率がアプリ内の正解率より10%以上高い
  • 白 それぞれの正解率がほぼ同じ
  • 赤 紙のQuizの正解率がアプリ内の正解率より10%以上低い
上位学生に緑が多いですね。これらの学生は、アプリを使うときには自信を持って正解できるまで「GOT IT」を押さずに、粘り強く取り組んだため、紙のクイズで力を発揮できたと思います。逆にアプリ内の正解率が赤になっている場合には、アプリを使う際に正解ができていないのに、「GOT IT」を押してしまうことが多かったと思われます。この誤った使い方をしてしまった理由については、次の3パターンが考えられます。
  1. アプリ内のGOT ITの意味を理解していなかったため、GOT ITを押すことが多くなったというパターン。これはブログの説明や動画(「How to Use Kankaku」など)を確認していなかったことが原因でしょう。
  2. アプリを利用する際に、完全に正解できなかった場合でも、「大体わかった」と自分の理解を甘くみて GOT ITを押すことが多くなったというパターン。
  3. そもそもアプリで英語を学ぶことに関心がないが、単位をとるためにアプリを使わなければならないということで、形だけ GOT IT を押し続けたというパターン。
当然、一番気になるのは三つ目のパターンです。

なお、アプリ内の正解率の他に、GOT ITとGOT ITの間の経過時間(秒数)に関する統計もあります。紙のクイズの正解率が低かった学生の一人の統計が次のようになっています。



これでわかるのは、GOT ITを押してから次のGOT ITを押すまでの時間がほとんど6秒以内だった、ということです。矢継ぎ早にGOT ITを押し続けたため、肝心な単語や言い回しを覚えることができなかったのでしょう。

逆に、紙のQuizでの正解率が高かった学生の一人の統計は次のようになっています。


GOT ITを押してから次のGOT ITを6秒以内に押すことは稀で、じっくりと取り組んでいることがわかります。紙のQuizを受けた際に、この取り組み方が功を奏したと思います。

成績評定をする際には、アプリ内の正解率やGOT ITを押した速さなどで減点はしません。逆に、Quizで良い結果を出すことができなかったのに、アプリから得られた統計は真面目な取り組み方を示しているような場合には、その取り組み方を加味して評定します。しかし、紙のQuizの結果も悪く、アプリ内の統計にも上で説明したような問題がある場合には厳しく評定せざるを得ません。

最後に、上の文を書いた後に、「App + Moodle」というタブを番付に付け加えました。「App Usage(長期)」のランクとこれまでのMoodleのランクを平均したランキングとなっています。後日、期末試験の結果を組み合わせて、成績評定をする際に参考にします。こうした客観的なデータを見ながら、個々人の事情や取り組み方などを勘案して最終的な成績をつけることになります。