Samuel Taylor & Adam Stone, Kyushu Sangyo University
Abstract
Formative user testing, aimed at obtaining feedback from students, instructors, and administrators at a higher education institution in Japan, was undertaken on an AR treasure hunt learning game app. It involved the collection of usage data from data-mining tools, anecdotal evidence from surveys and interviews, and descriptive evidence from observations of tester behavior to investigate aspects of app learning, engagement, usability. Analysis indicated that testers (N=21) rated learning significantly higher than both engagement (p<0.01) and usability (p<0.01), and that engagement was rated significantly higher than usability (p<0.05). Observations noted indicators of engagement, frustration, and unanticipated patterns of usage. Interviews with testers raised issues concerning usability and engagement, and provided suggested changes to the app. These were used to make improvements that, while impacting learning, also facilitated the classroom implementation of the app in pedagogy. In conclusion, it is suggested that user testing is a vital part of educational technology impact evaluations, and that key aims of the design and development of educational apps should be the easy access, enabled through high usability and engagement, of learning content situated in contexts that provide opportunities for further or applied use.
本研究では、日本の高等教育機関の学生、講師、管理者からのフィードバックを得ることを目的とした形成的ユーザーテストを、AR宝探し学習ゲームアプリで実施した。データマイニングツールによる利用データの収集、アンケートやインタビューによる逸話的証拠の収集、調査対象者の行動観察による記述的証拠の収集により、アプリの学習、エンゲージメント、ユーザビリティの側面を調査した。分析によると、調査対象者（N=21）は学習をエンゲージメント（p<0.01）およびユーザビリティ（p<0.01）の両方よりも有意に高く評価し、エンゲージメントはユーザビリティ（p<0.05）よりも有意に高く評価されたことが分かった。また、観察では、エンゲージメント、フラストレーション、そして予期せぬ使用パターンが指摘された。調査対象者へのインタビューでは、ユーザビリティとエンゲージメントに関する問題点が指摘され、アプリの変更案が提示された。これらは、学習に影響を与える一方で、教育上、アプリを教室で容易に実施するために使用された。結論としては、教育工学におけるインパクト評価には、ユーザーテストが不可欠であり、教育用アプリの設計・開発の主な目的は、高いユーザビリティとエンゲージメントによって可能になり、さらなる活用や応用の機会を提供する上で、学習コンテンツへの容易なアクセスであることを提案した。
Download this article here.