Memória P&D Design

15º Congresso Brasileiro de Pesquisa e Desenvolvimento em Design

UFAM — Manaus (AM)

Outubro/2024

Avaliação de Usabilidade de um Sistema de Gestão Acadêmica

Usability Evaluation of an Academic Management System

Bruno Montanari Razza
Cristina C. Lucio B. El Kattel

Como citar

Razza, Bruno Montanari; Kattel, Cristina C. Lucio B. El; "Avaliação de Usabilidade de um Sistema de Gestão Acadêmica", p. 2424-2443. PPG Design Caderno Científico, Manaus, 2024. Anais do XV Congresso Brasileiro de Pesquisa e Desenvolvimento em Design – P&D Design Manaus., DOI https://doi.org/10.29327/5457226.1-106

Resumo

Sistemas de gestão acadêmica são essenciais em universidades e devem ser desenvolvidos considerando a usabilidade para diferentes perfis de usuários e necessidades locais. A revisão da literatura revelou que a maioria dos estudos sobre sistemas de gestão acadêmica utilizou questionários padronizados ou personalizados focados na percepção de usabilidade, com poucos estudos empregando métodos experimentais. Este estudo avaliou objetiva e subjetivamente o sistema de gestão acadêmica da Universidade Estadual de Maringá, utilizado por alunos de graduação. A metodologia incluiu uma avaliação heurística com especialistas, além de avaliações subjetivas por meio de questionários e análises de tarefas. Os resultados indicaram sérios problemas relacionados à organização e disponibilidade de informações, layout e fluidez das tarefas. A usabilidade percebida foi considerada de moderada a ruim nas avaliações objetivas e subjetivas e conclui-se que métodos experimentais foram mais úteis para gerar parâmetros de projeto.
Palavras-chave:

Usabilidade, experiência do usuário, sistema de gestão acadêmica

Abstract

Academic management systems are essential in universities and should be developed considering usability for different user profiles and local needs. The literature review revealed that most studies on academic management systems used standardized or customized questionnaires focused on usability perception, with few studies employing experimental methods. This study evaluated the academic management system of the State University of Maringá, used by undergraduate students, both objectively and subjectively. The methodology included a heuristic evaluation with experts, as well as subjective evaluations through questionnaires and task analysis. The results indicated serious problems related to the organization and availability of information, layout, and task flow. Perceived usability was considered moderate to poor in both objective and subjective evaluations, concluding that experimental methods were more useful for generating design parameters.
Keywords:

usability, user experience, academic management system

Referências bibliográficas

  • ABNT. Associação Brasileira de Normas Técnicas. NBR ISO 9241-11:2011 - Ergonomia da interação humano-sistema - Parte 11: Usabilidade: Definição e conceitos. Rio de Janeiro: ABNT, 2011.

  • BROOKE, John et al. SUS-A quick and dirty usability scale. Usability evaluation in industry, v. 189, n. 194, p. 4-7, 1996.

  • CHANG, V. Evaluating the effectiveness of online learning using a new web-based learning instrument. In: WESTERN AUSTRALIAN INSTITUTE FOR EDUCATIONAL RESEARCH FORUM, 1999, Perth. Proceedings [...]. Disponível em: http://www.waier.org.au/forums/1999/chang.html. Acesso em: 10 jul. 2024.

  • DA COSTA, Rodolfo Pereira; DOS SANTOS, Antonio Fernando Siqueira; SANTIAGO, Cynthia Pinheiro. Análise de usabilidade do sistema Q-Acadêmico utilizando o método System Usability Scale (SUS): um estudo de caso. In: ENCONTRO UNIFICADO DE COMPUTAÇÃO DO PIAUÍ, 14.; SIMPÓSIO DE SISTEMAS DE INFORMAÇÃO, 11., 2021. Anais... São Paulo: SBC, 2021. p. 231-238.

  • FEITOSA, Vagner da Silva; OLIVEIRA, Cristina Corrêa. Usabilidade Sistema Integrado de Gestão Acadêmica na Ótica dos Discentes da FATEC Zona Leste. In: ENCONTRO DE GESTÃO E TECNOLOGIA, 5., São Paulo, 2022. Anais do V ENGETEC, São Paulo, 2022.

  • HASSAN, W. A. W.; TERIDI, N. A.; ABDULLAH, K. A.; HAMID, A.; NORZIHA, M. M. Z. An assessment study on usability of academic management system. In: INTERNATIONAL CONFERENCE ON USER SCIENCE AND ENGINEERING (i-USEr), 2010. Anais... IEEE, 2010. p. 199-202.

  • HORNBAEK, K. Current practice in measuring usability: Challenges to usability studies and research. International journal of human-computer studies, v. 64, n. 2, p. 79-102, 2006.

  • INVERSINI, Alessandro; BOTTURI, Luca; TRIACCA, Luca. Evaluating LMS usability for enhanced e-learning experience. In: EdMedia+ Innovate Learning. Association for the Advancement of Computing in Education (AACE), 2006. p. 595-601. Acesso em 10 de julho de 2024. Disponível em: https://www.learntechlib.org/p/23070/

  • KHAIRUNISA, Y.; TYAS, S. S.; PURWANTO, A.; AISYAH, S. Software Usability Measurement Inventory for Student Information Academic System at Politeknik Negeri Media Kreatif. IJISTECH (International Journal of Information System and Technology), v. 4, n. 1, p. 559-565, 2020.

  • LEWIS, Clayton; WHARTON, Cathleen. Cognitive walkthroughs. In: Handbook of human-computer interaction. North-Holland, 1997. p. 717-732.

  • LIN, Han X.; CHOONG, Yee-Yin; SALVENDY, Gavriel. A proposed index of usability: a method for comparing the relative usability of different software systems. Behaviour & information technology, v. 16, n. 4-5, p. 267-277, 1997.

  • NIELSEN, J. Usability engineering. San Francisco: Morgan Kaufmann Publishers Inc., 1993.

  • ORFANOU, Konstantina; TSELIOS, Nikolaos; KATSANOS, Christos. Perceived usability evaluation of learning management systems: Empirical evaluation of the System Usability Scale. The International Review of Research in Open and Distributed Learning, v. 16, n. 2, 2015.

  • RAHMAT, T.; NURYANI, E.; SISWANTO, D.; UNDANG, G. ServQual and WebQual 4.0 for usability check academic information system of private university. In: Journal of Physics: Conference Series. IOP Publishing, 2021. p. 012097.

  • REYES VERA, Javier M.; BERDUGO TORRES, Martha Isabel; MACHUCA VILLEGAS, Liliana. Evaluación de usabilidad de un sistema de administración de cursos basado en la plataforma Lingweb. Ingeniare. Revista chilena de ingeniería, v. 24, n. 3, p. 435-444, 2016.

  • ROCHIMAH, Siti; RAHMANI, Hanifa I.; YUHANA, Umi Laili. Usability characteristic evaluation on administration module of Academic Information System using ISO/IEC 9126 quality model. In: INTERNATIONAL SEMINAR ON INTELLIGENT TECHNOLOGY AND ITS APPLICATIONS (ISITIA), 2015. Anais [...]. IEEE, 2015. p. 363-368.

  • SANTA ROSA, José Guilherme; GURGEL, Andrei; DE OLIVEIRA PASSOS, Marcel. Técnicas baseadas em etnografia e prototipagem no design de interface de aplicativo mobile para gerenciamento acadêmico. InfoDesign-Revista Brasileira de Design da Informação, v. 9, n. 2, p. 88-99, 2012.

  • SILVA, S. V.; et al. Avaliação da qualidade de um sistema acadêmico: estudo de caso no Q-Acadêmico. In: CONGRESSO INTEGRADO DE TECNOLOGIA DA INFORMAÇÃO, 8., Rio de Janeiro. Anais do VIII CITI, 2015.

  • SIMÕES, Aliana Pereira; DE MORAES, Anamaria. The ergonomic evaluation of a virtual learning environment usability. Work, v. 41, n. Supplement 1, p. 1140-1144, 2012.

  • TALIRONGAN, Florence Jean B.; HERNANDEZ, Alexander A. Issues and challenges on academic information systems: A quantitative study utilizing Purdue usability testing questionnaire. In: INTERNATIONAL CONFERENCE ON HUMANOID, NANOTECHNOLOGY, INFORMATION TECHNOLOGY, COMMUNICATION AND CONTROL, ENVIRONMENT AND MANAGEMENT (HNICEM), 9., 2017. Anais [...]. IEEE, 2017. p. 1-7.

  • TYAS, S. S.; KHAIRUNISA, Y. Usability Testing for Student Academic Information System in State Polytechnic of Creative Media. In: Journal of Physics: Conference Series, IOP Publishing, v. 1898, 2021, p. 012012. DOI:10.1088/1742-6596/1898/1/012012