Design and Validation of an Assessment Tool for Educational Mobile Applications Used with Autistic Learners

Abstract

This work presents the design and validation process for a tool to evaluate educational mobile applications for autistic learners. The project was developed in several stages. First, we reviewed and analysed the literature. Second, we conducted a Delphi study with experts (n=12) from different backgrounds (educational technology, accessibility, app developers and autism specialist teachers) selected using the calculated expert competence coefficient. And finally, we conducted a pilot test with trainee (n=51) and in-service (n=9) teachers who evaluated a selection of 11 apps. The data collected was used to study the factor structure of the tool, its reliability and usability. In this paper we present the resulting questionnaire consisting of 36 items grouped into six sections: “Information about the evaluator”, “Technical and descriptive characteristics”, “Pedagogical characteristics in relation to autism”, “General pedagogical characteristics”, “Characteristics for educational inclusion and accessibility”, and “Professional satisfaction”. The results condense the questionnaire to two factors and indicate that the tool is valid, reliable and useful for assessing the properties of apps and for facilitating the learning process of people with autism.

Este trabajo describe el proceso de diseño y validación correspondiente a un instrumento para evaluar aplicaciones educativas móviles centradas en estudiantes autistas. El proyecto se desarrolló en varias etapas. Primero revisamos y analizamos la literatura. En segundo lugar, llevamos a cabo un estudio Delphi con expertos (n=12) de diferentes ámbitos (tecnología educativa, accesibilidad, desarrolladores de apps y profesores especializados en el ámbito del autismo) seleccionados mediante el cálculo del coeficiente de competencia de expertos. Y, por último, realizamos una prueba piloto con profesores en prácticas (n=51) y en activo (n=9) que evaluaron una selección de 11 apps. Los datos recogidos se emplearon para estudiar la estructura factorial de la herramienta, su fiabilidad y usabilidad. En el presente artículo, presentamos el cuestionario resultante que constaba de 36 preguntas agrupadas en seis secciones: “Información sobre el evaluador”, “Características técnicas y descriptivas”, “Características pedagógicas en relación con el autismo”, “Características pedagógicas generales”, “Características para la inclusión educativa y la accesibilidad” y “Satisfacción profesional”. Estos hallazgos condensan el cuestionario en dos factores e indican que la herramienta es válida, fiable y útil para valorar las propiedades de las apps y para facilitar el proceso de aprendizaje de las personas con autismo.