Reliability and sources of validity evidences for a instrument assessing the quality of concept maps

Authors

  • Beatriz Lucas-Molina Universidad de Valencia
  • Alicia Pérez-Albéniz Iturriaga Universidad de La Rioja http://orcid.org/0000-0002-7182-060X
  • Eduardo Fonseca-Pedrero Universidad de La Rioja
  • Javier Ortuño-Sierra Universidad de La Rioja
  • María Luz Urraca Universidad de La Rioja
  • Marta Santarén-Rosell Universidad de La Rioja

DOI:

https://doi.org/10.18172/con.3065

Keywords:

Concept map, assessment, intervention, instrument

Abstract

Several authors have noticed the interest and relevance of concept mapping as a tool for promoting meaningful learning. However, the current literature highlights the lack of procedures for the assessment of concept mapping using objective criteria, as well as the complexity of the existing ones. The aim of this study was to develop an instrument for assessing concept maps through a rubric format. It is expected to provide the students with a tool that allows, through precise indicators, the assessment of the quality of their and others’ performance. A rubric that includes the most widely accepted criteria in the literature is presented and examined. Two pilot studies with a group of pre-service teacher students each one (n = 31 and n = 18, respectively) were conducted through a four hours training program. The results indicated that the designed instrument shows good indicators of interrater reliability and discriminant validity. It is then concluded that the designed instrument shows adequate psychometric properties. The instrument allows both the use of objective criteria in the assessment of concept maps, and the comparison between different executions.

Downloads

Download data is not yet available.

Author Biographies

Beatriz Lucas-Molina, Universidad de Valencia

Profesor Ayudante Doctor

 Departamento de Psicología Evolutiva y de la Educación

Alicia Pérez-Albéniz Iturriaga, Universidad de La Rioja

Profesora Titular

Departamento de Ciencias de la Educación

Eduardo Fonseca-Pedrero, Universidad de La Rioja

Profesor Titular de Universidad Interino

Departamento de Ciencias de la Educación

Javier Ortuño-Sierra, Universidad de La Rioja

Profesor Contratado

Departamento de Psicología

María Luz Urraca, Universidad de La Rioja

Profesora Contratada Interino

Departamento de Ciencias de la Educación

Marta Santarén-Rosell, Universidad de La Rioja

Profesora Contratada Interina

Departamento de Ciencias de la Educación

References

Ausubel, D. P., Novak, J. D. y Hanesian, H. (l987). Psicología educativa. Un punto de vista cognoscitivo. México: Trillas.

Cañas, A. J., Novak, J., Miller, N. L., Collado, C., Rodríguez, M., Concepción, M., Santana, C. y Peña, L. (2006). Confiabilidad de una taxonomía topológica para mapas conceptuales. En Second International Conference on Concept Mapping: September 5-8 2006. San José, Costa Rica: Universidad de Costa Rica.

Domínguez-Marrufo, L. S. (2010). Rúbrica y Puntaje del Mapa Conceptual. Una propuesta para la evaluación de mapas conceptuales en la educación Superior. (Tesis de maestría no publicada). Universidad Autónoma del Estado de Morelos, México.

Domínguez-Marrufo, L. S., Sánchez-Valenzuela, M. M. y Aguilar-Tamayo, M. F. (2010). Rúbrica con sistema de puntaje para evaluar mapas conceptuales de lectura de comprensión. En J. Sánchez, A. J. Cañas y J. D. Novak (Eds.), Concept maps: Making learning meaningful (pp. 210-213). Chile: Lom Ediciones.

González, F. M. (1997). Diagnosis of Spanish Primary School Students’ Common Alternative Science Conceptions. School, Science and Mathematics, 2, 68-74.

González, F. M. e Iraizoz, N. (1995). Errores Conceptuales en Alumnos de Enseñanza Primaria: Implicaciones Educativas. Estudios de Psicología y Pedagogía, 7, 67-116.

González, F. M., Moron, C. y Novak, J. D. (2001). Errores conceptuales. Diagnosis, tratamiento y reflexiones. Pamplona: Eunate.

Iraizoz, N. y González, F. (2003). El mapa conceptual: un instrumento apropiado para comprender textos expositivos. Pamplona: Blitz.

Luque, A., Molina, A. y Ontoria, A. (2003). Los mapas conceptuales, una técnica para mejorar las capacidades cognitivas y sociopersonales. Revista de Ciencias de la Educación, 194, 207-224.

Miller, N. L. y Cañas, A. J. (2008a). A semantic scoring rubric for concept maps: design and reliability. En Third International Conference on Concept Mapping, sept. 22-25, 2008. Tallinn, Estonia: Tallinn University.

Miller, N. L. y Cañas, A. J. (2008b). Effect of the nature of the focus question on presence of dynamic propositions in a concept map. En Third International Conference on Concept Mapping, sept. 22-25, 2008. Tallinn, Estonia: Tallinn University.

Novak, J. D. (1998). Conocimiento y aprendizaje: Los mapas conceptuales como herramientas facilitadoras para escuelas y empresas. Madrid: Alianza.

Novak, J. D. y Gowin, D. B. (1988). Aprendiendo a aprender. Barcelona: Martínez Roca.

Novak, J. D. y Musonda, D. (1991). A twelve-year longitudinal study of science concept learning. American Educational Research Journal, 28, 117-153.

Ontoria, A. (1992). Mapas conceptuales una técnica para aprender. España: Narcea.

Pascual, M. T. y Pérez-Albéniz, A. (2006). Enseñar a pensar en el aula universitaria. Una experiencia en las aulas de maestro de la Universidad de La Rioja. Contextos Educativos, 13, 141-154. DOI: http://doi.org/10.18172/con.631.

Pérez-Albéniz, A., Lucas-Molina, B., Solbes-Canales, I., Calderón, S., y Martín- Seoane, G. (2016). Los mapas conceptuales como estrategia de aprendizaje en la enseñanza universitaria. Innovación Educativa, 26, 233-243. DOI: http://doi. org/10.15304/ie.26.3449.

Reyes, M. (2005). Uso de los mapas conceptuales en química. Mérida: Escuela Venezolana de Enseñanza en Química.

Siegel, S. y Castellan, N. J. (1988). Nonparametric statistics for the behavioral sciences. New York: McGraw-Hill.

Statistical Package for the Social Sciences (2006). SPSS Base 15.0 User’s Guide. Chicago, IL: SPSS Inc.

Published

2017-05-26

How to Cite

Lucas-Molina, B., Pérez-Albéniz Iturriaga, A., Fonseca-Pedrero, E., Ortuño-Sierra, J., Urraca, M. L., & Santarén-Rosell, M. (2017). Reliability and sources of validity evidences for a instrument assessing the quality of concept maps. Contextos Educativos. Revista De Educación, 119–130. https://doi.org/10.18172/con.3065

Issue

Section

Research, Review and Discussant Articles

Most read articles by the same author(s)