Validación de un instrumento para la evaluación de competencias de investigación en estudiantes universitarios
Validación de un instrumento para la evaluación de competencias de investigación en estudiantes universitarios
Main Article Content
This study is carried out in the field of Educational Psychology, within the framework of the transition towards a training based on professional competences in the Psychology degree. The objective was to determine the validity and reliability of the Instrument for the evaluation of research competences in Psychology students. A quantitative methodology was used with a non-experimental cross-sectional descriptive-correlational design. The Delphi method was implemented to evaluate the validity of content based on the criteria of 12 judges, experts in research training and evaluation of competences. A pilot test was also developed with the participation of 385 undergraduate and graduate students from the Faculty of Psychology of the University of Havana (non-probabilistic sample of voluntary participants), fulfilling the requirement that there were at least 5 subjects for each item. The procedures used included factor analysis and calculation of the Omega reliability coefficient. The results indicate that the validity and reliability are acceptable. A consensus was reached among the group of experts regarding the content of the instrument, and the evaluations of the structure, the language and the items of the instrument were satisfactory. It was also demonstrated that the empirical covariation of the items reflects the theoretically defined structure, that is, that there is an adequate fit between the theoretical structure and the data collected. Based on the triangulation of the information obtained through all these procedures, the pertinent modifications were made to obtain an improved version of the instrument.
Publication Facts
Reviewer profiles N/A
Author statements
- Academic society
- Bogotá: Corporación Universitaria Iberoamericana
- Publisher
- Bogotá: Corporación Universitaria Iberoamericana
Article Details
Abad, F., García, C., Olea, J., & Ponsoda, V. (2009). Introducción a la Psicometría. Teoría Clásica de los Tests y Teoría de la Respuesta al Ítem. Madrid: Paidós.
Ain, C. T., Sabir, F., & Willison, J. (2019). Research skills that men and women developed at university and then used in workplaces, Studies in Higher Education, 44(12), 2346-2358. https://doi.org/10.1080/03075079.2018.1496412
Alsina, J. (coord.) (2011). Evaluación por competencias en la universidad: las competencias transversales. Barcelona: Ediciones Octaedro.
Böttcher-Oschmann, F., Groß Ophoff, J., & Thiel, F. (2021). Preparing Teacher Training Students for Evidence-Based Practice Promoting Students’ Research Competencies in Research-Learning Projects. Frontiers in Education, 6, 1-11. https://doi: 10.3389/feduc.2021.642107
Brown, J., & Park, H. (2016). Longitudinal Student Research Competency: Comparing Student Research Competencies in Online and Traditional Face-to-Face Learning Environments. Advances in Social Work, 17(1), 1-7. https://doi.org/10.18060/20870
Buendía-Arias, X. P., Zambrano-Castillo, L. C., & Insuasty, E. A. (2018). El desarrollo de competencias investigativas de los docentes en formación en el contexto de la práctica pedagógica. Folios, 47, 179-195. https://doi.org/10.17227/folios.47-7405
Cabero Almenara, J., & Infante Moro, A. (2014). Empleo del Método Delphi y su empleo en la investigación en comunicación y educación. EDUTEC. Revista Electrónica de Tecnología Educativa, 1(48), 1-16. http://edutec.rediris.es/Revelec2/Revelec48/n48_Cabero_Infante.html
Castillo Vallejo, S. (2011). Evaluación de competencias investigativas, ponencia presentada en la XIII Conferencia Interamericana de Educación Matemática, Recife, 26-30 de junio.
Castro Molinares, S. (2017). Diseño y validación de un instrumento para evaluar la actitud hacia la investigación formativa en estudiantes universitarios. Actualidades Pedagógicas, 1(70), 165-182. http://dx.doi.org/10.19052/ap.3996
Castro-Rodríguez, Y. (2020). Desarrollo de competencias investigativas en estudiantes de las ciencias de la salud: sistematización de experiencias. Duazary, 17(4), 65-80. https://doi.org/10.21676/2389783X.3602
Corral Ruso, R. (2021). Formación basada en competencias en la educación superior cubana: una propuesta. Revista Cubana de Educación Superior, 40(2). http://www.rces.uh.cu/index.php/RCES/article/view/440
Cruz Ramírez, M., & Martínez Cepena, M. C. (2012). Perfeccionamiento de un instrumento para la selección de expertos en las investigaciones educativa. Revista Electrónica de Investigación Educativa, 14(2), 167-179. http://redie.uabc.mx/vol14no2/contenido-cruzmtnz2012.html
D’olivares Durán, N., & Casteblanco Cifuentes, C. L. (2019). Competencias investigativas: inicio de formación de jóvenes investigadores en educación media. RHS. Revista Humanismo y Sociedad, 7(1), 6-21. https://doi.org/10.22209/rhs.v7n1a01
Elder, S., Wittman, H., & Giang, A. (2023). Building sustainability research competencies through scaffolded pathways for undergraduate
research experience. Elementa Science of the Anthropocene, 11(1), 1-12. https://doi.org/10.1525/elementa.2022.00091
Escobar Pérez, J., & Cuervo Martínez, A. (2008). Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances en Medición, (6), 27–36. https://www.researchgate.net/publication/302438451_Validez_de_contenido_y_juicio_de_expertos_Una_aproximacion_a_su_utilizacion
Frisch, N., Atherton, P., Doyle-Waters, M., MacLeod, M., Mallidou, A., Sheane, V., Ward, J., & Woodley, J. (2020). Patient-oriented research competencies in health (PORCH) for researchers, patients, healthcare providers, and decision-makers: results of a scoping review. Research Involvement and Engagement, 6(4). https://doi.org/10.1186/s40900-020-0180-0
García Acosta, J. G., & García González, M. (2022). La evaluación por competencias en el proceso de formación. Revista Cubana de Educación Superior, 41(2), 1-20. http://scielo.sld.cu/scielo.php?script=sci_abstract&pid=S0257-43142022000200022
García Tarazona, J. O. (2019). Efectos del módulo autoinstructivo en las competencias investigativas de estudiantes de una universidad privada. Fides Et Ratio, (17), 15-37. https://fidesetratio.ulasalle.edu.bo/index.php/fidesetratio/article/view/1/1
Gess, C., Wessels, I., & Blömeke, S. (2017). Domain-specificity of research competencies in the social sciences: Evidence from differential item functioning. Journal for Educational Research Online, 9(2), 11–36. https://doi.org/10.25656/01:14895
Gilbertson, L., Rowe, J., Kim, Y., Chan, C., Schemm, N., & Unhoch, M. (2021). An Online Training Program to Enhance Novice Researchers’ Knowledge and Skills, Scholarship and Practice of Undergraduate Research Journal, 4(4), 33-41. https://doi:10.18833/spur/4/4/4
Granados, D. E., Figueroa, S., & Velázquez, A. (2016). Dificultades de atención y competencias de investigación en estudiantes universitarios de Psicología. Enseñanza e Investigación en Psicología, 21(2), 131-140. https://www.redalyc.org/articulo.oa?id=29248181003
Hernández-Sampieri, R., & Mendoza Torres, C. P. (2018). Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta. Ciudad de México: McGraw-Hill Interamericana.
Hüseyin Şahan, H., & Tarhan, R. (2015). Scientific Research Competencies of Prospective Teachers and their Attitudes toward Scientific Research, International Journal of Psychology and Educational Studies, 3(2), 20-31. http://10.17220/ijpes.2015.03.003
Iovu, M., & Bărbuţă, A. (2022). Research Competencies of Social Work Students during Remote Learning. Revista Românească pentru Educaţie Multidimensională, 14, 203-222. https://doi.org/10.18662/rrem/14.1Sup1/546
Jaik, A., & Ortega, E. (2011). Nivel de dominio de las competencias investigativas de los alumnos de posgrado, ponencia presentada en al XI Congreso Nacional de Investigación Educativa, Durango.
Katayev, Y., Saduakas, G., Nurzhanova, S., Umirbekova, A., Ospankulov, Y., & Zokirova, S. (2023). Analysis of teachers' research competencies, scientific process skills and the level of using information and communication technologies. International Journal of Education in Mathematics, Science, and Technology (IJEMST), 11(5), 1184-1203. https://doi.org/10.46328/ijemst.3613
Keith, T. (2015). Multiple Regression and Beyond. New York: Routledge.
Lachance, K., Heustis, R., Loparo, J., & Venkatesh, M. (2020). Self-Efficacy and Performance of Research Skills among First-Semester Bioscience Doctoral Students. CBE—Life Sciences Education, 19, 1-14. https://doi:10.1187/cbe.19-07-0142
López Gómez, E. (2018). El método Delphi en la investigación actual en educación: una revisión teórica y metodológica. Educación XX1, 21(1), 17-40. https://doi:10.5944/educXX1.15536
López-Aguado, M., & Gutiérrez-Provecho, L. (2019). Cómo realizar e interpretar un análisis factorial exploratorio utilizando SPSS. Revista d’Innovació i Recerca en Educació, 12(2), 1–14. http://doi.org/10.1344/reire2019.12.227057
Malagrida, R., Klaassen, P., Ruiz-Mallén, I., & Broerse, J. (2022). Towards competencies and methods to support Responsible Research and Innovation within STEAM secondary education – the case of Spain. Research in Science & Technological Education, 1-21. https://doi.org/10.1080/02635143.2022.2123790
Martinez-Clares, P., Pérez Cusó, F., & González-Lorente, C. (2022). Las competencias tutoriales del docente universitario. Validación de una herramienta, Revista Electrónica de Investigación Educativa, 24(3), 1-15. https://doi.org/10.24320/redie.2022.24.e03.4028
Minh Duc, N., Viet, K. H., & Ngoc Lan, V. T. (2022). Impact of Scholarly Project on students’ perception of research skills: A quasi-experimental study. The Asia Pacific Scholar, 7(4), 50-58. https://doi.org/10.29060/TAPS.2022-7-4/OA2748
Novosel, L. (2022). Understanding the Evidence: Quantitative Research Designs, Urologic Nursing, 42(6), 303-311. https://doi.org/10.7257/2168-4626.2022.42.6.303
Núñez Jover, J. (2019). Universidad, conocimiento y desarrollo: nuevas encrucijadas. Una lectura desde ciencia, tecnología y sociedad. La Habana: Editorial UH.
Obedkova, L. P., Efremov, A., Sekerin, V., Gorokhova, A., & Slepov, V. (2020). Formation of Competencies in Higher Education by Bachelors and Masters. Utopía y Praxis Latinoamericana, 215-220. https://doi.org/10.5281/zenodo.3984239
Paz Delgado, C. L., & Estrada, L. (2022). Condiciones pedagógicas y desafíos para el desarrollo de competencias investigativas. Revista Electrónica de Investigación Educativa, (24), 1-17. https://doi.org/10.24320/redie.2022.24.e09.3937
Piasecki, R., Quarles, E., Bahouth, M., Nandi, A., Bilheimer, A., Carter-Edwards, L., & Dennison-Himmelfarb, C. (2020). Aligning community-engaged research competencies with online training resources across the Clinical and Translational Science Award Consortium. Journal of Clinical and Translational Science, e45(5), 1-8. https://doi.org/10.1017/cts.2020.538
Rodríguez-Mena, M., López, C. L., Corral, R., Labaut, L., Pérez, O., Pomares, W., Lago, C. M., Chao, A. M., Regalado, H., & Ortega, C. (2019). Evaluación formativa de competencias. Una metodología. La Habana: Publicaciones Acuario.
Scott, M., Goodwin, A., Nadig, N., Harvey, J., & Kilb, E. (2023). Self-Assessment of Research Skills and Barriers to Research Careers among Pulmonary and Critical Care Fellows. Journal of Medical Education and Curricular Development, 10, 1–9. https://10.1177/23821205231184704
Smith-Castro, V., & Molina Delgado, M. (2011). La entrevista cognitiva: Guía para su aplicación en la evaluación y el mejoramiento de instrumentos de papel y lápiz. San José: Instituto de Investigaciones Psicológicas, Universidad de Costa Rica.
Soriano Rodríguez, A. M. (2014). Diseño y validación de instrumentos de medición. Diálogos, (13), 19-40. https://www.researchgate.net/publication/284710059_Diseno_y_validacion_de_instrumentos_de_medicion
Torres Delgado, G., & Hernández-Gress, N. (2021). Research Professors’ Self-Assessment of Competencies. Future Internet, 41(13). https://doi.org/10.3390/i13020041
Ubozhenko, I., & Zhang, Z. (2019). Multimodality in Teaching Academic Research Skills: The cognitive methodology case or critical assessment competence shaping. The Journal of teaching English for specific and academic purposes, 7(4), 493-503. https://doi.org/10.22190/JTESAP1904493U
Ventura-León, J. L., & Caycho-Rodríguez, T. (2017). El coeficiente Omega: un método alternativo para la estimación de la confiabilidad. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 15(1), 625-627. https://www.redalyc.org/articulo.oa?id=77349627039
Vieno, K., Rogers, K., & Campbell, N. (2022). Broadening the Definition of ‘Research Skills’ to Enhance Students’ Competence across Undergraduate and Master’s Programs. Education Sciences, 12, 1-14. https://doi.org/10.3390/educsci12100642
Willison, J., Zhu, X., Xie, B., Yu, X., Chen, J., Zhang, D., Shashoug, I., & Sabir, F. (2020). Graduates’ affective transfer of research skills and evidence based practice from university to employment in clinics. BMC Medical Education, 1-18. https://doi.org/10.1186/s12909-020-1988-x