Introducción

La evaluación del impacto en programas de formación, frecuentemente se relaciona con cumplir objetivos o revisar procesos, y pocas veces se confronta con las necesidades o problemáticas que dieron origen al programa de formación, convirtiendo la evaluación en un mero instrumento de comprobación y de autojustificación, en vez de conseguir los cambios de comportamientos (aprendizaje real) para que el programa sea realmente efectivo y permita la mejora continua del mismo¹.

Así mismo, existe la tendencia a que los efectos de la formación se evalúen con menor frecuencia, pero los efectos (eficacia y eficiencia) de la formación deben ser evaluados para determinar si el programa produjo los efectos esperados en las personas e instituciones y si estos son atribuibles a la intervención del programa² (Ramos Azcuy et al, 2016).

La formación de los participantes constituye el aspecto determinante en un programa de innovaciones en salud en tanto determina la capacidad instalada básica para su funcionamiento. De sus participantes se espera más un “saber actuar” que un “saber hacer”^3,4 cuando se trata de enfrentar situaciones no previstas del mundo real que, a su vez, exigen iniciativas propias e innovadoras para ser capaz de promover e integrarse en redes de pares.

Sin la evaluación de la formación no se podrían determinar qué tanto valor aporta ésta a la organización y cómo se genera ese valor⁵. Este requisito puede leerse como un desafío a demostrar hasta dónde existe una relación de causa y efecto entre la formación y el rendimiento (cambios de comportamiento). No es suficiente que los participantes hayan cumplido con estar vinculados al proceso, se requiere también tener la seguridad de que la calidad de los programas de formación conduzca al aprendizaje constante y al mejoramiento continuo que exige el entorno⁶

La evaluación que aquí se presenta se aplicó a un programa sanitario institucional de la Alcaldía de Barranquilla (Colombia) denominado programa Generación Vida Nueva (GVN), orientado a crear capacidad en el ámbito escolar, para incidir en el control del sobrepeso u obesidad en niños de 5 a 9 años. La propuesta de generación de valor del programa GVN, es lograr incorporar la educación nutricional en la programación académica e incrementar los niveles de actividad física en las instituciones educativas, lo cual constituye una innovación en el sector educativo de la ciudad.

El programa se está desarrollando en 17 instituciones de educación básica primaria (IED) donde estudian cerca de 11,000 niños. Para guiar la intervención, el programa GVN desarrolló un protocolo para el control metabólico de niños con sobrepeso u obesidad⁷. Con ese instrumento se buscó poner al alcance de los docentes de esas instituciones, un conjunto de antecedentes y recomendaciones con el propósito de prevenir, reversar o controlar el sobrepeso y la obesidad infantil partiendo de la formación escolar.

Utilizando el protocolo como eje temático, el programa GVN desarrolló una serie de talleres de formación, sistemáticamente ordenados y con un enfoque conductual (con definición de comportamientos esperados), con el propósito de que los docentes conocieran los conceptos, técnicas y actividades que contribuyeran -desde el aula- a la construcción de contenidos cognitivos relacionados con estilos de vida saludables, y a la adopción de hábitos saludables de actividad física y de nutrición por parte de los niños, al tiempo que se sensibilizaba a los padres o cuidadores, a los administradores escolares y a los mismos docentes.

La formación tuvo como objetivo principal la “adoptabilidad de las innovaciones”, de acuerdo con lo propuesto por Rogers⁸, procurando que los docentes percibieran sus atributos, así: a) la importancia del contenido desde el punto de vista cognitivo, y su potencial como recurso pedagógico para todas las áreas del conocimiento (ventaja relativa), b) las oportunidades de articulación con esas áreas (compatibilidad), c) el grado de viabilidad de ser integrada por los docentes en la agenda académica y apropiada por los niños (complejidad), d) el uso de ejercicios prácticos y demostrativos con los niños (ensayabilidad) y e) la obtención de resultados visibles en el aula por parte de los docentes (observabilidad). La formación mantuvo el propósito conductual, de la mano del proceso gradual de adopción de las innovaciones del programa.

La literatura científica registra al menos dos tipos de modelos de evaluación de la formación: uno con enfoque centrado en la calidad y otros que miden directamente los impactos de la formación. En nuestro caso no sólo interesa la calidad del proceso de formación, sino también que el aprendizaje logrado haya sido aplicado en el sitio de trabajo y genere resultados misionales. Por esta razón, la evaluación que nos ocupa se enfocó en el segundo tipo de modelos, los cuales generalmente contemplan medir los impactos tanto en el participante como en la organización (institución educativa)¹⁰.

Los modelos de evaluación del impacto de la formación más difundidos, según la evidencia disponible son: el de Donald Kirkpatrick¹¹ que evalúa los impactos de la formación en cuatro niveles; reacción, aprendizaje, conducta y resultados; el de Jack Phillips⁴, que incorpora al modelo anterior los beneficios económicos, su valoración monetaria y, sobre todo, el retorno de la inversión; el de Robert Brinkerhoff¹², quien advierte la influencia del entorno; y el de Virginia Wade¹³, en cuyo modelo incluye reacción y aprendizaje al igual que Kirkpatrick, aunque integrada en un solo nivel, pero convalida el nivel de comportamiento y evalúa separadamente los impactos en el negocio y en la organización.

Para este estudio se utilizó el Modelo de Kirpatrick. A su autor se le reconoce como pionero en el abordaje científico de este tema. Las ideas centrales, que datan del año 1959 y fueron compiladas en 1975, se hicieron populares a partir de 1994, con la divulgación de sus cuatro niveles del libro Evaluating Training Programs¹⁴. En las últimas décadas se ha constituido como el referente de evaluación de formación más utilizado en gran parte del mundo, aunque generalmente se le asocia con el quinto nivel propuesto por Phillips^15,16,17. Los niveles que contempla, su sistematicidad, coherencia y productos esperados, encajan apropiadamente en las necesidades de información y en el diseño de la formación del programa GVN. Además, existe algún consenso sobre la capacidad del modelo para llevarlo a la práctica sin dificultad⁸.

El modelo Kirpatrick propone medir 4 niveles de la evaluación de la formación. En un primer nivel, la satisfacción de los participantes con respecto a la formación recibida, que en este caso son docentes de primaria. En el segundo nivel se mide la transferencia de los nuevos conocimientos y el desarrollo de habilidades para el uso de nuevas prácticas, que en nuestro estudio se refieren a la adopción de nuevas ideas, conceptos y técnicas para la formación de los niños en los temas del protocolo. En el tercer nivel, Kirpatrick propone medir el cambio conductual expresado en si lo aprendido fue transferido o no al sitio de trabajo (aula de clases). Y en el cuarto nivel, se evalúa los resultados en la organización, es decir, su impacto positivo en el programa traducido en adopción de innovaciones en las instituciones educativas; esto es, incremento de la actividad física e incorporación de la educación nutricional.

Con la aplicación de este modelo también se intentará conocer hasta dónde la evaluación de impactos en los cuatro niveles contribuye, a la par, a comprender la adopción de innovaciones en salud que promueve el programa.

Tratándose de cualquier programa de salud pública enfocado en el desarrollo de capacidades, los costos de inversión en el proceso de formación de los actores representan una gran porción de su presupuesto global¹⁸. La evaluación de sus impactos es tan importante que permite a la organización conocer con fuerte aproximación cómo se generará el retorno de esa inversión (ROI) o, al menos, el retorno de las expectativas⁴ (ROE), además de impulsar mejoras en sus aspectos metodológicos.

Sin embargo, durante la preparación de este estudio fueron escasas las publicaciones encontradas sobre este tema, especialmente las referidas a experiencias similares en países de bajos y medianos ingresos. Debido a lo anterior, este trabajo no sólo tiene la pretensión de constituirse en un insumo básico para los decisores de los planes de formación del programa GVN, sino en un referente que pudiera contribuir a una mayor discusión de este tema en nuestros países.

Materiales y métodos

Se trata de un estudio retrospectivo, basado en registros de capacitación del programa GVN, en su componente de control metabólico de niños con sobrepeso y obesidad de 17 instituciones educativas de formación primaria de Barranquilla, Colombia.

Contexto del estudio: En el programa GVN participaron 165 profesores de 17 Instituciones Educativas IED del Distrito de Barranquilla, de los cuales 120 docentes, de 13 de ellas, aceptaron participar de este estudio. Es decir, que se aplicó un muestreo por conveniencia. Las IED que participaron también están inscritas en el Programa de Alimentación Escolar (PAE), que suministra merienda escolar, pero sin incluir la educación nutricional en la agenda académica de rutina. Practicaban un promedio de 40 minutos de actividad física a la semana, sin un docente específico ni un programa definido para esta área. La formación educativa de GVN se realizó entre los meses de marzo a noviembre de 2017, mediante 4 talleres, cada 2 meses, en grupos de 25 docentes, y 16 jornadas prácticas de una hora de duración, cada una realizadas en el aula de clases con los niños, a través de equipos mixtos integrados por capacitadores y docentes de primaria debidamente entrenados y capacitados por el programa GVN. Los talleres tuvieron una duración de 8 horas para un total de 32 horas en aula con dos o tres jornada/mes/IED. Las jornadas prácticas propiciaron el adiestramiento y observación por parte de los docentes, con el fin de reforzar su percepción de las innovaciones propuestas de forma que indujeran a su adopción. Los talleres tuvieron un enfoque participativo, orientado no solo al aprendizaje sino a influir en las actitudes y comportamientos frente a los temas relacionados con actividad física y nutrición para una vida saludable, apoyados con un componente biopsicosocial.

Recolección de datos: Se pueden identificar tres momentos de recolección de datos; uno en el preámbulo de la formación (pretest); otro durante el período de la formación (datos relacionados con el aprendizaje y su aplicación) y un tercero después de terminado el proceso de formación, cuando se recolectaron los datos de satisfacción y de producción de resultados. El diseño de la formación incidió en los tiempos de generación y recolección de los datos. Los talleres y las jornadas prácticas se fueron desarrollando alternadamente, brindando la oportunidad de que el participante pudiera aplicarlas de inmediato en el aula de clases, por lo cual los tiempos para recolectar los datos requeridos para medir impactos en el aprendizaje y comportamiento ocasionalmente coincidieron. Para recolectar los datos de satisfacción del

participante se diseñó un instrumento tipo escala de Likert, con las categorías propuestas por Kirkpatrick en este nivel. Para determinar su confiabilidad, se empleó una prueba piloto previa, con 30 docentes, para un total de 57 ítems del cuestionario, que arrojó un Alfa de Cronbach de 0.943, considerada alta para los propósitos del estudio.

En la tabla 1 se esquematiza la recolección de datos conforme a los niveles del modelo Kirpatrick, agregando una quinta columna en donde se relaciona cada uno de ellos, con el grado de adoptabilidad de las innovaciones propuestas en el diseño de la formación. Se trata de asociar los impactos de la formación en cada nivel y en cada atributo de la innovación percibidos por los participantes con el fin de comprender mejor el proceso de adopción.

Resultados

El plan de capacitación del programa GVN tiene dos unidades de interés para las mediciones: los docentes, individualmente observados, y la institución educativa a la cual pertenece; por lo tanto, en algunos casos se considera también esta última para la evaluación. El cuestionario fue contestado por 120 de los 165 docentes de transición a primaria de 13 de las 17 escuelas participantes en el programa GVN, cuya distribución y frecuencias se encuentran en la tabla 2.

En términos generales, la participación por IED estuvo relacionada con el tamaño de su población estudiantil y el número de docentes. De los 120 docentes, 105 (87.5%) fueron mujeres y 15 (12.5%) hombres. La variable sexo no fue relevante en los niveles de evaluación, más sí para la adopción de las innovaciones.

Impacto en la satisfacción. En términos generales, aproximadamente el 90% de los docentes calificó de “muy alto” o “alto” el grado de satisfacción con la formación recibida (tabla 3). La categoría “metodología utilizada”, que fue percibida a nivel global como “alta”, fue también la menor calificada, comparada con las otras (81.7%) y con la mayor frecuencia en la valoración “muy baja” (10.9%). Curiosamente, la mejor valorada fue “Los capacitadores” de los talleres (94.4%).

En la tabla 4, referida a la pregunta abierta del cuestionario, se observa que la mayor frecuencia, está vinculada con el deseo de que el programa continúe, y de ahí las respuestas subsiguientes se refieren a recomendaciones, que reflejan una actitud positiva al proceso, reiterando sugerencias de mejoras en la metodología. Más detalles de estos resultados en el Anexo 1.

Impacto en el aprendizaje. Para el segundo nivel, se revisó inicialmente un test colectivo realizado por GVN en el preámbulo del taller, y que había sido utilizado en la formación como insumo para el aprendizaje significativo. Se analizó el registro documental, fílmico y de audio de respuestas grupales que fueron clasificadas como evaluación colectiva de “Alto”, “Medio” o “Bajo” aprendizaje significativo, según la respuesta a la pregunta que se le formulaba al

grupo. La conclusión de esa sesión fue que los docentes tenían conceptos básicos en categoría “Bajo” para organizar y poner en práctica actividades formativas en actividad física y nutrición en el aula, además percibían que el tema de la formación era más competencia del sector salud que académico, y que ellos participarían porque se estila que las IED “colaboren” con el sector salud. Lo anterior condujo al evaluador, a que para determinar el conocimiento añadido, se aprovecharan dos sesiones de retroalimentación programadas en el cuarto taller. El ejercicio formador/evaluativo consistió en que los participantes, organizados en grupos separados, diseñaron un programa hipotético de actividad formativa o de sensibilización en su IED, y lo presentaran en una plenaria, con explicación de conceptos y luego aplicación de los contenidos impartidos durante la formación. El ejercicio admitió el debate entre los participantes y se evaluaron las intervenciones. Los resultados se midieron en grupos de 5 docentes, valorados con escala de 1 a 5, tabla 5.

Impacto en el comportamiento: Para esta medición se implementaron tres estrategias: a) La elaboración e implementación de un proyecto de aula real, basado en innovaciones en estilos de vida saludable, que consistió en una unidad de planificación real de cómo iban a incorporar dentro del aula lo aprendido en los talleres. Incluyo educación nutricional y ampliación de actividad física. Se asumió como proyecto de aula la planificación de una experiencia significativa a realizar, en el que el conocimiento se construye juntamente con los niños a partir de un problema identificado por el grupo. b) La realización de 5 talleres (a manera de demostración) dirigidos a los niños por grado; a partir del segundo, se realizó con equipos mixtos de docentes y capacitadores de GVN, y el quinto por cuenta de los docentes.

c) Actividades mediante las cuales se estaba aplicando en el aula lo aprendido en los talleres. Esta información se obtuvo a través de observación participante y de entrevistas semiestructuradas. (Tabla 6). En términos generales, todos

los que participaron en este estudio incorporaron la lúdica tales como “el baile de la fruta”, “la peregrina saludable”, “el bingo saludable”, “la escalera de la salud”, carteleras saludables, entre otras.

Impacto en los resultados. Los datos de los resultados obtenidos en la medición de este nivel se registraron en la Tabla 6.

Discusión

Los cuatro niveles del modelo Kirpatrick están ordenados de forma que cada uno tiene más valor para la organización que el anterior²⁰, y suponen una relación causal. Este aspecto ha sido uno de los principales blancos de sus críticos, algunos de los cuales cuestionan, además, la presunción de que la formación genere por sí sola cambios en el desempeño o que necesariamente exista correlación entre niveles^21,22,23 .

Phillips²⁴, en cambio, ha reiterado la conveniencia de aislar los impactos de la formación en los resultados de la organización. Siguiendo este planteamiento, en este estudio se intentó establecer una relación causal formación- rendimiento, con relativo éxito. La propuesta de valor del programa GVN fue reconocida por los propios docentes, como una nueva práctica en el ámbito escolar, la cual se ha ido adoptando gradualmente sin que se haya requerido de apoyos especiales adicionales a la formación, tales como motivación laboral, mejoramiento del ámbito escolar u otros factores del entorno que alude Brinkerhoff²⁵. Sin embargo, se observó que al interior del mismo proceso de formación se generaron algunos resultados, que luego funcionaron como factores facilitadores del entorno o que actúan como agente de cambio hacia la adopción de las innovaciones en el aula. Nos referimos a la creación de la red de participantes llamada Uni2Ensalud, que es abierta a la integración de docentes e instituciones educativas de toda Barranquilla, interesados en promover estilos de vida saludables en el ámbito escolar. Así mismo, a la visibilidad que han alcanzado las IED, sus docentes y estudiantes que participaron en GVN, en eventos de salud comunitarios que organiza el gobierno local, o ferias exposiciones de las experiencias realizadas.

Un aspecto para considerar en la aplicación del modelo Kirpatrick, son sus antecedentes de uso incompleto. Si bien es el más utilizado en el mundo, un estudio de 2002²⁶mostró que apenas el 78% de sus usuarios evalúan el nivel 1, mientras solo 38% evalúan el nivel 2, y los niveles 3 y 4 corresponden al 9% y 6%, respectivamente. En una publicación de 2009, del mismo investigador, el nivel 1 había subido al 92%, pero el nivel 2 se redujo a 17.9% y seguían sin mejorar los otros dos niveles subsiguientes²⁷ . Algunas explicaciones documentadas establecen que a medida que la evaluación sube de nivel, el evaluador ve reducir su control del proceso, dado que es más difícil acceder al participante después de la formación²⁸.

En el diseño del plan de capacitación que evalúa este estudio, se consideró que una separación temporal en fases de entrenamiento y de aplicación podría comprometer los productos esperados. Esta decisión tuvo consecuencias en la evaluación, ya que facilitó un mayor control en los niveles y el modelo pudo aplicarse en su totalidad. La formación incluyó sesiones de retroalimentación que permitieron, simultáneamente, el aprendizaje, la aplicación de lo aprendido en las aulas de clases y la evaluación de los resultados en la organización, conforme lo sugieren Dick & King^4,29. En ocasiones, el participante tuvo la oportunidad de manejar la sesión y practicar su oratoria o bien realizaba diversas actividades prácticas, que a la vez se constituyeron en indicadores de evaluación formativa y acumulativa, según la taxonomía de Scriven³⁰ .

En la evaluación de impactos de los resultados en la organización, Nivel 4, el uso del modelo en este estudio mostró que el proceso de formación del programa GVN, estaba generando retornos de la inversión o de las expectativas, dado que los objetivos propuestos se estaban obteniendo, alcanzándose el propósito misional como consecuencia de la actuación de los participantes, ya entrenados, en el ejercicio de su labor profesional; especialmente expresado en la incorporación de la educación nutricional en el aula y el incremento significativo de actividad física, los cuales están apoyados por una serie de eventos escolares, extendiéndose a la vinculación a movimientos locales comunitarios de promoción de estilos de vida saludable y demás actividades relacionadas en la tabla 6.

Al tratar de explicar el impacto de los resultados del programa citados anteriormente, se puede afirmar que fueron consecuencia del alto grado de innovaciones del nivel anterior, tabla 6, reflejadas en los registros de observabilidad y ensayabilidad de los docentes de primaria, en talleres de actividad física y nutrición que hizo GVN, dirigidos directamente a los niños (72.5%), la planificación de otras actividades para su institución (70.0%), y finalmente la transferencia de los nuevos conocimientos a los niños en sus actividades académicas de rutina (61.7%), entre otras; lo cual da cuenta del comportamiento que asumieron los participantes, impactando el nivel 3. En concordancia, la mayoría de los teóricos de la evaluación de la formación tiene un amplio consenso en la relación causal entre los niveles 3 y 4³¹. Sin embargo, las preguntas que saltaron a la vista fueron: ¿cuál fue la causa del comportamiento observado?

¿Hasta dónde fue determinada por los impactos en los niveles 1 y 2? ¿Existieron factores externos a la formación que incidieron con mucha fuerza? Las respuestas no fueron fáciles. De hecho, la relación entre los niveles 1, 2 y 3 es el espacio teórico donde el debate sobre el modelo tiende a polarizarse²⁴.

Algunos autores cuestionan que el aprendizaje (Nivel 2) por sí mismo genere un cambio en el desempeño (Nivel 3)^32,33. Las respuestas obtenidas en las entrevistas semiestructuradas realizadas a los docentes, sobre las razones para dar el paso de adoptar las innovaciones se referían mayoritariamente a que les pareció “beneficioso y perfectamente factible” (82%). Ninguno de los docentes reconoció alguna motivación extrínseca. Sin embargo, en las IED más visitadas por el equipo humano de GVN y por tanto, más expuestas, se observó la mayor tasa de adopción; es decir, el programa no sólo fue formador sino también agente de cambio^{34, 35}. (Esta es una variable para considerar al proyectar la sostenibilidad de las adopciones). Pero también pudo notarse algún liderazgo en el interior de la IED en favor del programa. Otro elemento que pudo incidir, fue el visible interés de las autoridades locales y nacionales en este programa, la visita de especialistas internacionales y el dinamismo con que inició la actividad en redes, razón por la cual los evaluadores sugieren no descartar la posibilidad de que el efecto Hawthorne podría estar contribuyendo significativamente. Estudios posteriores podrían ofrecer mayor precisión a estas asociaciones.

No es menos controversial la relación de causalidad entre la reacción de los participantes (Nivel 1) y los impactos en el aprendizaje (Nivel 2)²⁵. El diseño de la formación de GVN incluyó iniciar con un pretest oral, que tenía el doble propósito de conocer el nivel de conocimiento del grupo frente a los contenidos que se iban a ofrecer, y que sensibilizara y motivara la reflexión conjunta para propiciar algunos niveles de pertenencia³⁶. El plan de formación adoptó el supuesto de que un participante satisfecho, con expectativas positivas frente al programa, tiene alta probabilidad de percibir ventajas relativas, propiciando un mejor aprendizaje y una actitud favorable para aplicar lo aprendido en el sitio de trabajo ³⁷ y que esta condición podría fortalecerse con la autoconfianza que impulsa el aprendizaje^{5,26,30,38,39}. Si bien los impactos observados en los niveles de reacción y de aprendizaje de GVN no refutan ese diseño, sino que efectivamente proclaman la existencia de alguna asociación entre ellos, abordarlo desde una perspectiva de causalidad del comportamiento, es controversial en las ciencias humanas^40,41 Estudios probabilísticos podrían mostrar hasta qué grado, desde la planificación, se puede construir o reforzar una asociación muy sólida entre los niveles de Kirpatrick.

Conclusiones

El estudio permitió ponderar, no sólo hasta dónde la formación impactó el nivel de aprendizaje, sino también cómo este influenció la percepción inicial del docente – según la cual el sobrepeso y la obesidad infantil, era básicamente competencia del sector salud-, para luego adquirir para ellos un significado muy ligado a la formación académica de niños de primaria, y de fácil aplicación.

De esta manera, la experiencia en la aplicación del modelo Kirpatrick en un programa de adopción de innovaciones, mostró que algunas limitaciones en sus supuestos, pueden ser superadas incorporando desde la planeación un enfoque conductual y la generación de entornos favorables como resultado de su propia dinámica.

Finalmente, nuevas publicaciones han sugerido iniciar los procesos de evaluación desde el mismo momento de la planeación de la formación. Para ello plantean utilizarlo analizando los impactos esperados en los niveles, pero al revés; es decir, empezar por los resultados hasta llegar a la satisfacción de los participantes. Con ello se espera obtener un mejor uso y aprovechamiento del modelo.

Referencia

1. Gairín Sallan, J. La Evaluación del Impacto en Programas de Formación REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2010, 8(5):19-43. Disponible en: https://www.redalyc.org/ pdf/551/55119084002.pdf

2. Ramos Azcuy, F. J., Meizoso Valdés, M.C., & Guerra Bretaña, R.M. Instrumento para la evaluación del impacto de la formación académica. Revista Universidad y Sociedad, 2016, 8(2), 114-124. Disponible en: http://scielo.sld.cu/scielo. php?script=sci_abstract&pid=S2218-36202016000200014

3. Hernández-Díaz, J., Paredes-Carbonell, J.J., Marín- Torrens, R. Cómo diseñar talleres para promover la salud en grupos comunitarios. Atención Primaria 2013, 46(1):40- 47. https://doi.org/10.1016/j.aprim.2013.07.006 Disponible en: https://www.sciencedirect.com/science/article/pii/ S021265671300200X.

4. Le Boterf, G. La Gestión por Competencias alcanzadas por la edad. Revista de la Asociación Española de Dirección de Personal. 2005, 33(0):40. Disponible en: https://dialnet. unirioja.es/servlet/articulo?codigo=2411951.

5. Kurt, S. "Kirkpatrick Model: Four Levels of Learning Evaluation," in Educational Technology, 2016. Disponible en: https://educationaltechnology.net/kirkpatrick-model- four-levels-learning-evaluation/.

6. Pineda-Herrero, P. Evaluación del impacto de la formación en las organizaciones. Educar 2000, 27(0):199- 133. Disponible en: https://dialnet.unirioja.es/servlet/ articulo?codigo=82342

7. Mendoza Charris, H., Martínez, L., Pérez Pérez, O., Contreras, L.M., Barbosa Sarabia, V., Ricaurte Rojas, C., et al. Protocolo de intervención para el control metabólico de niños con sobrepeso y obesidad. Programa Generación Vida Nueva, Alcaldía de Barranquilla y World Diabetes Foundation. Editorial Mejoras, 2017, Barranquilla, Colombia. ISBN: 978-958-59722-1-6. Disponible en: www. generacionvidanueva.org.

8. Rogers E. Diffusion of Innovations. Third Edition. The Free Press,1983.

9. Kirpatrick, J. & Kirpatrick, W. An Introduction to the New World Kirkpatrick® Model. Kirkpatrick Partners, 2019. Disponible en: https://www.kirkpatrickpartners.com/ Portals/0/Resources/White%20Papers/Introduction%20 to%20the%20Kirkpatrick%20New%20World%20Model. pdf

10. Biencinto, C. y Carballo, R. Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. Revista Electrónica de Investigación y Evaluación Educativa, RELIEVE, 2004, 10(2):101-116. DOI: https://doi.org/10.7203/ relieve.10.2.4324.

11. Kirkpatrick, D. y Kirkpatrick, J. Evaluación de acciones formativas: los cuatro niveles. Grupo Planeta, 2007.

12. Brinkerhoff, R. The Success Case Method: A Strategic Evaluation Approach to Increasing the Value and Effect of Training. Advances in Developing Human Resources. 2005.

13. Wade, V. Cómo medir el impacto de la formación. Madrid: Editorial Centro de Estudios Ramón Areces S.A., 1998.

14. Kirkpatrick, D. L. Evaluación de acciones formativas: los cuatro niveles. Barcelona: Gestión 2000, 1999.

15. Bates, R. A critical analysis of evaluation practice: The Kirkpatrick model and the principle of beneficence, 2004. Disponible en: http://www.elsevier.com/locate/evalprogplan.

16. Awang, A.H., Ismail, R., & Noor, Z.M. Training impact on Employee’s Job Performance: A Self Evaluation, Economic Research-Ekonomska Istrazivanja, 23(4):78-90. DOI: 10.1080/1331677X.2010.11517434.

17. Rodríguez, J. El modelo Kirkpatrick para la evaluación de la formación. Rev. Capital Humano, 2005, 189(0):16-17.

18. Mendoza Charris, H. Programa Generación Vida Nueva. Convenio WDF15-958. 2015-2018 entre World Diabetes Foundation, Alcaldía de Barranquilla y Fundación Vida Nueva. Disponible en: https://www.worlddiabetesfoundation. org/projects/colombia-wdf15-955.

19. Moreira, M.A. Aprendizaje significativo crítico (Critical meaningful learning). Indivisa. Bol.Estud. Invest. 2005, 6(0):83-102. Disponible en: Moreira, M.A. Aprendizaje significativo crítico (Critical meaningful learning). Indivisa. Bol.Estud. Invest. 2005, 6(0):83-102. Disponible en: https:// www.redalyc.org/pdf/771/77100606.pdf.

20. Phillips J.J. Retourn on investment in Training and Performance improvement programas. 2nd. Ed. Improving Human Performance. Routledge Taylor & Francis Group, Londres y New York. 2003.

21. Holton, E.F., Bates, R.A., & Ruona, W.E.A. Development of a generalized learning transfer system inventory. Human Resource Development Quarterly, 2000,11(4):333-360. https://doi.org/10.1002/1532-1096(200024)11:4<333::AID- HRDQ2>3.0.CO;2-P

22. Estacio, A., Millán, N., Olivera, M., Parra-Torrado, M. Evaluación de impacto de dos programas de formación del SENA: Formación de Técnicos y Tecnólogos y Formación Especializada del Recurso Humano vinculado a las empresas. Working Paper, 2010, 52(01). Disponible en: https://core. ac.uk/download/pdf/6472418.pdf.

23. Gairín-Sallan, J. La Evaluación del Impacto en Programas de Formación. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación REICE, 2010, 8(5). Disponible en: https://revistas.uam.es/reice/article/ view/4724.

24. Phillips J. Source: Training & Development. Document Type: Article 1996.

25. Brinkerhoff, R. The Success Case Method: A Strategic Evaluation Approach to Increasing the Value and Effect of Training. Advances in Developing Human Resources, 2005. https://doi.org/10.1177/1523422304272172

26. Berge, Z., De Verneil, M., Berge, N., Davis, L., Smith, D. The increasing scope of training and development competency. Benchmarking: An International Journal, 2002, 9(1);43-61. DOI:10.1108/14635770210418679.

27. Salas, E., Tanenbaum, SI., Kraiger, K., Smith- Jentsch, A. The Science of Training and Development in Organizations: What Matters in Practice. Psychological Science in the Public Interest, 2012, 13(2):74-101. https:// doi.org/10.1177/1529100612436661

28. Guerra López, I. Evaluación y Mejora Continua: conceptos y herramientas para la medición y mejora del desempeño. AuthorHouse, 2007.

29. Dick W, King D, Formative Evaluation in the Perfomance Context. Performance & Instruction, 1994, 33(9):3-8. https:// doi.org/10.1002/pfi.4160330903

30. Stufflebeam, D. y Schinkfield, A. Evaluación Sistemática. Guía teórica y práctica. Colección Temas de Educación. Barcelona: Paidos. 1985.

31. Guerra López, I. Evaluación Y Mejora Continua: conceptos y herramientas para la medición y mejora del desempeño. AuthorHouse, 2007.

32. Pain, A. Cómo evaluar las acciones de capacitación. Barcelona: Granica,1993.

33. Rae, L. How to measure training effectiveness. Hants, England, Gower, 1986.

34. Sánchez Gómez, J., Rendon Medel, R., Cervantes Escoto, F., López Tirado, Q. El agente de cambio en la adopción de innovaciones en agro empresas ovinas. Rev. Mexicana de Ciencias Pecuarias, 2013, S4(3):305-318. DOI: https://doi. org/10.29312/remexca.v0i15.422.

35. Monge-Pérez, M. & Hartwich, F. Análisis de Redes Sociales aplicado al estudio de los procesos de innovación agrícola Revista hispana para el análisis de redes sociales REDES, 2008, 14(2). Disponible en: https://revistes.uab.cat/ redes/article/view/v14-n1-monge-hartwich/118-html-es.

36. Parra-Robledo, R. & Ruiz-Bueno, C. Evaluación de impacto de los programas formativos: aspectos fundamentales, modelos y perspectivas actuales. Revista Educacion, 2020, 44(2):1-13. DOI 10.15517/REVEDU. V44I2.40281

37. Bandura A. Social Foundations of Thought and Action: A Social Cognitive Theory. Englewood Cliff s, NJ: Prentice- Hall; 1986.

38. Bandura, A., & National Inst of Mental Health. Social foundations of thought and action: a social cognitive theory. Prentice-Hall series in social learning theory. Prentice-Hall, Inc. 1986.

39. Cyert R, March J. The Behavioral Theory of the Firm. En: Miner J. B. Organizational Behavior 2: Essential theories of process and structure. Chapter 4. M.E. Sharpe, 2006.

40. Schwarzer R, Gutiérrez-Doñab B. Modeling Health Behavior Change: How to Predict and Modify the Adoption and Maintenance of Health Behaviors. Applied Psychology. 2008.

41. Grünbaum A. La Causalidad Y La Ciencia De La Conducta Humana. Publicado en R. Ulrich, Stachnick, y J. Mabry (Comp). El control de la conducta humana. (pp. 18- 30), México: Trillas.

42. Marchal L. Una Visión General De La Noción De Causa En Conductismo. Revista Digital De Psicología, 2007, 2 (1) :1 -18. Disponible en: http://www.konradlorenz. edu.co/images/publicaciones/suma_digital_psicologia/1_ causalidad_y_conductismo_laurent_marchal.pdf.

Información adicional

Conflicto de intereses: Se declara que los autores no presentan conflicto de intereses.

Contribución de los autores: Conceptualización y diseño, H.M.CH., C.R.R., S.C.M.M.; Metodología, C.R.R., S.C.M.M L.M.A.P..; Adquisición de datos y Software, C.R.R., S.C.M.M.; Análisis e interpretación de datos, H.M.CH., C.R.R., S.C.M.M., L.M.A.P.; Investigador Principal, H.M.CH., Investigación, C.R.R., S.C.M.M., Redacción del manuscrito— Preparación del borrador original, C.R.R, S.C.M.M., L.M.A.P.; Redacción revisión y edición del manuscrito, H.M.CH, C.R.R., S.C.M.M., L.M.A.P.; Visualización, C.R.R., S.C.M.M.; Supervisión, H.M.CH., C.R.R., S.C.M.M.; Adquisición de fondos, H.M.CH., C.R.R.

Agradecimientos y financiamiento: Agradecemos el apoyo y financiamiento del Convenio número WDF 15-955 entre la World Diabetes Foundation WDF, la Alcaldía de Barranquilla y Fundación Generación Vida Nueva, y de todas las IEDs participantes.