Has probado algo nuevo en tu módulo: una rúbrica distinta, un proyecto, un cambio de calendario. ¿Ha servido? Evaluar el impacto es responder a esa pregunta con datos y no solo con la impresión de que «ha ido bien». Es lo que separa una innovación que se mantiene porque funciona de una que se abandona o se repite por inercia. Este artículo propone un método sencillo para planificar la evaluación antes de empezar, elegir indicadores, comparar, interpretar y decidir qué hacer. Continúa Investigar e innovar en tu aula y usa lo visto en Investigar en educación.
9.1 Qué es el impacto, y qué no
- Resultados inmediatos: lo que ocurre durante la innovación (participación, satisfacción, entregas).
- Impacto: el cambio que se mantiene en lo que importa: aprendizaje, abandono, empleabilidad, práctica docente.
- No es impacto que la actividad «guste» o que se haya hecho. Una actividad muy valorada puede no enseñar más; y una poco vistosa puede ser muy eficaz.
- Proceso y resultado: evaluar el impacto exige mirar ambos: si se aplicó como se pensó y qué cambió. Si no se aplicó bien, un resultado flojo no dice nada sobre la idea.
9.2 Primero, la teoría del cambio
Antes de recoger datos, escribe en pocas líneas por qué crees que funcionará. Un esquema muy usado es el modelo lógico (W. K. Kellogg Foundation, 2004), con estas columnas:
| Qué pongo | Qué hago | Qué produzco | Qué cambia a corto plazo | Qué cambia a largo plazo |
|---|---|---|---|---|
| Tiempo, material, formación | Rúbricas y retroalimentación en cada práctica | Prácticas devueltas con comentarios | El alumnado corrige antes de la siguiente entrega | Mejora de la nota en el criterio y menos abandono |
Escribir esto te obliga a concretar qué esperas que cambie y, por tanto, qué medir.
9.3 Niveles de evaluación
Un marco clásico de evaluación de acciones formativas distingue cuatro niveles (Kirkpatrick y Kirkpatrick, 2006): reacción (qué les ha parecido), aprendizaje (qué han aprendido), conducta (si lo aplican) y resultados (efecto final en la organización). Guskey (2000) lo aplicó a la formación del profesorado añadiendo el apoyo del entorno y centrando la evaluación en lo que cambia en el aula. Sirve para recordar que medir solo la satisfacción no basta.
| Nivel | Pregunta | Ejemplo en un ciclo |
|---|---|---|
| Reacción | ¿Cómo lo han vivido? | Encuesta breve al final de la unidad |
| Aprendizaje | ¿Han aprendido más o mejor? | Notas en los criterios de evaluación trabajados |
| Aplicación | ¿Lo usan después? | Calidad de las prácticas en la FCT, uso del procedimiento en el taller |
| Resultados | ¿Cambia algo en el conjunto? | Tasa de abandono, de titulación o de inserción |
9.4 Elegir indicadores
Un indicador es algo medible que muestra si el cambio ocurre. Un buen indicador es:
- Relacionado con lo que quieres cambiar.
- Medible con datos que puedes conseguir.
- Comparable en el tiempo o entre grupos.
- Limitado en número: tres o cuatro bien elegidos valen más que veinte.
| Objetivo | Indicador posible |
|---|---|
| Mejorar el aprendizaje de un criterio | Nota media del grupo en ese criterio; porcentaje que supera el mínimo |
| Reducir el abandono | Porcentaje de alumnado que sigue matriculado a final de curso |
| Mejorar la entrega de tareas | Porcentaje de entregas a tiempo |
| Mejorar la práctica en empresa | Valoración del tutor de empresa en las competencias trabajadas |
| Cambiar tu práctica docente | Registro de cuántas veces das retroalimentación individual por unidad |
Combina un indicador cuantitativo con uno cualitativo (por ejemplo, una nota y tres entrevistas breves) para entender el porqué de los números (Diseños de investigación).
9.5 Con qué comparar
Medir una vez después no dice nada: hace falta un punto de comparación.
- Antes y después: mide el indicador antes de empezar (la línea base) y después. Es lo más sencillo, pero otras cosas pudieron cambiar entre medias.
- Con otro grupo: compara con un grupo parecido que no aplicó el cambio, o con el curso anterior. Cuidado con diferencias de nivel de partida.
- Con una referencia: media del centro, del ciclo o de otros centros, si hay datos.
- Qué más pudo influir: anota todo lo que cambió a la vez (profesorado, horario, tipo de alumnado) para no atribuir a la innovación lo que no es suyo.
Una guía práctica pensada para que el profesorado evalúe sus propias iniciativas recomienda, entre otras cosas, definir antes qué se espera, medir antes y después y ser prudente con las conclusiones (Coe et al., 2013).
9.6 Interpretar con prudencia
- Una diferencia pequeña con un grupo pequeño no prueba nada (Estadística básica para el aula).
- Correlación no es causa: si el grupo mejoró, puede deberse a la innovación o a otra cosa.
- Mira a quién ayuda: una media que sube puede esconder que a una parte del alumnado le fue peor.
- Contrasta con la voz del alumnado y de otros docentes.
- Cuenta los límites sin esconderlos.
9.7 Coste, tiempo y sostenibilidad
Una innovación que funciona pero no se puede mantener no sirve. Pregunta:
- ¿Cuánto tiempo me ha costado y me costará cada curso?
- ¿Qué recursos necesita (equipos, licencias, formación)?
- ¿Depende de una sola persona o puede seguir si cambia el profesorado?
- ¿Se puede extender a otros grupos o módulos? ¿Qué habría que cambiar?
9.8 Decidir y comunicar
Con los datos, decide una de tres cosas:
- Continuar tal cual, porque funciona y es sostenible.
- Ajustar: mantener la idea y cambiar lo que falló (el material, el tiempo, el modo de aplicar).
- Abandonar: si no aporta o cuesta demasiado. Es una decisión legítima y útil.
Después, cuéntalo:
- Al departamento y a la dirección, con una ficha breve: qué se hizo, qué se midió, qué resultó y qué se propone.
- En los documentos del centro, como la memoria anual (El centro por dentro), para que quede constancia y pueda aprovecharse.
- Fuera del centro, si es interesante, en jornadas o publicaciones (Dar a conocer lo que investigas).
La mejora continua de los ciclos formativos se apoya en marcos europeos de garantía de calidad con indicadores propios (Reconocimiento europeo: EQF, Europass y EQAVET); la evaluación de impacto de tu innovación se puede conectar con ellos.
En resumen
- El impacto es el cambio que se mantiene en lo que importa, no que la actividad guste o se haya hecho.
- Empieza escribiendo la teoría del cambio: qué haces, qué esperas que cambie y por qué.
- Evalúa en varios niveles: reacción, aprendizaje, aplicación y resultados; medir solo satisfacción no basta.
- Elige pocos indicadores relacionados, medibles y comparables, y combina datos cuantitativos y cualitativos.
- Compara: con la situación anterior, con otro grupo o con una referencia, y anota qué más cambió.
- Interpreta con prudencia y cuenta los límites.
- Considera coste, tiempo y sostenibilidad, y decide: continuar, ajustar o abandonar.
Referencias
Coe, R., Kime, S., Nevill, C., & Coleman, R. (2013). The DIY evaluation guide. Education Endowment Foundation.
Guskey, T. R. (2000). Evaluating professional development. Corwin Press.
Kirkpatrick, D. L., & Kirkpatrick, J. D. (2006). Evaluating training programs: The four levels (3.ª ed.). Berrett-Koehler.
W. K. Kellogg Foundation. (2004). Logic model development guide: Using logic models to bring together planning, evaluation, and action. W. K. Kellogg Foundation.
