|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
.2012 - Volumen 5, Número 1 (e)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Evaluación de la Innovación: Estudio de un Caso |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
En la actualidad hay presiones de las universidades para demostrar resultados de investigación por una parte y para proporcionar una amplia participación en la educación superior por otra, aunque ambas son opuestas porque la investigación y la docencia parecen estar en competición entre ellas, a nivel institucional y a nivel personal. En el Reino Unido los recursos se destinan fundamentalmente a investigadores con altas puntuaciones en investigación, mientras que los recursos para la docencia no se asignan a puntuaciones altas de calidad, por lo que las instituciones tienden a preferir buena investigación antes que buena docencia (Laurillard, 2004). En España está ocurriendo algo similar: para promocionar a un profesor se tiene en cuenta fundamentalmente su investigación, antes que la calidad de su docencia. El profesor tiene que dividir su tiempo entre la investigación, en la que serán juzgados por sus compañeros, y la docencia, en la que no van a ser evaluados. Evidentemente, esto hace que la investigación gane (Laurillard, 2004). No obstante, la situación va cambiando paulatinamente: en la actualidad se va incrementando la importancia de la docencia en la formación y acreditación del profesorado. Además, la incorporación al EEES ha generado nuevas formas de entender la docencia y la innovación docente. Además, la introducción de las TICs en los procesos de enseñanza-aprendizaje ha generado una plétora de nuevos acercamientos a las formas en que se puede acceder a este proceso. Una de ellas es el Aprendizaje colaborativo, también llamado telecolaboración (Redmon y Lock, 2006). El objetivo es ofrecer a los profesores un espacio en el que puedan diseñar, desarrollar e implementar auténticas experiencias educativas en un contexto local, nacional o internacional, en colaboración con otros educadores. Por otra parte, se ha generado un nuevo contexto de aprendizaje, el aprendizaje mixto (blended-learning), en el que se engrana la presencialidad con actividades semi-presenciales, apoyando la acción del profesor y del alumnado con actividades basadas en el uso de las TICs. Este aprendizaje se configura con la utilización de los entornos virtuales de aprendizaje, basadas en plataformas de diversa índole, desde el mero depósito de materiales hasta plataformas que integran distintas modalidades de interacción didáctica y de aprendizaje, llegando hasta la oferta de cursos y/o titulaciones completas. Estas plataformas, denominadas “campus virtuales” o “aulas virtuales” permiten la integración de materiales generados por los profesores y/o alumnos en mayor o menor grado, dependiendo de la configuración. Entre ellas se encuentran Moodle, WebCT o DotLRN, entre otras. El centro del aprendizaje se va trasladando paulatinamente del profesor al alumno. El énfasis del aprendizaje necesita moverse desde cómo los estudiantes aprenden a de quién aprenden (Redmon y Lock, 2006). Las tecnologías de información y Comunicación (TIC) proporcionan multitud de forums para los estudiantes, profesores, tutores, expertos ara acceder e interactuar con múltiples recursos para dar soporte a la innovación y para proporcionar discusiones dinámicas como parte de una experiencia de aprendizaje rica (Redmon y Lock, 2006). La capacidad para extender el aprendizaje más allá del aula y de crear relaciones permite a los estudiantes construir su aprendizaje a través de su entorno y de sus resultados de aprendizaje individuales (Brown, 2004). Si queremos que la innovación tenga sentido, es necesario que encontremos las formas de trabajar juntos, de que profesores y alumnos estén involucrados en el mismo proyecto. Normalmente en un proyecto puede haber distintos profesores integrados en el mismo. Es necesario que todos participen y alimenten de forma continua el proyecto. De igual forma, la integración del alumno en el sistema de aprendizaje colaborativo on line es fundamental para que no pierda su interés y lo abandone a los pocos días. Por ello, es necesario establecer una serie de incentivos que hagan que la participación tanto de profesores como de alumnos no decaiga durante el proceso. Es importante recordar que el alumno en general se olvidará del proyecto una vez finalizado el módulo, por lo que este interés y su colaboración han de ser establecidos desde el primer momento. El aprendizaje colaborativo on line puede fallar o las personas que participan sentirse a disgusto con la experiencia si no se presta atención a distintos factores humanos y logísticos. Los elementos críticos para este tipo de experiencia es ser proactivos y flexibles en la planificación, anticipar los retos y desarrollar una comunicación clara entre los participantes (Redmon y Lock, 2006). Hay tres áreas en las que puede fallar esta colaboración en línea: el contexto, la planificación y la logística (Harris, 2000). El término Recursos Educativos Abiertos (REA) se utiliza para referirse a “materiales digitales ofrecidos libremente y de forma abierta para educadores, estudiantes y autodidactas con la finalidad de que puedan ser utilizados y reutilizados en la enseñanza, el aprendizaje y la investigación” (OECD, 2007: 30). El término Objetos de Aprendizaje aparece para referirse a cualquier material que pueda ser utilizado para facilitar el aprendizaje. Los Objetos de aprendizaje presentan una serie de características (MEC, 2010):
Villar (2010) recoge tres aspectos de los OA:
Esto permite la realización de los Módulos de aprendizaje o Secuencias didácticas. En una Secuencia Didáctica es un proceso completo de enseñanza/aprendizaje con los siguientes pasos:
Para su diseño, podemos definir las siguientes características:
1. DESARROLLO 1.1. Evaluación de la innovación A pesar de la amplia utilización de los entornos de aprendizaje basados en web existe una escasa investigación relacionada con los aspectos relacionados con la evaluación del aprendizaje basado en estos entornos. Es importante establecer la usabilidad de estos entornos y su efectividad para alcanzar los objetivos educativos. Los campos en los que actualmente se están realizando proyectos de innovación educativa son muy variados: Economía, Derecho, Didáctica, Química, Antropología, Estomatología, Pedagogía, Filología, Medicina, Psicología, Informática, etc. Los ámbitos en los que se está trabajando son las competencias, la coordinación interdepartamental, las tutorías, las TIC, los idiomas, entre otros. Respecto a las metodologías se utilizan aprendizaje basado en proyectos, el aprendizaje cooperativo, las prácticas on line, las demostraciones experimentales, el autoaprendizaje, etc. Los materiales que se utilizan son muy diversos, y van desde material multimedia, vídeos como recurso educativo, pizarras digitales, etc. Los niveles en los que se está aplicando proyectos de innovación van desde preescolar al nivel Universitario, con distintas convocatorias a nivel autonómico o estatal en función de los niveles. Respecto a tipos de evaluación que se utilizan en los proyectos, se encuentran Evaluación de errores conceptuales y metodológicos, diseño y validación de cuestionarios sobre competencias, gestión de evaluación y calificaciones, y se utilizan distintos acercamientos: ítems abiertos, ítems de alternativas, cuestionarios, etc. Se debe tener en cuenta que esta evaluación ya no puede circunscribirse al ámbito de pruebas escritas, sino que debe tener en cuenta instrumentos más complejos y de mayor variedad, debe ser una oportunidad de aprendizaje y ser utilizada para promover las competencias en todos los estudiantes y no únicamente centrarse en seleccionar a los que las poseen, utilizar diversos instrumentos e implicar distintos agentes, ha de ser coherente con el resto de elementos del diseño formativo, a la par que estar integrada en el mismo; debería ser capaz de hacer conscientes a los estudiantes de su nivel de competencias y de los puntos fuertes y débiles para enfrentarse a situaciones de aprendizaje futuras. En este sentido, el aprendizaje a lo largo de la vida se conforma como una competencia fundamental (Cano, 2008). Se han propuesto distintos acercamientos para la evaluación de los Objetos de Aprendizaje (Ruiz, Muñoz y Alvarez, 2007; Morales et al, 2005). Sheard y Markham (2005) presentan una metodología general para evaluar sistemas complejos especialmente apropiados para sistemas de aprendizaje en red. El sistema MERLOT presenta tres dimensiones de evaluación: calidad del contenido, potencial de efectividad como herramienta de enseñanza-aprendizaje y facilidad de uso. El sistema LORI (Learning Object Review Instrument), incluye 9 variables:
Cada una de ellas con 5 posibles valores. Morales et al (2005) utilizan los siguientes criterios de evaluación: Categoría didáctico – curricular, Categoría técnica-estética y categoría funcional.
Los criterios que deberían tenerse en cuenta para evaluar los medios para la adaptación del recurso al contexto educativo concreto los definen García Valcarcel y Tejedor (2009), que distinguen las dimensiones fundamentales para analizar la calidad de un recurso tecnológico para la enseñanza: Contenidos, Facilitación de la comprensión y el aprendizaje, Nivel de interactividad y adaptabilidad del estudiante y aspectos técnicos y estéticos, además de considerar las características específicas de cada medio, teniendo en cuenta que cada medio tiene su propio lenguaje. También señalan que:
Tabla 1. Tipos y estrategias para la evaluación de medios didácticos
En cuanto a los instrumentos, se puede utilizar cuestionarios y escalas de opinión y valoración, entrevistas con distinto grado de estructuración, pruebas de recuerdo de información, observaciones, grabaciones, escalas de actitudes, diferenciales semántico, grupos de discusión, etc. (García Valcárcel y Tejedor, 2009). 1.2. InnovaMIDE En este trabajo presentamos la experiencia inicial del Grupo de Innovación Docente InnovaMIDE, con nº de referencia GID93/2009, se forma para la elaboración del proyecto “Elaboración y evaluación de materiales para unidades instrumentales de formación”, de acuerdo con la Resolución de 5 de junio de 2009 del Vicerectorat de Convergència Europea i Qualitat de la Universitat de València. En el curso 2010-2011 le ha sido concedida el proyecto para realizar la segunda fase, de acuerdo con la Resolución de 19 de julio de 2010 del Vicerector de Planificació i Igualtat de la Universitat de València. En el grupo de innovación educativa se integran el Grupo de Evaluación y Medición{1} (GEM) y la Unidad de Tecnología Educativa{2}(UTE), ambos integrados en el Departamento de Métodos de Investigación y Diagnóstico en Educación{3} de la Universitat de València. En general, un grado está compuesto de distintas asignaturas y materias que, unidas, conforman la titulación. Cada una de estas materias y asignaturas contiene temas, objetivos, contenidos… y materiales docentes para facilitar el proceso de enseñanza-aprendizaje. Estos materiales habitualmente los realiza el profesor de cada materia o asignatura, pudiendo darse el caso de que para la misma materia impartida por dos profesores se elabora material distinto, tanto en su formato como en sus objetivos. Dentro de un mismo tipo de materias, puede haber temas relacionados que se expliquen en una de las materias y que sean referenciados o ampliados en otras. Esto hace que el mismo tema pueda tener tantos materiales y puntos de vista como profesores lo imparten, implicando una multiplicidad de recursos… aunque también una duplicidad de recursos, tanto materiales como de tiempo y dedicación. La idea de este proyecto es el establecimiento de un espacio colaborativo, en el que los profesores que quieran participar puedan implementar materiales, esquemas, etc. que hayan sido previamente evaluados y verificados. Pongamos un ejemplo: supongamos una materia en la que se imparte los conceptos relacionados con la curva normal, sus propiedades y aplicaciones. En otra materia se está impartiendo un tema relacionado con las puntuaciones típicas, por lo que el profesor –y sus alumnos- repasan los conceptos relacionados con la Curva Normal. En otra materia se está estudiando los niveles de significación para una prueba estadística, por lo que se tiene que repasar los contenidos relacionados con la curva normal. En una situación de aprendizaje secuenciado esto sería fácil de solventar, refiriendo a los alumnos a los contenidos impartidos en la materia inicial, no obstante, la realidad y nuestra experiencia nos indica que entre las materias puede haber uno, dos o más años, y que los alumnos no recuerden con precisión los conceptos iniciales. Esto se puede solucionar mediante la creación de este espacio colaborativo en el que a modo de could-computing se compartan estos materiales, en el que puede haber desde videos explicativos hasta trabajos que los alumnos hayan puesto como referencia de ayuda a sus compañeros. Está previsto que estos materiales formen parte del Repositorio de la UV Roderic. 1.3. Objetivos El objetivo final del proyecto es aportar procedimientos e instrumentos que permitan al profesorado universitario disponer de las bases para diseñar, elaborar, implementar y evaluar unidades de aprendizaje independientes para el aprendizaje de los estudiantes, desde una perspectiva de espacio colaborativo en el que puedan participar tanto profesores de una o distintas universidades como alumnos.
En la primera fase se han elaborado una serie de materiales que, entendidos como Objetos de Aprendizaje independientes, pueden ser implementados en Unidades de Aprendizaje o posteriormente en Módulos de Aprendizaje que faciliten al estudiante el acceso a esos contenidos en función de sus necesidades. Así, el uso de estos OA puede ser:
Las fases en el proyecto son las siguientes:
Figura 4. Esquema del proceso La elaboración de los materiales ha seguido un proceso cíclico, desarrollado según el siguiente esquema:
Una vez finalizado el ciclo, vuelve a empezar de nuevo el proceso. Esto permite la adecuación constante de los OA al contexto en el que se implementan, a la vez que facilita la identificación y depuración de errores, tanto del material en sí como del proceso. Figuras 5 y 6. Ejemplos de vídeos utilizados El software con el que se elaboran los materiales es fundamentalmente freeware y openware, utilizando herramientas como Wink u OpenOffice. Los formatos utilizados han sido fundamentalmente videos (AVI, mpg), presentaciones Flash, documentos en formato pdf, documentos de texto, hojas de cálculo, etc. En esta primera etapa se están elaborando materiales sobre utilización de procedimientos sobre SPSS y Estadística Aplicada. En Innovamide se ha realizado una primera evaluación de carácter exploratorio, para ver el grado de aceptación y uso de los materiales generados por parte de los estudiantes. Esta evaluación inicial se ha generado en base a un cuestionario.
1.4. Metodología El cuestionario se ha pasado{4} a 56 estudiantes de la Licenciatura de Pedagogía, de la materia Medición Educativa, de 5º curso, de los cuales 2 fueron hombres y 54 mujeres. Respecto a la edad, son mayoritariamente alumnos y alumnas entre 20 y 24 años, lo que representa el 86% de la muestra. Por sexo, hay una absoluta mayoría de mujeres (94.7%). Tabla 2. Distribución de la muestra por edad
Nivel de utilización: Se pregunta a los alumnos cuántas veces ha visitado la página web de la asignatura durante el cuatrimestre. Los resultados señalan que un 45.6% la han visitado más de 8 veces. El nivel de utilización de la página es elevado, considerando que si agrupamos las respuestas de los alumnos que la han visitado más de 4 veces representa el 94%, como podemos apreciar en la tabla 3. Tabla 3 y figura 8. Distribución de frecuencias de la pregunta
En la pregunta ¿Por qué motivo/s has visitado los materiales, los motivos más elegidos han sido para recopilar información, para estudiar y para preparar los exámenes, siendo las categorías de respuesta no exclusivas. Figura 9. Ejemplo de resultados para el ítem 7 En cuanto al nivel de satisfacción general con los materiales, el 97% de los estudiantes afirma estar Satisfecho con los mismos, y un 5% Completamente satisfecho. Esto implica un nivel de satisfacción del 100% de las respuestas, contemplando los dos niveles de satisfacción unidos. Tabla 4 y figura 10 Resultados de Nivel de satisfacción Tabla 5. Resultados de Nivel de utilización
Respecto a la facilidad de utilización, la mayoría encuentran fácil o muy fácil su utilización, excepto en los ejercicios en los que el nivel de difícil asciende al 24% -ver tabla 6-. Tabla 6. Resultados de Facilidad de utilización
Respecto al motivo por el que han visitado los materiales, la mayoría lo ha hecho para recopilar información (66%), para estudiar (66%) y para preparar los exámenes (64%), siendo muy pocos los que lo han hecho por curiosidad o para otros motivos (2%). Esto redunda en el carácter de apoyo de los materiales elaborados y en su utilidad para el refuerzo de los estudiantes. Tabla 7. Resultados para motivos para visitar los materiales
En cuanto a la valoración de la utilidad, encontramos que los estudiantes indican que los materiales son útiles o muy útiles, Tabla 8. Estadísticos descriptivos de Valoración de la utilidad
Tabla 9. Porcentajes de respuesta a la pregunta “Valoración de la utilidad”
La pregunta “¿Cuál es el grado de importancia para tí de cada una de las siguientes características de los materiales de apoyo?” Tenía como objetivo identificar qué aspectos consideraban más importantes los estudiantes sobre las características que deben tener los materiales. Tabla 10. Estadísticos descriptivos de la pregunta “¿Cuál es el grado de importancia para tí de cada una de las siguientes características de los materiales de apoyo?”
Según se comprueba en la tabla xx, el aspecto mejor valorado es el de la calidad de los contenidos (Med= 3.69), junto con la facilidad de uso (Med= 3.65) y la actualización de los mismos (Med= 3.54). El aspecto que consideran como menos importante es el diseño atractivo (Med= 2.80). Tabla 11. Porcentajes de respuesta a la pregunta “¿Cuál es el grado de importancia para tí de cada una de las siguientes características de los materiales de apoyo?”
Respecto a la pregunta “Basándote en tu experiencia en la utilización de los materiales, puntúa los siguientes aspectos”, los resultados indican que los aspectos mejor considerados son la facilidad de uso (med= 3.38), calidad de los contenidos (med= 3.34), variedad de los contenidos (med= 3.25). Tabla 12. Estadísticos descriptivos de la pregunta “Basándote en tu experiencia en la utilización de los materiales, puntúa los siguientes aspectos”
Tabla 13. Porcentajes de respuesta a la pregunta “Basándote en tu experiencia en la utilización de los materiales, puntúa los siguientes aspectos”
De igual forma, considerando los porcentajes de respuesta, en general consideran como Buenos o muy buenos los aspectos considerados, excepto en el apartado de rapidez de descarga de las páginas, en la que es regular el 26%. Esto puede ser debido a los distintos tipos de acceso a internet que se utilizan, desde ADSL a conexiones telefónicas. Además, se han incluido algunos ítems abiertos, para poder identificar algunos aspectos no recogidos en las preguntas anteriores. Algunos ejemplos de respuestas a preguntas abiertas: 14. ¿Qué aspectos te han ayudado más de los materiales?: Los vídeos, materiales bien estructurados, facilidad en la búsqueda, número de ejemplos, el formulario, los ejercicios y los contenidos, todo, la aplicación práctica de la teoría, disponibilidad, la plantilla. 15. ¿Qué es lo que menos te gusta de los materiales?: No destacaría nada, la plantilla porque es algo compleja, poner más ejercicios resueltos, las fórmulas, las definiciones que son muy complejas por su lenguaje técnico, su extensión, problemas de conexión, el SPSS. 16. Aspectos que pueden ayudar a mejorar los materiales:Más ejemplos resueltos, mejorar el diseño, ejercicios por partes, mayor rapidez de descarga… 17. Valoración global de los materiales: En general, se obtienen buenas valoraciones por parte de los estudiantes. 2. CONCLUSIONES En primer lugar, debemos tener en cuenta el carácter exploratorio de la evaluación realizada, destinada a identificar el nivel de uso y la percepción de la utilidad por parte de los estudiantes. La experiencia ha sido en general muy satisfactoria. Los alumnos han contestado de forma muy positiva a las preguntas realizadas, y según estas respuestas sabemos que los materiales se han utilizado para preparar la materia, lo que refuerza el énfasis en su elaboración.
Por otra parte, las desventajas que hemos encontrado se ennumeran a continuación:
Finalmente, encontramos las siguientes cuestiones a tener en cuenta:
Esta experiencia nos ha servido además para evaluar al profesorado en cuanto a su actualización en la implementación de los materiales, en su elaboración, evaluación y en general para identificar el potencial de colaboración grupal. En la actualidad se está realizando la autoevaluación de los materiales para posteriormente evaluarlos por expertos externos. Los materiales evaluados positivamente formarán parte del repositorio de la Universitat de València.
REFERENCIAS BIBLIOGRÁFICAS Biggs, J. (2008). Calidad del aprendizaje universitario. Madrid: Narcea (3ª ed.). Brown, K. (2004). Technology: Building interaction. TechTrends, 48(5), 34−36. Brown, S. y Glasner, A. (Eds.)(2007). Evaluar en la Universidad. Madrid: Narcea (2ª ed.). García Valcarcel, A. y Tejedor, J. (2009). Evaluación de medios didácticos y proyectos TIC. En J. De Pablos (Coord.): Tecnología Educativa. La formación del profesorado en la era de Internet. Málaga: Ediciones Aljibe. Harris, J. (2000–01). Structuring internet-enriched learning spaces for understanding and action. Learning and Leading with Technology, 28(4), 50−55. Laurillard, D. (2002). Rethinking teaching for the knowledge society. Educause Review, 16–25 (Consultado 1/6/2010, desde http://www.educause.edu/ir/library/pdf/erm0201.pdf ). Ministerio de Educación : Proyecto PI. Pizarra Digital Interactiva. Objetos de Aprendizaje. Disponible en: http://static.slidesharecdn.com/swf/ssplayer2.swf?doc=descartespi20-101020113330-phpapp01&stripped_title=descartes-pi-20&userName=fernandoposada MERLOT. Multimedia Educational Resources for Learning and Online Teaching, http://merlot.org Morales, E.; García, F.J.; Barrón, A.; Berlanga, A.J. y López, C. (2005) Propuesta de Evaluación de Objetos de Aprendizaje. Simposio Pluridisciplinar sobre diseño, evaluación y descripción de contenidos educativos reutilizables (SPDECE). Barcelona, 19 al 21 de octubre. Disponible en: www.uoc.edu/symposia/spdece05/pdf/ID06.pdf Nesbit, J., Belfer, K., Leacock, T. (2010). Learning Object Review Instrument (LORI) User. Manual E-Learning Research and Assessment Network Redmon, P. y Lock, J.V. (2006). A flexible framework for online collaborative learning. Internet and Higher Education, 9, 267-276. Ruiz, R.E.; Muñoz, J. y Alvarez, F.J. (2007). Evaluación de Objetos de Aprendizaje a través del aseguramiento de competencias educativas. Virtual Educa. Disponible on line en: http://e-spacio.uned.es/fez/view.php?pid=bibliuned:19233 Salinas, J.; Pérez, A. y de Benito, B. (2008). Metodologías centradas en el alumno para el aprendizaje en red. Madrid: Síntesis.
{1} Grupo de Evaluación y Medición http://www.uv.es/gem {2} Unidad de Tecnología Educativa http://ute.uv.es/ute {3} http://www.uv.es/mide {4}powered by encuestafacil y Universia. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||