1. INTRODUCCIÓN
Las oportunidades de aprendizaje (ODA) fueron planteadas inicialmente como tema de investigación en los estudios de la IEA{1}, de forma que se pudiera contribuir desde el lado pedagógico a dar un marco explicativo a los resultados de pruebas internacionales de rendimiento estudiantil (Mc Donnell, 1995). El concepto alude principalmente al nivel en el cual los estudiantes han sido expuestos en el aula a los temas que se incluyen en la evaluación. Así, las oportunidades de aprendizaje deberían tener un poder explicativo significativo del rendimiento (a mayores ODA, mayor rendimiento). Por ejemplo, el modelo de la IEA para el estudio original de TIMSS{2} incluyó un análisis de ODA a diferentes niveles del currículo: intencional (prescrito en los documentos oficiales; en el Perú por ejemplo es el currículo oficial, que tiene carácter nacional), implementado (trabajado en el aula) y logrado o aprendido (tal como se pudiera demostrar a través de los resultados en las pruebas de rendimiento; ver Schmidt et al, 1996). Hay estudios que confirman la asociación positiva entre ODA y rendimiento escolar en el Perú (Galindo, 2002, y Zambrano, 2002) y en Argentina (Cervini, 2001). El estudio de las ODA es importante conceptualmente porque trasciende los modelos tradicionales de insumo y producto educativo. Así, por ejemplo, un estudio tradicional de funciones de producción educativa incluiría en el análisis solamente si el estudiante cuenta con textos para trabajar. Pero de hecho, tratar los textos escolares como una dummy (tener=1, no tener=0) ignora que existe una alta variabilidad entre textos escolares (ver por ejemplo Valverde et al, 2002). Así, la propuesta conceptual al incorporar ODA al análisis es que para poder explicar el rendimiento es importante no solamente incluir los insumos educativos sino también la calidad de estos, así como la intensidad y forma en que son trabajados con los estudiantes y docentes en el aula.
Para estudiar las ODA la investigación internacional se ha basado principalmente en cuestionarios aplicados a los docentes. Estos cuestionarios son de diferente forma pero en general incluyen preguntas sobre los temas del currículo cubiertos durante el año, así como la cantidad de días o semanas en que fue tratado cada tema. Sin embargo, estos cuestionarios podrían estar escondiendo algunos niveles de deseabilidad social de los docentes, que podrían reportar haber hecho más de lo que realmente hicieron, o tendrían algunos problemas de autoreporte clásicos de la literatura (por ejemplo distorsiones de la memoria sobre lo trabajado). Algunos estudios han usado métodos más directos y objetivos para medir oportunidades de aprendizaje, como por ejemplo evaluar la calidad de las tareas resueltas por los estudiantes (Newmann et al., 2001).
En el presente estudio se reportan los resultados de tres estudios sobre oportunidades de aprendizaje y rendimiento. Los tres usaron una metodología novedosa para medir ODA, como es su determinación a partir de los ejercicios resueltos en una muestra de cuadernos y cuadernos de trabajo (v. gr. textos con espacios en blanco para que los estudiantes completen su respuesta) recogidos de salones diversos al finalizar el año escolar (al tiempo que se administraban las pruebas de rendimiento sobre las mismas áreas del currículo). La unidad de análisis en los tres estudios fue el ejercicio (v. gr. las preguntas que requerían ser contestadas por los estudiantes de manera escrita).
Cada ejercicio fue clasificado en cuatro categorías de análisis: 1) Cobertura curricular: número de ejercicios resueltos por cada competencia del currículo vigente. 2) Demanda cognoscitiva: nivel de profundidad de análisis requerido implícitamente por el ejercicio para su solución (que no es lo mismo que nivel de dificultad del ejercicio; por ejemplo, un ejercicio matemático puede ser difícil al requerir muchas operaciones sucesivas pero de poca demanda cognoscitiva si todas estas fueran rutinarias). 3) Retroalimentación dada por el docente: comentarios o calificativos escritos por el docente de aula en cada ejercicio, ya sea de manera grupal para un conjunto de ejercicios o individual para un ejercicio en particular (se codificó además si la retroalimentación era correcta o incorrecta). 4) Porcentaje de ejercicios correctos.
Esta metodología fue desarrollada y refinada por el equipo de investigadores en los estudios sucesivos, pero en lo fundamental el método se mantuvo. A continuación un breve resumen de los tres estudios y sus resultados.
2. ESTUDIO 1: ODA Y RENDIMIENTO EN MATEMÁTICA EN 6ºGRADO DE PRIMARIA
(Cueto et al., 2003)
El diseño de este estudio incluyó pruebas de rendimiento a finales del año escolar solamente; la prueba que se usó para el análisis fue la administrada por el Ministerio de Educación el año 2001. Se recolectaron los cuadernos y cuadernos de trabajo de los dos mejores estudiantes de cada aula, identificados por el docente responsable, bajo el supuesto que la unión de estos daría el máximo de ODA disponible en el salón de clases. Los cuadernos de trabajo analizados fueron los repartidos gratuitamente por el Ministerio de Educación, aunque hubo algunos cuadernos de trabajo en algunas aulas, por lo general las de estudiantes con mayor poder adquisitivo, que no fueron analizados.
Como en los otros dos estudios, también se incluyeron cuestionarios a estudiantes, docentes, directores y padres de familia, de modo que se tuvieran algunos datos de contexto que pudieran ser incluidos en el análisis explicativo. Se incluyeron 22 escuelas primaria del departamento de Lima: 15 polidocentes completas, es decir donde cada aula está formada por estudiantes de un mismo grado, y 7 multigrado, es decir donde los estudiantes de diferentes grados compartían el aula y el docente. En general los estudiantes de escuelas polidocentes completas mostraron mayores indicadores de nivel socioeconómico, como mayor número de bienes en el hogar y menor probabilidad de trabajar, que los estudiantes de escuelas multigrado. Las escuelas polidocentes completas estaban en zonas urbanas y las multigrado en áreas rurales.
El análisis descriptivo mostró que la mayor parte de ejercicios resueltos correspondían al tema de números y numeración , seguido de geometría, estadística y medición. También se encontraron ejercicios que no correspondían al currículo del grado (ya sea porque eran de grados anteriores, posteriores o de currículos que no estaban vigentes). En promedio, solo 44% de los ejercicios disponibles en los cuadernos de trabajo contaban con respuesta. Esto es importante pues el cuaderno de trabajo no se puede volver a utilizar luego de finalizado un año escolar. Se encontró mayor número de ejercicios resueltos en las escuelas polidocentes completas (que, como se dijo antes, alojaban a estudiantes urbanos de mayor nivel socioeconómico). En cuanto a demanda cognoscitiva, en los dos tipos de escuela se encontró un predominio de ejercicios de baja complejidad (que requerían solamente memorizar definiciones o aplicar procedimientos de manera mecánica). Estos dos niveles significaron en promedio más del 90% de los ejercicios resueltos por los estudiantes. Así, se encontraron en los materiales de los estudiantes cientos de ejercicios de operaciones con números, sin ningún texto, solamente una indicación para operar. En cuanto a porcentaje de ejercicios correctos, en total 76% de los ejercicios tenían una respuesta correcta. Hubo diferencias a favor de los estudiantes en escuelas polidocentes completas. Finalmente, en cuanto a retroalimentación, en promedio 37% de los ejercicios tenían comentarios, aunque esto era nuevamente más probable en las escuelas polidocentes completas.
La última parte del análisis incluyó las ODA como variables explicativas de rendimiento. Para ello se utilizó un modelo de análisis jerárquico multinivel (HLM por sus siglas en inglés). Las ODA fueron incluidas a nivel de aula; en cobertura se usó el número promedio total de ejercicios desarrollados en cuadernos y cuadernos de trabajo; en demanda cognoscitiva se usó el nivel promedio del aula (en una escala de 1 al 4, de acuerdo a la taxonomía utilizada en el estudio); para retroalimentación se usó el porcentaje de ejercicios con respuestas buenas o malas que tuvieron comentarios correctos por parte de los docentes. Finalmente se usó una variable global de ODA que combinaba las anteriores (creada mediante el análisis factorial). Cada una de las anteriores se incluyó en un modelo separado para evitar problemas de multicolinealidad. También se controló por otras variables a nivel individual y de aula. La variable dependiente fue el puntaje global en matemática en la prueba del Ministerio de Educación. Los resultados fueron estadísticamente significativos y positivos para demanda cognoscitiva (p<0.05), retroalimentación correcta (p<0.05) y el factorial de ODA (p<0.01). Estos resultados son comentados globalmente más adelante.
3. ESTUDIO 2: ODA Y RENDIMIENTO EN MATEMÁTICA EN 3ER Y 4° GRADO
(Cueto et al., 2004)
El diseño de este estudio incluyó pruebas de rendimiento paralelas tomadas a inicios y fines del mismo año escolar (las pruebas fueron desarrolladas por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación para su primera evaluación; ver LLECE, 1998). Los cuadernos y cuadernos de trabajo fueron recogidos de los dos estudiantes de mayor rendimiento y los dos de menor rendimiento, de modo que se pudiera tener una idea no solo de las oportunidades de rendimiento máximas en el salón sino también la variabilidad al interior del mismo). También se recogieron datos de diverso tipo de los estudiantes y las escuelas. El estudio fue parte de una investigación comparativa internacional sobre eficacia escolar (Murillo, 2007), aunque solo en el Perú se recogieron datos de ODA. Se incluyeron estudiantes de 20 escuelas públicas polidocentes completas de Lima y Ayacucho. Para cada escuela se tomaron todos los salones de los grados en estudio, hasta un máximo de 5 en tercer grado y 3 en cuarto grado (elegidos aleatoriamente). Para cada estudiante se generó un índice socioeconómico, formado por el resultado del primer factor de un análisis que combinó diversos datos (servicios en el hogar, nivel educativo de los padres y otros). Dado que gran parte del análisis se hizo a nivel de aula, se usó también el promedio de estudiantes de un aula para identificarlos como de relativamente alto, medio o bajo nivel socioeconómico. Se encontró una tendencia por la cual los estudiantes de Ayacucho caían con mayor probabilidad en los niveles socioeconómicos medio y bajo y los de Lima en medio y alto; esto es esperable dado el nivel de desarrollo de estos departamentos, pero para el presente estudio es importante recordar pues las variables NSE y zona de estudios muestran una alta correspondencia; asimismo todos los estudiantes de zonas rurales (en Ayacucho) cayeron en grupo de nivel socioeconómico bajo.
El análisis descriptivo mostró, al igual que el estudio 1, mayor oferta de ejercicios de números y numeración en los cuadernos de trabajo y mayor número de ejercicios de esta área resueltos tanto en los cuadernos de trabajo como en los cuadernos; hubo bastante menos ejercicios de las otras áreas. Así, por ejemplo, el número de ejercicios disponibles en los cuadernos de trabajo para números y numeración es 77% del total en tercer grado y 57% en cuarto grado. El resto de ejercicios se reparte entre estadística, geometría, medición y ejercicios que de acuerdo a nuestra clasificación no corresponden al currículo del grado evaluado. En cuanto a los cuadernos de trabajo, en promedio se resolvió 64% de los ejercicios disponibles. La diferencia con el estudio anterior, en que se resolvieron 44% de los ejercicios disponibles, podría deberse a que en aquel se incluyeron tanto estudiantes de escuelas multigrado como polidocentes completas, mientras que en este solo de estas últimas. La explicación sería que en aulas homogéneas, polidocentes completas, se resuelven más ejercicios que en aulas multigrado. En algunas escuelas no se usaron los cuadernos de trabajo repartidos gratuitamente por el Ministerio de Educación, básicamente porque los docentes no los consideraron pertinentes o a que el material no llegó a inicios del año escolar. En algunas aulas de nivel medio o alto se usaron otros cuadernos de trabajo, además de los del Ministerio; estos cuadernos adicionales fueron comprados por los padres de familia (a pesar de una directiva del Ministerio de Educación prohibiendo esto). En este estudio se analizaron tanto los cuadernos de trabajo del Ministerio de Educación como los de otras editoriales. Se encontró finalmente mayor número de ejercicios resueltos por los estudiantes de aulas de nivel socioeconómico medio y alto, sobre las de nivel bajo (entre las de medio y alto hubo ligeras diferencias a favor de las últimas).
Siguiendo con el análisis descriptivo, en demanda cognoscitiva se utilizó una taxonomía diferente de la del primer estudio pero que igualmente permitía clasificar los ejercicios de niveles bajos (conocer conceptos y usarlos) a niveles más altos (resolver problemas y razonar matemáticamente combinando diferentes competencias). Nuevamente, la mayoría de ejercicios resueltos (entre 89% y 95%, dependiendo del aula) se ubicaron en los dos primeros niveles; hubo muy poca variabilidad entre salones por nivel socioeconómico. Pareciera que en general los docentes son formados para enseñar a sus estudiantes a memorizar y operar mecánicamente. En cuanto a ejercicios correctos, el porcentaje fue menor en las aulas de bajo nivel socioeconómico (76% en tercer grado y 79% en cuarto grado), mayor en las de nivel socioeconómico medio (88% en tercer grado y 86% en cuarto grado) y solo ligeramente mayor en las de nivel socioeconómico más alto (88% en tercer grado y 90% en cuarto grado). En cuanto a retroalimentación, se encontró que en nivel bajo 22% en tercer grado y 13% en cuarto grado tenían algún comentario o marca; en nivel socioeconómico medio los porcentajes fueron 37% en tercer grado y 40% en cuarto; y en nivel socioeconómico alto los porcentajes fueron 45% tanto en tercer como en cuarto grado. Entre 11% y 17% de los ejercicios, dependiendo del aula, tenían retroalimentación incorrecta dada la respuesta del estudiante, sin mayores diferencias por nivel socioeconómico. Las marcas incorrectas se explican principalmente por retroalimentación genérica para un grupo de ejercicios (v. gr. “bien” para un conjunto de respuestas sin comentarios a cada ejercicio, algunos de los cuales tenían respuestas incorrectas) pero también por correcciones incorrectas de docentes a ejercicios individuales (v. gr. marcar “mal” a un ejercicio para poner al lado una solución también incorrecta), sugiriendo que algunos docentes tienen dificultades en el dominio de los conceptos matemáticos involucrados.
La evaluación de los mismos estudiantes durante un año escolar permite comparar el incremento de rendimiento. En aulas de nivel socioeconómico bajo el incremento fue casi nulo (7% de una desviación estándar). En aulas de nivel socioeconómico medio el incremento fue de 47% de una desviación estándar y en aulas de nivel socioeconómico alto fue 62% de una desviación estándar. Así, estos resultados sugieren que la escuela no estaría favoreciendo la igualdad en el rendimiento entre estudiantes de diferente nivel socioeconómico a través del tiempo sino más bien incrementando las diferencias de entrada asociadas a nivel socioeconómico.
Finalmente, este estudio, al igual que el primero, incluyó un análisis jerárquico multinivel. En el análisis se controló por una serie de variables del estudiante (incluyendo su rendimiento a inicios del año escolar, de modo que se construyó un modelo de valor agregado) y su aula en la explicación del rendimiento a fines del año escolar. La variable dependiente fue el puntaje total en matemática, excluyendo dos ejercicios que no correspondían al currículo peruano, de la prueba del Laboratorio Latinoamericano de Evaluación de la Calidad de la UNESCO. Para las variables de ODA se encontró un efecto significativo del número de ejercicios resueltos (p<0.05), la demanda cognoscitiva (p<0.05) y el factor principal resultante de la combinación de las cuatro variables de ODA (p<0.01).
4. Estudio 3: ODA Y RENDIMIENTO EN COMUNICACIÓN INTEGRAL EN 3ER Y 4° GRADO
(Cueto et al., 2006)
El presente estudio se hizo con los mismos estudiantes y métodos que el estudio 2, pero el foco fue el rendimiento en comunicación integral (como se le llama al área de lenguaje en el currículo peruano). La prueba utilizada fue también la desarrollada por LLECE para esta área (1997), pero todas las preguntas se referían a comprensión de lectura. Al igual que el estudio 2, se analizaron cuatro cuadernos y cuadernos de trabajo por aula pero a diferencia de matemática el Ministerio de Educación no repartió un único texto a escala nacional sino dos que deberían ser similares en cuanto a cobertura curricular; ambos textos, así como otros comprados en algunos salones, fueron incluidos en el análisis. Este estudio resulta novedoso pues incluye un análisis del área de comunicación; tanto los dos anteriores como otros de ODA en América Latina se habían centrado exclusivamente en matemática.
Los resultados descriptivos en cobertura curricular mostraron que la mayor parte de ejercicios ofrecidos en los cuadernos de trabajo fueron sobre temas que no correspondían al currículo de grado (entre 37% y 48% de los ejercicios, dependiendo del cuaderno de trabajo y salón analizado). En muchos casos estos ejercicios correspondían a niveles curriculares previos de acuerdo a nuestra clasificación (por ejemplo de habilidades básicas de lectura y escritura que deberían haber sido dominadas en los dos primeros grados). Entre los ejercicios que correspondían al grado, la predominancia relativa fue para ejercicios sobre “reflexión sobre la lengua” (entre 23% y 48% de los ejercicios ofrecidos en los cuadernos de trabajo, dependiendo del salón y del cuaderno de trabajo utilizado, correspondían a esta área). Estos se refieren al funcionamiento lingüístico de los textos, incluyendo aspectos gramaticales, de léxico y ortográficos, es decir al aprendizaje y aplicación de normas para el uso del lenguaje. Los otros aspectos del currículo (comunicación oral, lectura de textos, producción de textos y textos icono verbales) tuvieron bastante menos oferta de ejercicios en los cuadernos de trabajo. La distribución de ejercicios en los cuadernos fue bastante similar a la de los cuadernos de trabajo, con predominancia de ejercicios fuera del currículo y reflexión sobre la lengua. Entre los ejercicios de comprensión de textos predominaron los literarios (narrativos o poéticos, aunque ninguno argumentativo), con muy poca presencia de textos no literarios (instructivos, funcionales o informativos). En promedio, se resolvieron 54% de los ejercicios disponibles en los cuadernos de trabajo. En cuanto a nivel socioeconómico, la diferencia principal se dio entre las aulas de nivel socioeconómico bajo contra las de medio y alto (con alguna diferencia entre estas a favor del último grupo).
Siguiendo con el análisis descriptivo, en demanda cognoscitiva se generó una escala de cinco niveles en base a algunas taxonomías disponibles en la literatura. El principio general es similar al de matemática, con los niveles más bajos representando evocación y aplicación, el intermedio análisis y los dos más altos evaluación y demostración. Se encontró que más del 90% de los ejercicios disponibles y resueltos se encontraban en los tres niveles más bajos de demanda cognoscitiva. En esto no hubo mayor diferencia entre aulas de diferente nivel socioeconómico. En cuanto a porcentaje de ejercicios correctamente resueltos, en aulas de nivel socioeconómico bajo fue 79%, en aulas de nivel socioeconómico medio 84% y de nivel socioeconómico alto 88%. Finalmente en cuanto a retroalimentación, 30% de los ejercicios de nivel socioeconómico bajo tenían alguna marca o comentario; en nivel socioeconómico medio el porcentaje fue 57% y en aulas de nivel socioeconómico alto fue 52%. Entre 18% y 31% de la retroalimentación fue incorrecta dada la respuesta de los estudiantes, sin mayor diferencia entre niveles socioeconómicos.
En este estudio también se incluyó la comparación del rendimiento a inicios y fines del año escolar de acuerdo al nivel socioeconómico promedio del aula evaluada. Las tendencias fueron menos clara que en el caso de matemática reportados en el estudio 2, pues el incremento promedio de los estudiantes de nivel socioeconómico bajo fue 40% de una desviación estándar, 52% en nivel socioeconómico medio y 41% en nivel socioeconómico alto. La explicación está principalmente en el resultado en cuarto grado, donde los estudiantes de niveles socioeconómicos medio y alto no incrementaron mayormente sus resultados a fines del año escolar, presumiblemente por un efecto techo (es decir la prueba tuvo preguntas relativamente fáciles que no permitieron que los estudiantes más avanzados demostraran todos sus conocimientos, mientras que los de nivel socioeconómico bajo sí incrementaron). En tercer grado los resultados fueron análogos a los de matemática reportados en el estudio 2, con los estudiantes de nivel socioeconómico bajo incrementando su rendimiento en 12%, los de nivel socioeconómico medio en 58% y los de nivel socioeconómico alto en 72%.
Finalmente, se incluyó un modelo multinivel de valor agregado en este análisis, similar al utilizado en el estudio 2. La variable dependiente fue el puntaje global en la prueba de comprensión de lectura del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación de la UNESCO. Los resultados arrojaron un poder explicativo significativo para el porcentaje de ejercicios con retroalimentación correcta (p<0.05), demanda cognoscitiva (p<0.01) y el primer factor resultante de la combinación de las cuatro variables de ODA (p<0.01).
5. DISCUSIÓN E INTEGRACIÓN DE RESULTADOS
En el presente estudio se han reportado los resultados de tres estudios que utilizaron una metodología novedosa para medir las oportunidades de aprendizaje de los estudiantes, estimándolas a partir de una muestra en cada aula de los cuadernos y cuadernos de trabajo de estudiantes (recogidos al finalizar el año escolar, al mismo tiempo que se administraba una prueba de rendimiento). Si bien pensamos que el método recoge mucho de lo que ocurre en el salón de clases, como cualquier otro tiene limitaciones que podrían ser tomadas en consideración en futuros estudios de ODA. A continuación algunas de ellas: A) No encontramos una forma operativa de tomar en consideración la longitud del ejercicio. Así, algunos ejercicios fueron muy breves (por ejemplo una suma de dos dígitos) y otros bastante más largos (por ejemplo un problema con múltiples pasos). Incorporar esto al análisis podría ser relevante en la explicación del rendimiento. B) Las ODA podrían ser explicadas de manera significativa por experiencias pedagógicas que no son escritas, y por tanto no capturadas con el método usado aquí, asociadas por ejemplo a interacciones verbales, proyectos pedagógicos y trabajos grupales. C) Hay algunos elementos escritos, como tareas y exámenes, que podrían ser relevantes para explicar las ODA que al no ser guardadas en los cuadernos ni cuadernos de trabajo no fueron analizadas. D) El método, como se supondrá de lo descrito arriba, es muy trabajoso en cuanto al tiempo requerido para el análisis y el entrenamiento y estandarización del personal. A futuro pensamos analizar si es posible estimar las mismas ODA solo con una muestra de los ejercicios corregidos.
En cuanto a los análisis descriptivos mencionados antes, en el aspecto de cobertura curricular en matemática es notable la predominancia de temas de números y numeración. Así, los estudiantes pasan aparentemente muchas horas operando con números para resolver ejercicios de las cuatro operaciones básicas. Estos resultados son coincidentes con los de autoreporte de los docentes que se encuentran en Galindo (2002) y Zambrano (2002), por lo que se pueden considerar un resultado bastante robusto para el contexto peruano. El tema predominante en comunicación es el aprendizaje de normas de uso de la lengua, que deben ser aplicadas en muchos ejercicios. También sin embargo es notable la presencia de ejercicios que no correspondían al currículo de los grados analizados en las dos áreas. Estos eran en algunos casos temas de currículos previos (por ejemplo teoría de conjuntos) y en otros temas de currículos de grados superiores o inferiores. Esto ocurría incluso en los cuadernos de trabajo, que habían sido previamente analizados y autorizados por el Ministerio de Educación. En este análisis sin embargo no se suele incluir una taxonomía como la descrita aquí. En todo caso, a futuro podría ser conveniente establecer procedimientos objetivos a la hora de evaluar los textos que comprará el Ministerio de modo que se pueda establecer el alineamiento entre los textos y el currículo vigente. Es interesante notar también que entre el 44% y el 64% de los ejercicios disponibles en los cuadernos de trabajo habían sido resueltos (dependiendo del estudio). Desde que se realizaron estos estudios el Ministerio ha descontinuado el uso de estos materiales para volver al uso de textos. En términos económicos parece una buena decisión, pues los textos se pueden volver a usar en años sucesivos y los cuadernos de trabajo no, pero igual queda pendiente la cuestión de cuántos de los ejercicios disponibles en estos materiales deberían ser resueltos al finalizar el año escolar.
En demanda cognoscitiva se encontró que tanto en matemática como en comunicación había predominancia de ejercicios con bajos niveles, es decir en los que se pedía a los estudiantes repetir conceptos o aplicar procedimientos de manera más bien mecánica. Esto es importante pues el currículo vigente en el Perú sugiere la importancia de contar con aprendizajes complejos. Las evaluaciones internacionales de rendimiento (por ejemplo PISA) también sugieren la importancia de aprender habilidades y no solo adquirir conocimientos. Dada la importancia de esta variable en la explicación del rendimiento más adelante se presentan algunos ejemplos de alta y baja demanda cognoscitiva.
En cuanto a retroalimentación, tal vez el resultado más saltante sea que algunos comentarios de los docentes en cuanto a la respuesta de sus estudiantes nos mostraban que tenían dificultades con los conceptos que debían enseñar. Por lo general los estudios de factores asociados al rendimiento no han incluido el dominio que los docentes tienen de los temas que deben enseñar, pero al menos en el Perú este parece un aspecto importante a considerar. El supuesto para ello es que un docente que no domine a un nivel mínimo los contenidos que debe enseñar no podrá lograr aprendizajes significativos en sus estudiantes; dominar los contenidos es un requisito necesario, aunque no suficiente en sí mismo, para lograr que los estudiantes dominen el currículo.
Tanto en cobertura curricular como en retroalimentación se encontró una asociación con nivel socioeconómico de los estudiantes en el aula. Esto seguramente se explica porque los estudiantes de mayor nivel socioeconómico tienen mejor rendimiento al inicio del año escolar y por tanto pueden hacer más ejercicios durante el año (y aprender más al finalizar, agrandando la brecha de rendimiento que existía al inicio). Así, la escuela pública estaría dando más oportunidades de acuerdo a los antecedentes individuales y familiares de los estudiantes, desfavoreciendo el rol de la educación como un instrumento para la igualdad social. Una forma de revertir esto podría ser orientar mayores recursos a los estudiantes de menor nivel socioeconómico, de modo que con atención individualizada o en pequeños grupos, clases de recuperación o intervenciones que de alguna forma anticipen el menor progreso educativo que sabemos, por este estudio y otros (Cueto, 2007), se da en estudiantes de relativo bajo nivel socioeconómico. La demanda cognoscitiva fue la única variable de ODA en que parece no haber mayor variación entre aulas de estudiantes de diferente nivel socioeconómico. Así, docentes en diferentes lugares atendiendo a diferentes tipos de estudiantes parecen coincidir en una formación docente que les permite un repertorio pedagógico relativamente limitado. Seguramente esto podría ser considerado en reformas a futuros programas de formación y capacitación docente. De hecho, este tipo de ejercicios de alta demanda cognoscitiva es el que se requiere para resolver ejercicios de evaluaciones internacionales como PISA.
En los tres estudios se intentó relacionar las ODA con rendimiento. En todos los casos se usó un modelo jerárquico multinivel (HLM), pero en el estudio 1 se usó un diseño transversal, con la evaluación de rendimiento solamente a fines del año escolar, mientras que en los estudios 2 y 3 se pudo controlar por el rendimiento a inicios del año, estimando la contribución de las ODA en el incremento (modelo de valor agregado). El Cuadro 1 resume la contribución de las 4 variables de ODA en cada estudio y el factor agregado ODA (formado por las 4 variables en el factor principal resultante del análisis factorial).
Cuadro 1. Resumen de los resultados de los análisis jerárquico multinivel para explicar rendimiento
| Variables de oportunidades de aprendizaje |
Estudio 1: rendimiento en matemática
(diseño transversal) |
Estudio 2: rendimiento en matemática
(valor agregado) |
Estudio 3: rendimiento en comunicación
(valor agregado) |
Número de ejercicios resueltos |
No significativo |
+ |
No significativo |
Demanda cognoscitiva |
+ |
+ |
++ |
Porcentaje de ejercicios correctos |
No incluido en el análisis |
No significativo |
No significativo |
Porcentaje de ejercicios con retroalimentación adecuada |
+ |
No significativo |
+ |
Factorial de oportunidades de aprendizaje |
++ |
++ |
++ |
Nota: +: p<0.05; ++: p<0.01
Como se puede apreciar en el Cuadro 1, la variable resultante del factorial de oportunidades de aprendizaje tuvo un poder explicativo en todos los modelos (con probabilidad que se deba al azar menor que 1%). Pero la contribución de las cuatro variables ODA no es uniforme en los estudios. El número de ejercicios resueltos solo fue significativo en el estudio 2, posiblemente porque más que la cantidad de ejercicios sea relevante la calidad de los mismos. La retroalimentación adecuada fue significativa en los estudios 1 y 3. Al respecto, tiene sentido conceptual pensar que los comentarios que el docente da a los ejercicios ayudan al estudiante a mejorar su rendimiento. El porcentaje de ejercicios correctos no fue significativo en los estudios 2 o 3, cuando fue incluida; es probable que el método utilizado aquí no sea el mejor para estimar esta variable y sería mejor analizar el porcentaje de ejercicios correctos en tareas para casa asignadas a estudiantes o de los exámenes que resolvieron durante el año. Estos dos tipos de materiales a menudo no quedan registrados en los cuadernos de los estudiantes y por tanto no pudieron ser recogidos y analizados por el equipo de investigadores. Pero sin duda la variable demanda cognoscitiva es la más poderosa para explicar el rendimiento escolar entre las cuatro analizadas. Esto es notable pues como se vio antes el nivel de demanda cognoscitiva es relativamente bajo de manera uniforme entre aulas de diferente nivel socioeconómico. Aún con esta baja variabilidad, demanda cognoscitiva tuvo un poder explicativo significativo en los tres estudios. Para clarificar qué es lo que codificamos como baja demanda cognoscitiva a continuación se incluyen algunos ejemplos.
Recuadro 1. Ejemplos de ejercicios de baja demanda cognoscitiva |
Ejemplo 1: Ejercicio de cuaderno de trabajo de matemática de 4º grado de primaria sobre geometría (en este caso se pide al estudiante evocar el nombre de figuras; tomado de Cueto et al., 2004).
Ejemplo 2: Ejercicio de cuaderno de matemática estudiante de 3er grado de primaria sobre numeración (en este caso se pide a los estudiantes operar de acuerdo a un procedimiento; tomado de Cueto et al., 2004).
Ejemplo 3: Ejercicio de cuaderno de comunicación de estudiante de 3er grado de primaria sobre producción de textos (en este caso se pide al estudiante que copie repetidamente algunas palabras; tomado de Cueto et al., 2006).
Ejemplo 4: Ejercicio de cuaderno de trabajo de comunicación de estudiante de 3er grado de primaria sobre lectura de textos no literarios (en este caso se pide al estudiante que lea en voz alta las palabra indicadas; tomado de Cueto et al., 2006).
Como se puede apreciar en los ejemplos anteriores, y dada la descripción provista antes, es claro que los estudiantes en las aulas analizadas pasan muchas horas haciendo tareas que podrían ser descritas como mecánicas, rutinarias o poco estimulantes intelectualmente. En el siguiente recuadro se presentan algunos ejemplos de ejercicios que el equipo clasificó como de alta demanda cognoscitiva (estos ejercicios fueron poco frecuentes en la oferta de materiales provistos por el Ministerio de Educación y menos frecuentes aún en los cuadernos de los propios estudiantes).
Recuadro 2. Ejemplos de ejercicios de alta demanda cognoscitiva |
Ejemplo 1: Ejercicio de cuaderno de trabajo de matemática de estudiante de 3er grado de primaria sobre numeración (en este caso se pide encontrar una respuesta así como justificarla con información relevante; tomado de Cueto et al., 2004).
Ejemplo 2: Ejercicio de cuaderno de trabajo de matemática estudiante de 4º grado de primaria sobre geometría (en este caso se pide encontrar un patrón y generalizarlo a una situación nueva; tomado de Cueto et al., 2004).
Ejemplo 3: Ejercicio de cuaderno de comunicación de estudiante de 4º grado de primaria sobre producción de textos (en este caso se pide crear un texto utilizando algunas reglas; tomado de Cueto et al., 2004).
A futuro, pensamos que en lo conceptual es importante incluir en los análisis de determinantes del rendimiento variables que incluyan no solo los insumos educativos sino su uso en los salones de clase (en lo que se ha denominado en la literatura de investigación “procesos educativos”; ver Murillo, 2007). La mirada provista aquí sugiere que las ODA son una entrada con potencial para entender parte de estos procesos.
Referencias bibliográficas
Cervini, R. (2001). Efecto de la “Oportunidad de aprender” sobre el logro en matemáticas en la educación básica argentina. Revista Electrónica de Investigación Educativa 3(2). Consultada en http://77redie.ens.uabc.mx/vol3no2/contenido-cervini.html
Cueto, S. (2007). Las evaluaciones nacionales e internacionales de rendimiento escolar en el Perú: balance y perspectivas. En Grupo de Análisis para el Desarrollo (Editor). Investigación, Políticas y Desarrollo en el Perú. (pp. 405-455). Lima: GRADE.
Cueto, S., Ramírez, C., León, J. y Azañedo, S (2006). Oportunidades de aprendizaje y rendimiento en comunicación integral de estudiantes en tercer y cuarto grado de primaria en Lima y Ayacucho. En Benavides, M. (Editor). Los Desafíos de la Escolaridad en el Perú. Estudios sobre los procesos pedagógicos, los saberes previos y el rol de las familias (pp. 13-78). Lima: GRADE. Disponible en www.grade.org.pe.
Cueto, S., Ramírez, C., León, J. y Guerrero, G. (2004). Oportunidades de aprendizaje y rendimiento en matemática de los estudiantes de tercer y cuarto grados de primaria en Lima y Ayacucho. En Benavides, M. (Ed.) Educación, Procesos Pedagógicos y Equidad (pp. 15-68). Lima: GRADE. Disponible en www.grade.org.pe.
Cueto, S., Ramírez, C., León, J & Pain, O. (2003). Oportunidades de aprendizaje y rendimiento en matemática en una muestra de estudiantes de sexto grado de primaria de Lima. Documento de Trabajo 43. Lima: GRADE. Disponible en www.grade.org.pe.
Galindo, Claudia (2002). El currículo implementado como indicador del proceso educativo. En José Rodríguez y Silvana Vargas (Eds.) Análisis de los Resultado y Metodología de las Pruebas CRECER 1998 (pp.13-38). Documento de Trabajo 13 de MECEP. Lima: Ministerio de Educación.
LLECE (1998). 1er. Informe del "Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuarto Grado. Santiago de Chile: UNESCO.
Mc Donnell, Louise (1995). Opportunity to Learn as a research Concept and a Policy Instrument. Educational Evaluation and Policy Analisis, 17 (3), pp. 305-322.
Murillo, F. J. (Coord.), Castañeda, E., Cueto, S., Donoso, J. M., Fabara. E., Hernández, M. L., Herrera, M., Murillo, O., Román, M. y Torres, P. (2007). Investigación Iberoamericana sobre Eficacia Escolar. Bogotá: Convenio Andrés Bello.
Newmann, F., Bryk, A. y Nagaoka, J. (2001). Authentic Intellectual Work and Standardized Tests: Conflict or coexistence? Improving Chicago’s Schools. Chicago, Illinois: Consortium on Chicago School Research.
Schmidth, W., Jorde, D., Cogan, L., Gonzalo, I., Barrier, E., Moser, U., Shimizu, K., Sawada, T., Valverde, G., McKnight, C., Prawat, R., Wiley, D., Raizen, S., Britton, E. y Wolfe, R. (1996). Characterizing Pedagogical Flow. An Investigation of Mathematics and Science Teaching in Six Countries. Boston: Kluwer Academic Publishers.
Valverde, Gilbert A., Leonard J. Bianchi, William H. Schmidt, Curtis C McKnight, and Richard G. Wolfe (2002). According To the Book: Using TIMSS to Investigate the Translation of Policy into Practice in the World of Textbooks. Dordrecht, The Netherlands: Kluwer Academic Publishers.
Zambrano, Gloria (2002). Las oportunidades de aprendizaje en lógico-matemática: un estudio para cuarto grado de primaria.Lima. Ministerio de Educación. Consultado en: http://www.minedu.gob.pe/mediciondelacalidad/2003/pdfs_nac/inf04_oda_logico_mate_4to_prim.pdf
{1} Internacional Association for the Evaluation of Educational Achievement.
{2} Third International Mathematics and Science Survey.
{3} Por ejemplo se encontraron muchos ejercicios de la capacidad “identifica múltiplos y divisores de un número. Reconoce cuando un número es divisible por 2, 3, 4, 5, 6, 8, 9 y 10. Identifica números primos” y también “Aplica con corrección la técnica operativa usual de la adición, sustracción, multiplicación y división euclidiana de números naturales y decimales, estableciendo relaciones entre ellas”, ambas ligadas a competencias de numeración.
|
