REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación

INTRODUCCIÓN

En México en los últimos cincuenta años se han iniciado cinco grandes reformas educativas, sin embargo los problemas sustanciales en cuanto a calidad de la educación siguen vigentes, especialmente en indicadores de logro y resultados de aprendizaje. Tales indicadores de logro al parecer están asociados más con factores de contexto y proximales a la situación de aprendizaje, y han mostrado que la escuela propiamente tiene poco poder explicativo sobre los aprendizajes y los indicadores de logro de los estudiantes mexicanos (Backhoff, Sánchez, Peón y Andrade, 2010; Carvallo, 2005; Murillo, 2010).

Según Vázquez-Chagoyán (2005), pese a todas las reformas educativas los resultados de la educación siguen siendo deficientes, porque todas esas reformas han partido de los mismos mitos educativos, sin un cambio profundo de las estructuras de los problemas educativos; han coincidido en respuestas similares y todas se han enfocado en la creencia de que los problemas se resuelven con mejores planes y programas de estudio, incorporando nuevas concepciones y términos, mejorando la infraestructura de edificios y recursos tecnológicos, elaborando nuevos y diversos materiales educativos, destinando más recursos económicos a la formación continua de los profesores o teniendo más sistemas de evaluación de resultados de aprendizaje periódicamente.

Tanto el Examen de Calidad y Logro Educativo (EXCALE), aplicado por el Instituto Nacional para la Evaluación de la Educación (INEE), así como la Evaluación Nacional del Logro Académico (ENLACE), aplicado por la Secretaría de Educación Pública, es evidente que los indicadores de logro académico de alumnos mexicanos en el último ciclo de primaria, están comprobando bajos niveles de dominio y de aplicación de lo que se ha aprendido en la escuela, a situaciones concretas de evaluación de aprendizajes ligados al currículum.

Como una de las alternativas a los problemas generales de la educación básica mexicana, en el Plan Nacional de Desarrollo (PND) del 2001-2006 se planteó como objetivo “el desarrollo pleno de las competencias comunicativas, la adquisición de las capacidades básicas de lectura, de expresión oral y escrita y de matemáticas”, para ello en 2004 se inició la Reforma Integral de la Educación Básica (RIEB) en México basada en competencias, en el nivel de Preescolar, en 2006 entró en vigor en secundaria, incorporando planes y programas educativos por competencias. En el nivel de educación primaria se inició la reforma de planes y programas a partir de 2008. En el ciclo escolar 2009-2010 se generalizaron el plan de estudios (SEP, 2009a) y los programas de estudio, en su versión revisada, que fueron aplicadas en las escuelas primarías del país en el 1ro y el 6to grados de primaria, abarcando en total a 98,225 alumnos.

Para la materia de Español, en el programa de estudios generalizado de la (SEP, 2009b) se manejan tres elementos como parte de las competencias lingüísticas: la comunicación oral, la comprensión lectora y la producción de textos propios, con los cuales se busca que el alumno desarrolle las competencias lingüísticas y comunicativas, que le permitan participar eficazmente en las diferentes esferas de acción de la persona, tanto escolares como extraescolares. El programa de Español por competencias, incluye para el sexto grado de primaria, el trabajo con actividades de aprendizaje organizadas en cinco bloques o unidades y de acuerdo con tres ámbitos: el estudio, la literatura y la comunidad y familia, con excepción del bloque 5 en el cual solo se incluyen actividades en dos ámbitos. De igual forma, el libro de texto gratuito está organizado en (cinco bloques y tres ámbitos) de manera tal que los profesores puedan realizar las actividades y ejercicios conforme al enfoque por competencias (SEP, 2010). El Programa también sugiere la organización de situaciones de aprendizaje de acuerdo con competencias lingüísticas comunicativas y de acuerdo con diversos aprendizajes esperados.

La concepción y uso del término competencia en el diseño de situaciones de aprendizaje, y de las actividades y situaciones de evaluación, no tiene un consenso general y más bien se caracteriza por la polisemia del término, así como la imprecisión del concepto competencia (Cazares, 2007; de la Orden, 2011; García y Vargas, 2008; Levy-Leboyet, 1997).

Diversos autores han señalado que las competencias en educación no son objetos tangibles y observables directamente, sino que implican:

• Establecer condiciones de interacción que permitan de parte de un alumno, en un contexto determinado, movilizar conocimientos interrelacionados con habilidades y actitudes de acuerdo con criterios y demandas claramente establecidos.
• Capacidades reflexivas y desempeño efectivo, en tanto cumplen con criterios de logro y resultados esperados, que se constituyen a lo largo de un proceso de desarrollo.

Estas condiciones le permiten al alumno demostrar un desempeño eficaz y eficiente, que sea susceptible de ser mostrado y defendido en múltiples contextos, es decir, que le permita un desempeño variado y efectivo (Bazán y Vega, 2010; García, Delgado, González, Pastor, González, Baeza y Pozos, 2002; García, Loredo, Luna y Rueda, 2008; Pereda y Berrocal, 2001; Ribes, 2006a; Ribes, 2006b; Zabala y Arnau, 2008).

De esta forma, una competencia no se define por las habilidades per se involucradas, si no por el ajuste funcional que el individuo hace respecto a condiciones que demandan un logro en particular. Por ello una competencia no puede ser reducida a la descripción de las habilidades implicadas al margen del criterio al que están siendo ajustadas, puesto que la competencia se define por el conjunto de habilidades que son cambiantes dependiendo de las circunstancias que demandan el cumplimiento de uno o más criterios (Sánchez, Bazán y Corral, 2009; Corral, 1997; Moreno, 1994; Ribes, 2008).

En un análisis de los contenidos y enfoque del programa de español en los inicios de esta nueva reforma a partir de 2008 en primaria, Bazán y Vega (2010) han señalado al menos dos limitaciones:

• La estructuración de las actividades de aprendizaje y de enseñanza del español de forma similar en todos los grados escolares (número y tipo de bloques y ámbitos iguales) y bajo una misma perspectiva metodológica (trabajo por proyectos académicos), no ha sido fundamentado con base en resultados empíricos sobre el cómo es que estos proyectos académicos garantizan el aprendizaje y dominio individual del español, recuperando las propias expectativas y sus estilos interactivos, las historias de escolaridad y de alfabetización y cultura familiar, y por otro lado, no se cuentan con apoyo empírico sobre las diferencias en el desarrollo psicológico de los niños conforme aumenta el grado escolar y la edad.
• La propuesta de actividades de reflexión sobre la lengua y la práctica contempladas en los programas de español están supeditadas a los proyectos académicos, que a su vez están organizados por ámbitos de prácticas de lenguaje pero como contenidos y no por competencias, ya que éstas quedan subordinadas a los contenidos; incluso dentro de un mismo bloque no hay correspondencia para generar competencias integradas.

El presente estudio se enmarca en la tradición de la validación de constructos en la medición de desempeños, aptitudes y conocimientos relacionados con el proceso educativo (Bazán, Sánchez, Corral y Castañeda 2005; García, 1997; Pérez-Gil, Chacón y Moreno, 2000; Peñalosa y Castañeda, 2012; Prieto y Muñiz, 2000). Asimismo, está orientado bajo la perspectiva de la validación de constructos implicados en la enseñanza de la lengua escrita en contextos escolarizados al inicio de la generalización de la reforma en la primaria mexicana, en el sexto grado de primaria, y concuerda con otros estudios sobre evaluaciones ligados al currículum y que buscan aportar evidencias para el trabajo en el aula y su consecución de los aprendizajes esperados en la primaria Mexicana (Bazán, Castañeda, López y Macotela, 2004; Contreras, 2000; Contreras, 2009), para ello toma en cuenta dos constructos generales de organización de competencias lingüísticas: La comprensión lectora y La producción de textos propios.

Este trabajo pretende constituir una contribución que permita describir y proporcionar evidencias empíricas a la estructuración de competencias lingüísticas por aprendizajes esperados, en el sexto grado de primaria, en los albores de la generalización de la reforma en la primaria mexicana, y que permitan explorar y analizar la pertinencia de las actividades incluidas en el programa de estudio, incluyendo actividades de evaluación cercanas a las situaciones de aprendizaje formal de comprensión lectora y de la producción de textos, y el libro de texto gratuito con el que principalmente trabajan los niños de las escuelas públicas de México.

1. MÉTODO

1.1. Diseño

Es un estudio no experimental, de tipo exploratorio y explicativo de las competencias comunicativas por medio de ecuaciones estructurales.

1.2. Participantes

Participó una muestra seleccionada de manera intencional no probabilística, conformada por 87 alumnos (45 mujeres y 42 hombres) de una muestra inicial de 100, provenientes de cuatro grupos de sexto grado de primaria de escuelas públicas del Municipio de Cuautla, Estado de Morelos. La muestra quedó con 87 alumnos, debido a que se quitaron a 13 de los participantes que no habían completado todas las preguntas de comprensión lectora y de producción de textos.

1.3. Instrumento y materiales

Fue construido un instrumento de dos porciones: una para la evaluación de la comprensión lectora y otra para la evaluación de la producción de textos, en sexto grado de primaria, apegado al plan de estudios y el programa propuestos en la Reforma Integral de la Educación Básica para el sexto grado de primaria de la materia de español (SEP, 2009).

El instrumento de evaluación está organizado con base a la estructuración del libro de texto gratuito, por ello es que por cada bloque fueron elaboradas cuatro series actividades de evaluación, dos series de actividades que corresponde a la competencia de comprensión lectora y las otras 2 que corresponden a la producción de textos. En cada uno de los cinco bloques que maneja el programa, fueron incluidos una serie o grupo de actividades de comprensión lectora y un grupo de actividades de producción de textos. Asimismo, estas actividades de evaluación están guiadas por los aprendizajes esperados que plantea el programa según cada bloque. En el anexo 1 y en el anexo 2 se presentan la organización de cada porción del instrumento de evaluación según las competencias lingüísticas evaluadas.

Los materiales utilizados para la elaboración del instrumento de evaluación fueron: Plan de estudios generalizado y los Programas de estudio de sexto grado de primaria (SEP, 2009a; SEP, 2009b), el libro de texto gratuito de español (SEP, 2010) y el documento de difusión SEP “Competencias por asignatura del programa 2009 Primaria sexto grado”.

1.4. Procedimiento

1.4.1. Fase de elaboración de instrumento

A mediados del 2009 se inició con un análisis documental de los planes y programas de prueba y la guía articuladora para el sexto grado de primaria. Y se realizó un análisis de los aprendizajes esperados en relación a los propósitos de aprendizaje planteados en la RIEB. Y en el mes de mayo del 2010, fue publicado el plan de estudios 2009 ya generalizado que incorporó modificaciones en los contenidos de español, fueron realizados nuevos análisis de la estructuración de los contenidos y los aprendizajes esperados, y fue reestructurado el instrumento de evaluación.

Se realizó un análisis de los aprendizajes esperados identificando los que pertenecían a un mismo género, por ejemplo, el manejo de los tiempos verbales. De un total de 79 aprendizajes esperados marcados en el Programa para el sexto grado de primaria, 42 corresponden a la producción de texto, 26 a la comprensión lectora, 7 a comunicación oral y 4 son compartidos entre producción de textos y comprensión lectora. En el análisis se redujo a 46 aprendizajes esperados ya que se clasificaron y se identificaron varios que pertenecían a una misma secuencia, como es el caso de la carta, que tiene varios aprendizajes esperados, desde los datos hasta la estructura. Otro aprendizaje esperado que se repite es el uso de los verbos en sus variaciones en cuanto al tiempo de acción.

Con base en estos análisis y tomando en cuenta la organización curricular de la enseñanza del español en sexto grado de acuerdo con dos propósitos, el trabajo en tres ámbitos Comprensión Lectora, Producción de textos y Comunicación Oral, fueron elegidos los aprendizajes esperados más representativos correspondientes a la comprensión lectora y a la producción de textos, que permitieran rastrear los aprendizajes desarrollados en los cinco bloques de organización durante todo un ciclo escolar.

Fueron elegidos los aprendizajes esperados que por sus características estructurales pudieran ser evaluados con actividades en papel y lápiz, por esta razón no fueron considerados los aprendizajes esperados de la competencia comunicación oral, por ser más compleja y las dificultades metodológicas que representa. En consecuencia, fueron incorporados dos aprendizajes esperados de comprensión lectora y dos de producción de textos por cada bloque, algunos aprendizajes esperados fueron modificados de manera conceptual para su adecuada evaluación.

Los aprendizajes esperados fueron enlistados e incluidos en una tabla de categorías (Ver Tabla 1), en la primera columna fueron especificados los indicadores posibles de cada aprendizaje esperado, es decir, una descripción de lo qué debe hacer el estudiante para que se pueda considerar que muestra el dominio o aprendizaje esperado. En otra columna contigua fueron incluidos los criterios de logro de dicho aprendizaje esperado, fueron considerados todos los criterios posibles que permitan al evaluador valorar la muestra del aprendizaje esperado por parte del alumno, es decir, fueron especificados las acciones o elementos que debía de contener la respuesta dada. En la última columna, son enumerados los valores o puntos con los que se valora cada respuesta, los cuales se relacionan directamente con el cumplimiento de los diferentes criterios de logro.

Los valores de puntuación fueron asignados en una escala de 0 a 4, 0 cuando la respuesta no cumple con ninguno de los criterios de logro o cuando no se emitió ninguna respuesta y cuatro cuando la respuesta cumple con todos los criterios de logro establecidos.

Tabla 1. Ejemplo de categorías de Comprensión Lectora en el sexto grado

Fuente: Instrumento de Evaluación por Competencias del Español en 6º grado de Primaria (2011)

Una primera versión del instrumento fue sometido a validación de contenido por un grupo de jueces conformado por 1 asesor técnico pedagógico y 5 profesores de español, quienes habían asistido a los cursos impartidos por la SEP sobre la Reforma Integral de la Educación Básica y en el enfoque por competencias. Los jueces valoraron el instrumento utilizando un formato en el que fueron desglosadas cada una de las actividades y se les preguntó sobre las instrucciones de la actividad, la relación de la actividad con la competencia a evaluar, la relación de la actividad con el aprendizaje esperado y se les solicitó sugerencias respecto a cada actividad y para el instrumento en general. La información obtenida permitió modificar y mejorar las actividades de evaluación.

1.4.2. Aplicación y registro

A principios del mes de junio 2011 fueron realizadas las aplicaciones del instrumento, por separado en cada grupo escolar. No hubo tiempo límite establecido para la aplicación, en cada grupo se inició a las 8 de la mañana y se hacía un receso de 10 minutos y se continuo hasta concluir, los tiempos totales variaron entre 90 y 110 minutos.

Después de la aplicación del instrumento, dos registradores independientes capacitados en las categorías y los valores del cuestionario, calificaron los instrumentos, utilizando una ficha de registro en la que identificó cada una de las actividades, la competencia a la que corresponde, el aprendizaje esperado y los reactivos de cada actividad y se les asignó un valor o puntaje para cada actividad. Posteriormente fueron cotejados los registros, en los casos de divergencia, se sometió a panel de expertos con la finalidad de contar con un solo valor por cada actividad.

1.4.3. Análisis

Fueron calculados los índices de consistencia interna del instrumento en general, por cada aprendizaje esperado (serie de ejercicios) en cada una de las dos competencias evaluadas (porciones).

Una vez obtenidos los indicadores de consistencia interna por cada aprendizaje esperado (tomando el conjunto de indicadores o tareas, especificadas en la sección de instrumento y presentados en los Anexos), se procedió a obtener un indicador global por aprendizaje esperado (proporciones de puntajes obtenidos en el total de cada una de las tareas que conformas un aprendizaje esperado).

También fueron realizados los análisis de validez de constructo de la medición de comprensión lectora y de la medición de producción de textos, por medio del Análisis Factorial Confirmatorio A FC utilizando el programa estadístico EQS 6.1. Fueron considerados siete constructos de aprendizaje esperados en la variable latente o constructo “competencia de comprensión lectora” con un total de 20 indicadores o variables manifiestas, y seis constructos en la “competencia de producción de textos” con un total de 16 indicadores. Para ambas competencias fueron propuestos modelos hipotéticos independientes de validez convergente y divergente de constructos, considerando los aprendizajes esperados y sus indicadores.

Esta validación, en ambos modelos, buscó obtener indicadores de divergencia entre constructos de aprendizajes esperados (validez divergente) y simultáneamente, obtener cargas factoriales significativas entre el constructo y sus indicadores; la ejecución en ejercicios o tareas concretas derivadas de cada aprendizaje esperado, es decir, de cada factor construido teóricamente (validez convergente).

2. RESULTADOS

2.1. Análisis de consistencia interna

Se obtuvo un índice de consistencia interna general de 0.92, a su vez en cada una de las dos competencias fueron obtenidos índices altos de coeficiente Alpha de Cronbach, en comprensión lectora el índice fue 0.89 y en producción de textos el índice fue 0.86.

En comprensión lectora, la serie de ejercicios que corresponde al aprendizaje esperado reconocer emociones en el lenguaje figurado (emociones) obtuvo un mayor índice de consistencia (0.91). La serie ejercicios un joven que viajó lejos para saber lo que era el miedo que evalúa el aprendizaje esperado comprensión de figuras literaria obtuvo también un alto índice de consistencia interna (0.88).

Por otro lado, las tareas con un bajo índice de consistencia interna fueron “tras los pasos de Hidalgo” (inferir información implícita)y el periódico (identificarlas secciones del periódico) ambas con 0.57; hubo otros ejercicios de los que no se obtuvo consistencia interna por que la serie constaba de solo un ejercicio.

En la competencia producción de textos, en general fueron obtenidos buenos índices de consistencia interna para las series de ejercicios (que corresponden a cada aprendizaje esperado evaluado), también existen ejercicios en los que no se obtuvo consistencia interna por que están constituidas por un solo ejercicio.

La serie de actividades denominada la entrevista que evalúa el aprendizaje esperado redactar preguntas, y la serie de ejercicios el discurso que evalúa el aprendizaje modifica el discurso directo a indirecto, obtuvieron una alto índice de consistencia interna, 0.95 y 0.94, respectivamente, mientras que el coeficiente Alpha de Cronbach más bajo fue de 0.57, para la serie Tras los pasos de Hidalgo.

2.2. Validación de constructos

2.2.1. Comprensión lectora

La figura 1 muestra el modelo de Análisis Factorial Confirmatorio, en el que aparecen los 20 ejercicios o indicadores agrupados en siete constructos que corresponden a los aprendizajes esperados en la competencia “comprensión lectora”. Este modelo resultante de análisis factorial confirmatorio posee una bondad de ajuste aceptable (X2=189.27; P=0.03, CFI=0.99; RMSEA=0.05), lo cual significa que este se ajusta al modelo hipotetizado inicialmente de organización de las ejecuciones de los aprendizajes esperados derivados teóricamente del plan y programa de estudios de la SEP y de acuerdo con los ejercicios de los libros de texto, organizados de acuerdo con el enfoque por competencias, del plan y programa de la SEP para el aprendizaje formal de la comprensión lectora en el sexto grado.

Los círculos representan a los constructos que describen a los aprendizajes esperados, y los rectángulos se refieren a cada una de las tareas de ejecución que los alumnos deben desarrollar de acuerdo con cada aprendizaje esperado (sus indicadores).

Las curvas bidireccionales indican el grado de covariación entre dos constructos (aprendizajes esperados). Covariaciones altas y significativas entre constructos en un rango entre -1 y 1 significaría que no hay divergencia en la evaluación de competencias lingüísticas con ambos constructos (aprendizaje esperado).

Por otra parte, las flechas direccionales de un círculo a los rectángulos, indican las relaciones entre cada constructo o aprendizaje esperado y sus indicadores o actividades. Altos pesos factoriales y homogéneas entre un constructo y sus indicadores, significaría una buena validez convergente de constructo, lo cual normalmente se corresponde con una buena consistencia interna del factor o constructo (aprendizaje esperado).

En general, las varianzas explicadas de los indicadores de comprensión lectora fueron explicados por el modelo en un buen porcentaje, con excepción de la variable LECEROR6: ejercicio 6 (“dentro de mil años”) correspondiente al aprendizaje esperado Corrección de errores ortográficos, que obtuvo una varianza explicada=0.15%.

Figura 1. Modelo resultante de AFC de la evaluación de comprensión lectora

Fuente: Elaboración mediante EQS 2011

Asimismo, en los casos extremos, el modelo explicó el 93% de la variabilidad del ejercicio LECCOME2 (“Un joven que viajó lejos para saber lo que era el miedo”) del aprendizaje esperado comprensión de figuras literarias; otro aprendizaje esperado que tiene una varianza alta es el de inferir el significado de la palabra en el segundo ejercicio (LINFESG2) con 0.95. Por otro lado los ejercicios con varianza baja en la competencia de comprensión lectora fueron: LECIMPL2 del aprendizaje esperado inferir información implícita, con 0.26; LECEROR6 del aprendizaje esperado corregir errores ortográficos, con 0.15 y LECPERI3 del aprendizaje esperado identificar las secciones del periódico con 0.19.

2.2.2. Producción de textos

En la Figura 2 es presentado el modelo resultante de análisis factorial confirmatorio, mediante el cual se obtuvo la validez de constructo, tanto convergente como divergente (o discriminación entre de constructos) en la competencia referida a producción de textos propios. De acuerdo con los indicadores prácticos de bondad de ajuste obtenidos, este modelo resultante es similar al modelo hipotetizado (x2=159.59, P=0.00, CFI=0.99 y RMSEA=0.08).

De acuerdo con estos datos, se cuenta con un instrumento válido para evaluar competencias de producción de textos en seis aprendizajes esperados: Fueron confirmados 16 indicadores o ejercicios agrupados en seis competencias específicas de producción de textos, las mismas que corresponden a los aprendizajes esperados que se incluyen en el programa de español sexto grado de la SEP y que están contenidos en los libros de texto gratuito.

Figura 2. Modelo resultante de AFC de evaluación de producción de textos

Fuente: Elaboración mediante EQS

Al igual que en la validación de constructo de comprensión lectora, en el caso concreto de “producción de textos”, los aprendizajes esperados (constructos) son representados en círculos ovoides, mientras que sus indicadores son representados en rectángulos. Y de la misma forma, se buscó obtener indicadores de convergencia y divergencia entre constructos (validez divergente) y simultáneamente, obtener cargas factoriales significativas entre el constructo y sus indicadores (validez convergente).

Por otra parte, el modelo resultante muestra que la actividad EscCarPe (escribir una carta personal) cargó factorialmente al aprendizaje esperado elaborar textos biográficos en lugar de cargar en el aprendizaje elaborar carta, esto probablemente se deba a que el aprendizaje esperado de elaborar textos biográficos y el aprendizaje escribir una carta personal son similares en cuanto a la redacción de elementos personales (vivencias).

La variable ESCINTR* que evalúa la producción de textos a través de la elaboración de un texto instructivo, fue eliminado por el programa estadístico porque no contribuía a la validación del constructo. La varianza explicada en su mayoría tiene buenos índices, con excepción de la tarea escritura de una autobiografía que tiene 0.27, mientras que los demás ejercicios van en un rango de .50 a .98.

3. DISCUSIÓN

• Fue obtenido un instrumento con buena consistencia interna y con buena validez convergente y divergente de constructo tanto en comprensión lectora, como en producción de textos. Este hallazgo aún con un número reducido de ítems y con cuatro grupos escolares, respalda empíricamente la estructuración de competencias comunicativas y los aprendizajes esperados inherentes a dichas competencias.

Por otra parte, si bien es cierto que estos modelos obtenidos con ecuaciones estructurales son técnicamente robustos para la valoración de modelos teóricos explicativos, en este caso de las competencias de comprensión lectora y de producción de textos, estos no validan por sí mismos, si la situación de aprendizaje (el trabajo en el aula por ejemplo) corresponde propiamente al enfoque por competencias. No obstante, estos modelos obtenidos sí permiten suponer que las ejecuciones de los alumnos de sexto grado evaluados, se estructuran de acuerdo con los aprendizajes esperados para sexto grado, considerados como morfológicamente diferentes por su estructura, aunque formen parte de una misma competencia comunicativa.

Estos aprendizajes esperados (constructos o variables latentes) al parecer son divergentes entre sí y permitirían valorar de manera diferencial el dominio que tienen los estudiantes en los diferentes aprendizajes esperados en la materia de español en el sexto grado de primaria, tanto en comprensión lectora, como en producción de textos. Pese a la restricción en el tamaño de la muestra y de la procedencia de un solo municipio de los alumnos de la muestra, es posible augurar resultados prometedores del enfoque por competencias, al menos en la estructuración de las actividades de aprendizaje, al inicio de la generalización de los programas de estudio, independientemente del posible efecto positivo o no, en los logros académicos (que no fue el motivo de este trabajo, el demostrar ese posible efecto).

Precisamente, el tamaño de la muestra es una de las limitaciones que debe ser superada para una mejor valoración de la estructuración factorial de los aprendizajes esperados y de las competencias lingüísticas siguiendo la aplicación del programa de estudios en el aula.

• El tamaño de la muestra puede influir en la significatividad del indicador de bondad de ajuste entre el modelo hipotetizado y el modelo obtenido en el Análisis Factorial Confirmatorio. Si bien es cierto que es recomendable tener muestras grandes para el modelamiento con ecuaciones estructurales (MEE), no hay un acuerdo claro entre los expertos sobre el número mínimo que debe tener una muestra; hay quienes señalan como optimo una muestra no menor de 200 personas, y otros más extremos varían entre 100 y 400 personas, como el tamaño mínimo que deben tener las muestras para el MEE (Thompson, 2000). Pero, Bentler y Yuan (1999) han planteado también el modelamiento con ecuaciones estructurales con muestras pequeñas de 60 a 120 casos (personas).

Por otra parte, tampoco existe un acuerdo común en cuanto a la razón del número de casos/número de variables. La correspondencia entre el número de participantes y el número de variables de medida a ser incluidos en la validación convergente y divergente de constructos, puede variar entre 10 a 20 sujetos por variable (Shumacker y Lomax, 1996; Thompson, 2000). Sin embargo, Bentler y Chou (1987) han sugerido que una razón de cinco casos (sujetos) por variable, puede ser suficiente cuando las variables latentes (o constructos) tienen indicadores múltiples, como fueron los casos de los siete aprendizajes esperados y sus indicadores, en la competencia comprensión lectora, y de los seis aprendizajes esperados y sus indicadores, en la competencia producción de textos.

En este estudio el tamaño de la muestra fue N=87, para 20 variables manifiestas en comprensión lectora y para 16 variables manifiestas en producción de textos (aprendizajes esperados en cada competencia). En cuanto a la razón número de casos/número de variables, en comprensión lectora hubo una correspondencia cercana al parámetro mínimo permitido (4.37), y en producción de textos fue superior a dicho parámetro mínimo (5.44).

Si bien es cierto que este estudio fue exploratorio y a pequeña escala, y considerando las dificultades que se tuvieron para obtener más grupos escolares en el primer año de generalización de la reforma educativa en la primaria en el sexto grado, futuros estudios con este instrumento de evaluación deberán incluir muestras más grandes y de diversas regiones o supervisiones escolares de Morelos, para su generalización.

• En cuanto a la bondad de ajuste entre modelos, el índice χ2 (Chi cuadrada) en los modelos estructurales resultantes indican la diferencia entre la matriz de covarianza observada y la predicha por el modelo hipotetizado. Los valores no significativos (χ2 > 0.05) indican que ambos modelos son similares, es decir, el modelo hipotetizado se ajusta a los datos del modelo obtenido. Los expertos señalan que este índice es sensible al tamaño de la muestra, por lo que, si el tamaño de la muestra es menor, es más probable que se obtengan valores muy significativos de diferencia entre modelos, y haya mayor probabilidad de rechazar el modelo hipotetizado (Guardia y Arnau, 1991; Jöreskog, 1969; Salanova, Schaufeli, Llorens, Peiro y Grau, 2000; Topa y Morales, 2006).

En el caso del estudio aquí reportado, la probabilidad de significatividad asociada fue menor de 0.05 en los dos modelos obtenidos, por lo que es probable que se debieron al tamaño de la muestra y a la correspondencia entre número de sujetos /número de variables. Al respecto, Bazán, Sánchez y Castañeda (2007) han señalado que existen diversas propuestas en los estudios con modelamiento estructural, para mejorar y controlar la bondad de ajuste de los modelos obtenidos en comparación con los modelos hipotetizados, pero, la mayoría de los investigadores reportan generalmente además de la chi cuadrada, indicadores prácticos de bondad ajuste de sus modelos, como el CFI comparative fit index y RMSEA mean square error of approximation (McDonald y Ho, 2002). Asimismo, Salanova, et. al. (2000), consideran que el índice CFI es una medida adecuada para muestras pequeñas.

En concordancia con estos principios de bondad de ajuste, ambos modelos confirmatorios obtenidos en este estudio, para la medición de la comprensión lectora y la producción de textos, obtuvieron valores de CFI=0.99 y de RMSEA entre 0.05 y 0.08, considerados por la literatura en ecuaciones estructurales, como buenos indicadores de bondad de ajuste (Topa, Lisbona, Palaci y Alonso, 2004).

• Una característica diferente de este instrumento respecto de otras evaluaciones de lo qué y cómo se aprende, especialmente de las pruebas a gran escala, es que no son incluidas preguntas específicas que demandan como respuestas el elegir datos exactos, más bien, se trata de actividades que demandan para su ejecución, situaciones en el que el alumno tiene que elaborar un producto en función de la información que se le proporciona, con base en sus conocimientos previos que ha adquirido según el programa del grado en que cursa, y de acuerdo con los criterios de logro especificados en cada actividad o ejercicio de evaluación.

Este hallazgo sobre los constructos implicados en el programa de Español sexto grado proporciona evidencias preliminares a la estructuración de competencias de comprensión lectora y producción de texto por aprendizajes esperados, y también proporciona evidencias preliminares sobre algunos ejercicios o actividades que tendrán que ser revisadas desde el marco de referencia conceptual que guía al programa, o en todo caso considerar y en su caso validar, factores de inter aprendizajes esperados y buscar jerarquías cualitativamente incluyentes, entre este tipo de factores conformados por uno o más aprendizajes esperados, y los otros aprendizajes esperados.

• Otro aspecto a tomar en cuenta es que las competencias, en tanto corresponden a ajustes funcionales en relación a criterios de logro, pueden ser valoradas cualitativa y/o cuantitativamente. Solo es en función de la posibilidad de aplicabilidad y de demanda (criterios de logro), que un estudiante puede mostrar lo que ha aprendido y lo que sabe hacer, es decir, los aprendizajes esperados especificados en el plan y el programa.

Cabe destacar que no está en debate la evaluación de lo que los alumnos deben ser capaces de aplicar y utilizar, si no, el cómo se deben evaluar esos aprendizajes y el uso que se hace de las evaluaciones de aprendizajes, especialmente cuando estos resultados se toman como indicadores únicos de lo que el alumno ha aprendido en un ciclo escolar, por ejemplo, como indicador del logro académico o resultados de aprendizaje al final del año escolar.

Precisamente, este instrumento demuestra su fiabilidad y validez para evaluar por competencias y demuestra que los aprendizajes esperados que se identifican, son mutuamente excluyentes, aunque en conjunto conformen estructuralmente una competencia lingüística determinada.

En suma, los hallazgos de este estudio muestran la pertinencia de la estructuración de las competencias lingüísticas comunicativas por aprendizajes esperados, es decir que es posible evaluar aprendizajes en la materia de español, por competencias y con criterios jerarquizados y cuantificables. Como señalan Zabala y Arnau (2008), evaluar competencias es evaluar procesos en la resolución de situaciones problema, esto quiere decir, que evaluar competencias es valorar la capacidad del estudiante para responder satisfactoriamente en función de los criterios de logro que le demanda una tarea o grupo de tareas.

REFERENCIAS

Backhoff, E., Sánchez, A., Peón, M. y Andrade, E. (2010). Comprensión lectora y habilidades matemáticas de estudiantes de educación básica en México: 2000-2005. Revista Electrónica de Investigación Educativa, 12(1), 1-25.

Bazán, A., Castañeda, S., Macotela, S. y López, M. (2004). Evaluación del desempeño de lectura y escritura: aportes empíricos a la noción de componentes lingüísticos en el cuarto grado de primaria. Revista Mexicana de Investigación Educativa, 9, 841-861.

Bazán, A., Sánchez, B. y Castañeda, S. (2007). Relación estructural entre apoyo familiar, nivel educativo de los padres, características del maestro y desempeño en lengua escrita. Revista Mexicana de Investigación Educativa, 12, 701-729.

Bazán, A., Sánchez, B., Corral, V. y Castañeda, S. (2006). Utilidad de los modelos estructurales en el estudio de la lectura y la escritura. Revista Interamericana de Psicología, 40, 85-93.

Bazán, A. y Vega, N. (2010). La enseñanza del español en la primaria mexicana. Revista Mexicana de Psicología, 27, 205-220.

Bentler, P. y Chou, C. (1987). Practical Issues in Structural Modeling. Sociological Methods and Research, 16(1), 78-117.

Bentler, P. y Yuan, K. (1999). Structural Equation Modeling with Small Samples: Test Statistics. Multivariate Behavioral Research, 34(2), 181-197.

Carvallo, M. (2005). Análisis de los resultados obtenidos en estudios de eficacia escolar en México, comparados con los de otros países. REICE. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 3(2), 80-108.

Cazares, L. (2007). Planeación y evaluación basadas en competencias. Fundamentos y prácticas para el desarrollo de competencias docentes, desde el preescolar hasta el Posgrado. México: Trillas.

Contreras, L.A. (2000). Desarrollo y pilotaje de un examen de español para la educación primaria en baja california. Tesis de Maestría en Ciencias Educativas. Universidad Autónoma de Baja California.

Contreras, L.A., González, M. y Urías, E. (2009). Evaluación de la Escritura Mediante Rúbrica en la Educación Primaria en México. Revista Interamericana de Psicología, 43, 518-531.

Corral, V. (1997). Disposiciones psicológicas. Un análisis de las propensiones, capacidades y tendencias del comportamiento. Hermosillo: UNISON.

De la Orden, A. (2011). Reflexiones en torno a las competencias como objeto de evaluación en el ámbito educativo. Revista Electrónica de Investigación Educativa, 13(2), 1-21.

García-Cabrero, B., Delgado, G., González, M., Pastor, R., González, M., Baeza, C. y Pozos, L. (2002). Establecimiento de competencias básicas para la educación en la primera infancia. México: UNICEF/UNESCO.

García, B., Loredo, J., Luna, E. y Rueda, M. (2008). Modelo de Evaluación de Competencias Docentes para la Educación Media y Superior. Revista Iberoamericana de Evaluación Educativa, 1(3), 124-136.

García, J.M. (1997). Análisis factorial confirmatorio en la validación del constructo competencia docente del profesor universitario. Bordón. Revista de pedagogía, 49, 361-391.

García, M. y Vargas, P. (2008). Hacia la formación del psicólogo por competencias. En C. Carpio (ed.), Competencias profesionales del psicólogo: Investigación, experiencias y propuestas (pp. 75-102). México: UNAM.

Guardia, J. y Arnau, J. (1991). Análisis evaluativo de las características teórico-empíricas de los sistemas de ecuaciones estructurales. Anuario de Psicología, 48, 5-16.

Jöreskog, K.G. (1969). A general approach to confirmatory maximum likelihood factor analysis. Psychometrika, 34, 183-220.

Lévy-Leboyer, C. (1997). Gestión de las competencias. Barcelona: Gestión 2000.

McDonald, R.P. y Ho, M.R. (2002). Principles and practice in reporting structural equation analyses. Psychological Methods, 7(1), 64-82.

Moreno, R. (1994). Utilidad metodológica de una taxonomía de competencias relacionales. En L. Hayes, E. Ribes y F. López (eds.), Psicología interconductual: contribuciones en honor a J. R. Kantor (pp. 19-44). Guadalajara: Universidad de Guadalajara.

Murillo, F.J. (2010). ¿Quiénes son los responsables de los resultados de las evaluaciones?: hacia un planteamiento de valor agregado en educación. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 8(4), 1-4.

Pereda, S., Berrocal, F. y Sanz, P. (2003). Los perfiles de exigencias en la ocupación del profesional de recursos humanos. Psicología desde el Caribe, 12, 13-38.

Pérez-Gil, J.A., Chacón, S. y Moreno, R. (2000). Validez de constructo: el uso de análisis factorial exploratorio-confirmatorio para obtener evidencias de validez. Psicothema, 12, 442-446.

PND (2001). Plan Nacional de Desarrollo 2001-2006. Gobierno de los Estados Unidos Mexicanos. Presidencia de la República. Disponible en http://bibliotecadigital.conevyt.org.mx

Peñalosa, E. y Castañeda, S. (2012). Identificación de predictores para el aprendizaje efectivo en línea. Un modelo de ecuaciones estructurales. Revista Mexicana de Investigación Educativa, 17(52), 247-285.

Prieto, G. y Muñiz, J. (2000). Un modelo para evaluar la calidad de los tests utilizados en España. Papeles del Psicólogo, 77, 65-75.

Ribes, E. (2006a). Competencias conductuales: Su pertinencia en la formación y práctica profesional del psicólogo. Revista Mexicana de Psicología, 23, 19-26.

Ribes, E. (2006b). La educación pública en el nuevo siglo ¿qué hacer? En R.M. Romo (coord.), Reflexiones y propuestas universitarias en la sociedad del cambio (pp. 71-88). Guadalajara: Universidad de Guadalajara

Ribes, E. (2008). Educación básica, desarrollo psicológico y planeación de competencias. Revista Mexicana de Psicología, 25, 193–207.

Salanova, M., Schaufeli, W., Llorens, S., Peiro, J. M. y Grau, R. (2000). Desde el “burnout” al “engagement”: ¿una nueva perspectiva? Revista de psicología del trabajo y las organizaciones, 16(2), 117-134.

Sánchez, B., Bazán, A. y Corral, V. (2009). Análisis de características morfológicas y funcionales de competencias de lectura y escritura en niños de primaria. Revista Mexicana de Análisis de la Conducta, 35, 37-57.

Schumacker, R.E. y Lomax, R.G. (1996). A beginner’s guide to structural equation modeling. Hillsdale, NJ: Lawrence Erlbaum.

Secretaría de Educación Pública, SEP (2009a). Plan de estudios 2009. Educación Básica. Primaria. México: SEP

Secretaría de Educación Pública, SEP (2009b). Programas de Estudio 2009 Sexto Grado Educación básica Primaria. México: SEP

Secretaría de Educación Pública, SEP (2010). Español. Sexto grado. México: SEP, Dirección General de Materiales Educativos.

Thompson, B. (2000). Ten commandments of structural equation modeling. In L. Grimm y P. Yarnold (eds.), Reading and understanding MORE multivariate statistics (pp. 261-283). Washington, DC: American Psychological Association.

Topa, G., Lisbona, A., Palaci, F. y Alonso, E. (2004). La relación de la cultura de los grupos con la satisfacción y el compromiso de sus miembros: un análisis multi-grupo. Psicothema, 16(3), 363-368.

Topa, G. y Morales, 2006). Identificación organizacional y proactividad personal en grupos de trabajo: un modelo de ecuaciones estructurales. Anales de psicología, 22(2), 234-242.

Vázquez-Chagoyán, R. (2005). La escuela a examen. Las reformas educativas más de cuatro décadas de fracasos. Observatorio ciudadano de la educación. Colaboraciones libres. Disponible en http://www.observatorio.org/colaboraciones/

Zabala, A. y Arnau, L. (2008). 11 ideas clave: Como aprender y enseñar competencias. México: Editorial Grao.

 

ANEXO I

Tabla I. Organización de las actividades de evaluación de la competencia Comprensión Lectora, Sexto grado de primaria

Competencia	Aprendizaje Esperado	Tema	Número de ejercicios
Comprensión lectora	Inferir información	El gato negro	1
		Emiliano Zapata y la Revolución Agraria	2
		Tras los Pasos de Hidalgo	2
	Completar metáfora	Un joven que viajó lejos para saberlo que era el miedo	2
	Corregir errores	Dentro de mil años	5
	Identificar sección	El periódico	2
	Inferir significados	El cuento náhuatl	2
	Reconocer figuras literarias	Poemas	2
	Reconocer lenguaje figurado	Emociones	2

Fuente: Organización de contenido de la comprensión lectora 2011

ANEXO II

Tabla II. Organización de las actividades de evaluación de la competencia de Producción de textos, sexto grado de primaria

Competencia	Aprendizaje Esperado (Series)	Tema	Número de ejercicios
Producción de textos	Elaborar preguntas	La entrevista	4
	Elaborar carta	La carta de opinión	2
	Convertir discurso	El discurso	3
	Elaborar texto biográfico	Autobiografía	1
		Biografía	1
		A mi querid@	1
	Describir personajes	El personaje	2
	Describir evento	La posada Navideña	2

Fuente: Organización de contenido de la producción de textos

{1} Este trabajo fue realizado con financiamiento del Programa de Mejoramiento del Profesorado, otorgado por la SEP – PROMEP (2008-2010) y del Consejo Nacional de Ciencia y Tecnología de México, CONACYT, Ciencia Básica 2010, Proyecto Nº 151981. Denisse Barrera y Nayeli Vega contaron con beca PROMEP y CONACYT respectivamente, para sus trabajos de titulación como licenciadas en Psicología.