FACTORES QUE AFECTAN EL DESEMPEÑO DE LOS ALUMNOS MEXICANOS EN EDAD DE EDUCACIÓN SECUNDARIA.UN ESTUDIO DENTRO DE LA CORRIENTE DE EFICACIA ESCOLAR
Mauricio Carvallo
1. INTRODUCCIÓN La corriente de eficacia escolar cobra cada día mayor fuerza, lo cual se puede apreciar por la gran cantidad de estudios que continuamente se están publicando. Al mismo tiempo se refinan las metodologías utilizadas en los estudios, como es el caso de PISA, mientras que los modelos estadísticos utilizados se tornan más complejos y completos. Son tantos los estudios en eficacia escolar que ya son comunes los meta-análisis de los mismos, Teddlie y Reynolds (2000), Murillo (2003) y Marzano (2000). La mayoría de los investigadores identifican tres vertientes diferentes que ha tomado las investigaciones de eficacia escolar (Teddlie, Reynolds y Pol, 2000: 44, Fernández 2003, Murillo 2003): Investigación sobre los efectos de la escuela (“School effects research” SER) enfocado en el estudio científico de los efectos en el desempeño de los alumnos. Utilizan desde investigaciones tradicionales hasta modelos multinivel sofisticados. Se enfocan únicamente a cuantificar el efecto de las escuelas, principalmente bajo la definición de eficacia relativa. Los estudios sobre las escuelas eficaces (“Effective School Research” ESR) Enfocados más en el estudio del proceso de las escuelas eficaces. Utilizan principalmente estudios de caso e investigaciones tipo prototípicas. Generalmente son una mezcla de estudios cualitativos y cuantitativos. Los estudios para la mejora de escuelas (“School improvement research” SIR). Enfocados en el proceso a seguir para que una escuela pase a ser una escuela eficaz. Utilizan modelos sofisticados y van más allá de simplemente cuantificar el efecto de las escuelas (como lo hacen en el primer grupo), sino que buscan establecer las características de las escuelas eficaces que sean transferibles a otras escuelas. Son los estudios que tratan de construir una teoría que soporte los modelos de mejora de escuela Este artículo presenta los resultados de una investigación para soportar los estudios del tercer tipo, dado que se concentra en identificar, cuantificar y jerarquizar los factores que afectan el desempeño de los alumnos en educación secundaria. Existen diversas concepciones del término de eficacia escolar, Teddlie, Reynolds y Sammons (2000:65) identifican 6 diferentes formas de definir un efecto de escuela: Efecto absoluto de escuela. Se busca el impacto de asistir a una escuela versus no asistir. En la literatura se encuentran escasos estudios acerca de este efecto y no es el principal objetivo de la corriente de eficacia escolar. Efecto de escuela como el promedio de desempeño de todos los alumnos, sin ajustar. También conocido como la noción absoluta de eficacia (Fernández 2003 p 3) o productividad escolar (Murillo, 2003). Simplemente se jerarquizan a las escuelas por los resultados obtenidos en alguna evaluación, sin hacer ninguna consideración por su contexto o antecedentes de sus alumnos. Efecto de escuela como el impacto de la institución en TODOS los estudiantes de la misma, ajustado en función de los antecedentes de los alumnos. Se busca aislar los efectos en el desempeño académico de las variables que están bajo el control de la escuela, separándolos de aquellos factores inherentes al alumno. Generalmente utilizan promedio de desempeño total de la escuela, con métodos de regresión tradicionales. Efecto de la escuela como la proporción de la variación “entre” escuelas, del total de variación de los resultados individuales de los alumnos. Los investigadores reportan dentro de sus investigaciones, qué porcentaje de la variación total corresponde a la variación “entre escuelas” (mediante un análisis de componentes de varianza en donde se separa los componentes “entre factores” de “dentro del factor”). Estos estudios utilizan tanto modelos multinivel MM o jerárquicos lineales (HLM), como análisis de regresión (OLS). En este estudio se presentan resultados bajo este enfoque, relacionado con el movimiento SER. Efecto de la escuela como medida del efecto único de cada escuela del sistema en el desempeño de sus alumnos. En otras palabras, corresponde a la diferencia de los resultados de una escuela con respecto a un estándar o al promedio de las escuelas, después de haber ajustado por los antecedentes de los alumnos. Por lo tanto, cada escuela en el sistema tiene un efecto único e individual. Willms (1992) bajo este marco de referencia define lo que se conoce como efecto tipo A y efecto tipo B: Efecto tipo A. Considere a un estudiante “promedio”. ¿Qué tan bien se desempeñará dicho alumno en la escuela X comparado con el promedio total del sistema? Efecto tipo B.  Considere el mismo alumno “promedio”. ¿Qué tan bien se desempeñará dicho alumno en la escuela X, comparado con el promedio de escuelas de composición similar (contexto) y antecedentes de los alumnos? Bosker y Witziers (1996) proporcionan la siguiente explicación para los dos efectos: “El efecto tipo A corresponde a la variación entre escuelas después de controlar los antecedentes de los alumnos. El efecto tipo B mide el impacto de las prácticas de la escuela en el desempeño de los alumnos después de controlar los antecedentes del alumno y el contexto de la escuela. El efecto tipo A es de interés para alumnos y padres de familia de manera que puedan escoger la mejor escuela. El efecto tipo B es de interés para aquellos que quieren identificar y estudiar los factores que hacen mejor a las escuelas” Utilizar únicamente el efecto tipo A, significa regresar a la segunda definición de efecto de escuelas, mencionada como la “noción absoluta de eficacia”. Esta definición también se conoce como la noción de eficacia relativa, ya que una escuela es considerada eficaz, si sus resultados están por encima de un cierto parámetro calculado con respecto al promedio del desempeño de las escuelas, después de controlar los antecedentes del alumno y el contexto de la escuela. Cabe mencionar que es uno de los conceptos de eficacia escolar más utilizados en las investigaciones, y es el concepto de eficacia escolar que se utiliza en el presente trabajo. Efecto de escuela como la medida del impacto de la escuela en el desempeño del alumno a través del tiempo. Esta definición es más apropiada para los estudios longitudinales. La literatura indica que los efectos cuantificados de esta manera son muy superiores a los efectos cuantificados con estudios transversales. A las anteriores definiciones Fernández (2003) agrega: La noción de eficacia incremental. Una escuela es eficaz si logra una diferencia positiva entre los puntajes que obtienen los alumnados a lo largo del tiempo. Esta definición tiene el atractivo de que contrasta a una escuela contra si mismo. El enfoque de Edmons (1979). Preocupado por el concepto de equidad, Edmonds señala que en promedio una escuela puede lograr la eficacia relativa manteniendo aún inequidades internas. Señala la siguiente definición “… escuela eficaz es aquella en la que la proporción de niños de bajo nivel socioeconómico que demuestran competencia básicas es virtualmente idéntica a la proporción de alumnos de clase media que lo hacen”. 2. LA IGUALDAD EN LAS POLÍTICAS EDUCATIVAS El objetivo principal del estudio es Identificar, cuantificar y jerarquizar los principales factores que afectan el desempeño académico de un alumno de educación secundaria en el sistema educativo mexicano, medido en diferentes pruebas estandarizadas. Para ello, el estudio utiliza las principales pruebas estandarizadas de aplicación masiva en el territorio mexicano, las cuales se presentan en la siguiente sección. Todas las bases de datos utilizadas corresponden a la aplicación del año 2003. 3. LAS PRUEBAS Se agradece a las instituciones: Centro Nacional de Evaluación para la Educación Superior A.C. (CENEVAL), el Instituto Nacional de Evaluación para la Educación (INEE) y la Organización para la Cooperación y el Desarrollo Económico (OCDE), el que hayan proporcionado sus bases de datos, así como la información correspondiente al contexto de los alumnos y los cuestionarios aplicados. Sin su apoyo no hubiera sido posible la realización del presente estudio. 3.1. Pruebas Nacionales del INEE La información completa acerca de las pruebas nacionales aplicadas por el INEE, se encuentra en el cuadernillo publicado por el mismo instituto (INEE, 2004), bajo el nombre de “Pruebas Nacionales ciclo 2002-2003, bases de datos de alumnos, logro y contexto”. A continuación se presenta un resumen de las características. Los antecedentes de las pruebas nacionales (PN) son las pruebas de estándares nacionales (PEN) aplicadas anteriormente por la Secretaría de Educación Pública desde 1998. Es hasta junio de 2003 cuando el INEE hizo la primera aplicación de la prueba. Tienen un formato diferente a las pruebas de años anteriores. El objetivo de las PN fue el de:  “… proveer de información representativa de todo el país de los alumnos de primaria así como de secundaria, que permita aportar elementos valiosos sobre el panorama de la educación nacional en aspectos de lectura como de matemáticas” (INEE:6). La muestra utilizada en las PN es la misma que se utilizaba en las PEN, diseñada en 1996 para primaria y en 2000 para secundaria. Consiste en dos etapas, primero se eligen las escuelas y posteriormente se eligen a los alumnos dentro de las escuelas. En secundaria se tiene una cuota de 35 alumnos de cada grado, elegidos al azar. Esto significa 105 alumnos por escuela de los tres grados, lo cual es una muestra significativa de la escuela. Para elegir a las escuelas se utiliza un modelo de probabilidad proporcional al tamaño de la escuela para cada uno de los estratos considerados. El INEE en 2003 volvió a verificar la representatividad de la muestra, obteniendo resultados satisfactorios (ibid:9). La muestra cubre escuelas secundarias generales, técnicas, telesecundarias y privadas. Su tamaño es tal, que permite analizar estadísticamente resultados por entidad y dentro de ella, por tipo de escuela (general y técnica), “inicialmente la muestra fue diseñada para tener una precisión del 95% en los estratos considerados” (ibid:6). Se miden los tres grados de secundaria, utilizando la misma prueba para los tres grados, de manera que es posible (indica el mismo INEE) hacer comparaciones entre los tres grados. Las pruebas se concentran en los dos aspectos fundamentales de cualquier sistema educativo a nivel básico. La comprensión lectora (Lectura) y la habilidad matemática. El INEE indica (ibid:19): “En el tema de comprensión lectora, … , se plantea como objetivo que los alumnos sepan buscar información, interpretarla, valorarla, procesarla y emplearla dentro y fuera de la escuela… En cuanto a la habilidad matemática … la capacidad de los niños para utilizar las matemáticas como herramienta para reconocer, plantear y resolver problemas, anticipar y verificar resultados, comunicar e interpretar información matemáticas … dentro de las pruebas se definieron seis habilidades medibles involucradas en la resolución de problemas: operar, medir, comunicar, imaginar, generalizar e inferir”. Todas las preguntas son de opción múltiple, con cuatro opciones de respuesta, una sola correcta. Los puntajes brutos de los alumnos se transformaron a una escala Rasch, la cual es lineal, basada en el supuesto de un compartimiento probabilístico de los reactivos (teoría de respuesta al item). La escala es transformada para ser centrada en el valor 500. El rango operativo de las pruebas va de 200 a 800 unidades. 3.2. Exámenes Nacionales de Ingreso EXANI I (CENEVAL) El examen nacional de ingreso a la educación media superior (EXANI I) es de los primeros proyectos del Centro Nacional de Evaluación para la Educación Superior A.C. en 1994. Es el examen desarrollado por el CENEVAL de mayor aplicación, siendo 535,529 los sustentantes de este examen en 2003 (CENEVAL 2004:8). Su principal uso es la determinación del ingreso a las instituciones públicas de educación media superior, particularmente de la zona metropolitana y estado de México. En 2003 fueron 267,772 los sustentantes como parte del “Concurso de ingreso a la educación media superior de la zona metropolitana de la Cd. de México”, esto es, aproximadamente la mitad (Comisión Metropolitana de Instituciones Públicas de Educación Media Superior COMIPEMS 2004). Los principales propósitos del EXANI I son (Hernández 2004:60): Proporcionar a las instituciones de educación media superior elementos de juicio para realizar un proceso  de selección justo y objetivo. Proporcionar a las instituciones de educación media superior información diagnóstica de naturaleza cuantitativa y cualitativa, que le permita aplicar medidas que resuelvan los problemas detectados en su población de ingreso, tales como programas de ubicación o nivelación o acciones de ajuste a los programas de estudio Está integrado por dos áreas; habilidades y conocimientos, y diez secciones: habilidad verbal, habilidad matemática, matemáticas, física, química, biología, formación cívica y ética, geografía, español e historia. Consta de 128 reactivos de opción múltiple, con cinco opciones de respuesta, distribuidos de la siguiente manera: Área Reactivos % Sección Reactivos Habilidades intelectuales básicas. 32 25 Habilidad verbal Comprensión de lectura 7 16 Sinónimos 3 Antónimos 3 Analogías 3 Habilidad matemática Sucesiones numéricas 4 16 Series espaciales 4 Imaginación espacial 4 Razonamiento 4 Conocimientos disciplinarios 96 75 Español 12 Historia 12 Geografía 12 Formación cívica y ética 12 Matemáticas 12 Física 12 Química 12 Biología 12 Total 128 100 128 Es una prueba con referencia a la norma, cuyos resultados oscilan entre 700 y 1,300 puntos, esperando que el promedio de la población sea de 1,000 puntos. Los datos analizados corresponden a todos los sustentantes. Como se desprende de la naturaleza del examen, no corresponde a una muestra seleccionada de alumnos de tercero de secundaria, sino que corresponde sólo a aquellos que presentaron el examen ya sea porque la institución de educación media superior a la que aspiraba ingresar lo requería, o bien porque la escuela secundaria en donde estaba lo aplicaba a manera de diagnóstico. Lo anterior significa que muchos alumnos de tercero de secundaria que no planeaban seguir sus estudios, estarían fuera del universo de sustentantes, probablemente alumnos con menor desempeño académico. Por otra parte, aquellos alumnos que aspiraban ingresar a una institución de educación media superior privada, las cuales por lo general no requieren de este examen, también estarían fuera del universo de los sustentantes, probablemente alumnos con mejor desempeño académico. No se puede concluir si es que el promedio de los resultados del EXANI es un estimador insesgado del promedio de la población de alumnos que cursan el tercer grado de secundaria o no. Lo anterior no es tan importante para los fines de este estudio, ya que el objetivo es determinar los factores que afectan el desempeño académico de los alumnos de secundaria, en vez de hacer un diagnóstico del nivel educativo del país. De la totalidad de alumnos sustentantes de la prueba, sólo se consideraron aquellas escuelas con 35 o más alumnos, de manera que fuera consistente con la forma de muestreo que siguieron el INEE y la OCDE. Se eliminaron todos los registros de alumnos que no identificaban su secundaria de procedencia. Como resultados, EXANI I proporciona 11 índices, identificados con diferentes secciones del currículum de la secundaria: Índice general CENEVAL ICNE Índice habilidad verbal (HV) Índice Español (ESP) Índice Historia (HIS) Índice Geografía (GEO) Índice Formación Cívica y Ética (FCE) Índice habilidad matemática (HM) Índice Matemáticas (MAT) Índice Física (FIS) Índice Química (QUI) Índice Biología (BIO) Cabe mencionar que ninguno de estos índices corresponde a una y sólo una materia. Por ejemplo, Geografía en 1º de secundaria corresponde a Geografía Universal y en 2º año a Geografía de México. Parecido es el caso de Historia, que en 1º y 2º de secundaria es Universal y en 3º de secundaria se cubre Historia de México. Por otra parte, no se cubre la totalidad de la currícula de secundaria, ya que existen algunas materias no consideradas como las tecnológicas, artísticas y deportivas, las cuales pueden variar significativamente entre las escuelas. No se incluye la asignatura opcional para cada estado (por ejemplo: Historia y Geografía de Jalisco para el caso del Estado de Jalisco, en 3º de secundaria). Las escuelas que lo soliciten, pueden incluir una sección de Inglés, la lengua extranjera más común en las secundarias mexicanas, la cual no afecta el índice general. 3.3. Programa Internacional para la evaluación de alumnos PISA (OCDE) El programa Internacional para la evaluación de los alumnos (PISA por sus siglas en inglés), es una actividad que involucra a todas las naciones pertenecientes a la Organización para la Cooperación y el Desarrollo Económico (OECD por sus siglas en ingles), en donde se incluyen algunas naciones invitadas a participar en el estudio. Es la evaluación educativa más conocida a nivel mundial. El objetivo es evaluar la capacidad de los estudiantes de 15 años de edad (sin importar el grado en que se encuentren), para enfrentar los retos de las sociedades del conocimiento de hoy en día. Es importante aclarar que el análisis se efectuó con la totalidad de la muestra nacional, la cual incluye no sólo a alumnos de secundaria, sino también algunos alumnos de preparatoria. Fue necesario incluirlos, ya que representan el 76% de la muestra. De no haberlo hecho, la muestra se hubiera reducido significativamente. Es importante enfatizar que el diseño de las pruebas PISA es independiente de planes de estudio de los países, por lo que no mide el grado de conocimientos de los alumnos, típicamente adquiridos en las escuelas. Por el contrario, se enfoca en la forma en que los alumnos utilizan sus conocimientos y habilidades para resolver problemas de la vida real. Esto cada vez está más en línea con los objetivos de muchas currículas nacionales, las cuales han cambiado de una instrucción centrada en el conocimiento a una centrada en habilidades y capacidades. PISA seleccionó la edad de 15 años, ya que es una edad típica de muchos países cuando los jóvenes están terminando la educación obligatoria. De acuerdo a como lo indica la propia institución (OCDE 2005b:12) “hasta ahora PISA es el esfuerzo internacional más amplio, completo y riguroso para evaluar el desempeño de los alumnos, así como para recabar datos del alumno, de la familia y de la institución”. Lo anterior es fácil de corroborar al estudiar todos los materiales generados por la propia OCDE sobre PISA. Las pruebas PISA se aplican cada 3 años. La primera vez que se aplicaron fue en el año 2000 en donde participaron 32 países. En la aplicación de 2003 participaron 41 países, México entre ellos. Principalmente evalúa conocimientos en las áreas de lectura, matemáticas y ciencias. En cada una de las aplicaciones se enfatiza una de estas tres áreas, abarcando aproximadamente el 70% del examen y midiendo en menor grado las otras dos. En la aplicación de 2003 el enfoque principal fue en matemáticas. La aplicación de 2006 se centrará en ciencias. PISA define las áreas evaluadas como (ibid:14): Matemáticas: La capacidad del individuo para identificar y comprender el papel que juegan las matemáticas en el mundo, para emitir juicios bien fundamentados y para usar e involucrarse en matemáticas en formas que satisfacen las necesidades de la vida diaria del individuo, como un ciudadano constructivo, preocupado y reflexivo. Lectura: La capacidad del individuo para comprender, usar y reflexionar sobre textos, con el objeto de lograr los objetivos particulares, para desarrollar el conocimiento, su potencial y participar en sociedad. Ciencias: La capacidad para utilizar conocimiento científico, identificar cuestionamientos y sacar conclusiones basadas en evidencias, para comprender y ayudar a tomar decisiones de vida diaria y los cambios hechos en la misma por la actividad humana. Resolución de problemas: La capacidad del individuo para utilizar sus procesos cognitivos para enfrentar y resolver problemas de la vida diaria interdisciplinarios, en donde el camino de la solución no es obvio ni directo y en donde se requieren conocimientos de más de un área curricular adicionales a las matemáticas, ciencias y lectura. La aplicación consiste en una prueba de papel que se contesta con lápiz. Algunas preguntas son de opción múltiple, mientras que otras son preguntas cerradas con sólo una respuesta correcta. Se incluyen también preguntas abiertas. El muestreo se lleva a cabo primero seleccionando la escuela y después seleccionando 35 alumnos de 15 años de esa misma escuela. Si hubiera menos de 35 alumnos se incluirían a todos. Las escuelas son seleccionadas de acuerdo a una probabilidad proporcional a su tamaño. 3.4. Tabla comparativa de las pruebas En la tabla 1 se presenta una comparación resumen de las bases de datos analizadas: TABLA 1. COMPARATIVO DE LAS BASES DE DATOS ANALIZADAS.   P. NACION. 2003 PISA 2003 EXANI I 2003 Institución INEE OCDE CENEVAL Miden Lectura y Matemáticas Mat, Lectura, Res. Prob., Ciencias. HV, HM, Español, Matemáticas y otros. Población meta 1º, 2º  y 3º sec. 15 años. 3º sec. Muestreo Aleatorio proporcional Escuela -> alumno. Aleatorio proporcional Escuela -> alumno. Población de sustentantes Muestra analizada. 116,760 29,983 210,910 3.5 Preparación de las bases de datos Debido a que no es posible hacer análisis numéricos para algunas de las respuestas de los cuestionarios fue necesario transformar la escala ordinal que se utiliza en una escala ordinal numérica, de tal forma que se mantuviera el orden de preferencia, importancia o magnitud. Por ejemplo, las respuestas SI/NO se transformaron en 1/0. Otras respuestas fueron transformadas de manera que tuvieran una lógica lineal creciente, entre mayor sea el valor,  significa que es mejor. Por ejemplo: ORIGINAL TRANSFORMACION 1. Siempre 2. Siempre 2. A veces 1. A veces 3. Nunca   0. Nunca 1. Muchos 3. Muchos 2. Algunos 2. Algunos 3. Pocos 1. Pocos 4. No tengo 0. No tengo Las preguntas sobre los estudios de cada uno de los padres se convirtieron en una sola variable, equivalente a los años de estudio, por ejemplo de la siguiente manera:                         Primaria incompleta                                                  3                         Primaria completa                                                     6                         Secundaria incompleta                                              7.5                         Secundaria completa                                                 9                         Terminó bachillerato o una profesión                        12 Cabe mencionar que son pocas las variables, como ésta junto con la edad del alumno, que puede asumir valores mayores, dado que las demás respuestas son del tipo binario (0/1), o bien con un rango limitado de respuestas (de cero a tres por ejemplo). Por razones obvias, se eliminaron de la base de datos todas las codificaciones erróneas como “respuesta múltiple”, “respuesta omitida” y “respuesta incorrecta”, dejando los espacio en blanco. Es una lástima que se pierda valiosa información debido a que los alumnos eligieron erróneamente varias respuestas, lo cual denota una falla en la aplicación y/o de instrucciones en el cuestionario. En todas las bases de datos, es lamentable la gran cantidad de registros en que esto sucede. Sólo en el caso de PISA se cuenta con el cuestionario aplicado al director de la escuela, con la cual se puede validar y corroborar la información. 3.6. Obtención de índices La prueba PISA considera sus propios índices, entre los cuales está el indicador de nivel socioeconómico del alumno (OCDE 2005 a). Sin embargo, ni las PN ni EXANI proporciona un índice del nivel socioeconómico del alumno, por lo que debe ser calculado a partir de las respuestas a ciertas preguntas. Por ejemplo, en las PN se probaron diferentes variables para determinar aquella que de manera individual, explicaba la mayor variación entre escuelas. De manera individual, el nivel de estudios de la madre fue la variable que mayor variación explicaba, como se puede apreciar en la Tabla 2. Sin embargo, se procedió a calcular una nueva variable resultante de una combinación lineal de las demás variables relacionadas con el estatus socio-económico del alumno. Para ello se ajustaron modelos de regresiones lineales múltiples para las variables de respuesta, para cada grado y para cada respuesta (seis en total). Los coeficientes de la regresión son muy parecidos para los seis casos, de manera que se obtuvo un promedio de ellos para calcular la nueva variable. Esta nueva variable, denominada “contexto” fue quien explicó la mayor variación entre escuelas, y fue la variable utilizada en el resto de los modelos. Esta variable toma valores entre 0.0 y 120.0 aproximadamente, a diferencia del resto de las variables que o son binarias, o bien toman valores enteros pequeños. TABLA 2.  PORCENTAJE DE VARIACIÓN ENTRE ESCUELAS EXPLICADAS POR EL “CONTEXTO” VARIABLE  1º LEC 1º MAT 2º LEC  2º MAT  3º LEC 3º MAT PADRES LEEN 15.9% 11.6% 27.9% 20.3% 28.8% 17.4% ESC. PRIVADA 20.0% 14.3% 16.6% 12.1% 14.2% 10.5% ESCUELA ORDENADA -0.3% -0.1% 3.0% 3.0% 0.0% 0.1% EXPECTATIVA PADRES 43.5% 33.4% 40.3% 26.1% 42.0% 27.4% ESTUDIOS PADRE 44.1% 35.2% 45.7% 35.8% 49.7% 38.1% ESTUDIOS MADRE 47.6% 37.7% 47.9% 36.4% 50.5% 39.0% SEGUIR ESTUDIANDO 2.2% 1.1% 1.2% 0.1% 0.6% -0.1% CONTEXTO 68.7% 56.5% 47.2% 45.0% 64.3% 50.2% Para el caso de EXANI, se creo una nueva variable denominada ISE (índice socioeconómico), la cual resulta de la suma de las variables estandarizadas (media 0 y desviación estándar de 1), de: Nivel de estudios de la madre Nivel de estudios del padre Ocupación de la madre Ocupación del padre Ingreso familiar. Cabe recordar que las respuestas a estas variables fueron transformadas a una diferente escala, como se indica en la sección anterior. La variable resultante del ISE se distribuyó normalmente con media 0 (como era de esperarse) y desviación estándar de 4.4. 3.7. Comparación de los resultados Es importante aclarar que no es la intención de la presente investigación comparar los resultados de desempeño de las tres pruebas, dado que no son estrictamente comparables. El propósito es identificar los factores que afectan el desempeño de los alumnos en cada una de los diferentes indicadores de las tres pruebas, cuantificarlos y jerarquizarlos. Por lo que se va a comparar es el impacto de los diferentes factores. Cabe recordar que las pruebas son evaluadas en diferentes escalas. Por otra parte, los análisis de las presentes bases de datos están limitados principalmente a la información solicitada en los cuestionarios aplicados a los alumnos. Por ejemplo, considere las siguientes preguntas realizadas sobre las expectativas de los padres de familia: PRUEBA PREGUNTA RESPUESTAS POSIBLES INEE – PN He escuchado que mis papás quieren que siga estudiando hasta: Terminar la secundaria. Aprender un oficio Terminar la preparatoria o bachillerato. Ser técnico profesional. Ser profesionista. (se cambió a 0) No los he escuchado hablar sobre mis estudios. EXANI I - CENEVAL A tus padres les gustaría que tu por lo menos: Concluya el bachillerato. Concluya una carrera como técnico profesionista. Concluya una carrera como técnico superior universitario. Concluya una licenciatura. Concluya un postgrado. PISA - OCDE No se pregunta. Las preguntas son diferentes, pero sobre todo las alternativas de respuestas son muy variables, ambos casos (INEE y CENEVAL) se consideran representativos de las expectativas de los padres de familia acerca de los logros académicos de sus hijos. Cabe recordar que EXANI I trabaja bajo el supuesto de que el alumno está terminando (o ha terminado) su secundaria, mientras que INEE aplica el mismo cuestionario desde el primer grado de secundaria. Similar es el caso sobre las expectativas académicas del propio alumno: PRUEBA PREGUNTA RESPUESTAS POSIBLES INEE – PN Cuando termine la secundaria quiero seguir estudiando: Si/No. EXANI I - CENEVAL ¿Tienes la intención de seguir estudios superiores después de la educación media superior? Si, No, No sé (esta respuesta no se consideró) PISA - OCDE ¿Cuál de los siguientes estudios esperas completar? (tacha todos los que apliquen) ISCDE nivel 2 (secundaria técnica) ISCDE nivel 3B o 3C (bachillerato técnico) ISCDE nivel 3 A (bachillerato general) ISCDE nivel 4 (Carrera técnica) ISCDE nivel 5B (Licenciatura corta técnica) ISCDE nivel 5 A o 6 (Licenciatura) Es claro que para el caso de PISA es posible hacer una transformación a las respuestas a número de años esperados de estudio, lo cual no es posible en los otros dos casos. Por último, siempre se debe tener en mente que los análisis de basan en las respuestas que proporcionan los alumnos al momento en que se les aplican los cuestionarios, con la validez que ello significa. 4. MODELOS En la literatura reciente sobre eficacia escolar (Marzano 2000, Murillo 2003, Teddlie y Reynolds 2000), los estudios más adecuados sobre el tema corresponden a los modelos jerárquicos lineales (HLM por sus siglas en inglés), también llamados multinivel (MM) o mixtos. Para una discusión más profunda sobre estos modelos se puede consultar a Raudenbush y Bryk (2002) y Fernández (2003). La investigación utiliza modelos de dos niveles, correspondiendo el primer nivel al alumno y el segundo nivel a la escuela. No se utilizó el nivel intermedio, común de los estudios al nivel de primaria, del maestro, ya que en secundaria los alumnos cuentan con varios maestros diferentes, siendo difícil aislar el efecto del profesor. Por otra parte, en las bases de datos utilizadas no es posible identificar el grupo al que pertenece el alumno, para poder relacionarlo con un profesor en particular. El modelo en general queda planteado de la siguiente manera: Y ij = β 0j + β1j C ij  + v ij b 0j = g 00 + g01 E j  + u 0j β1j =  g10j  + g11 E j  + u 1j Donde: Y ij         es el resultado en la prueba (LECTURA o MATEMÁTICAS) del alumno i en la escuela j b 0j       es el promedio de aprendizajes en la escuela j C ij       es un matriz de características del alumno i en la escuela j E j        es un vector de características de la escuela j b 1j       es el efecto (coeficiente o pendiente), para la escuela j de la matriz C estimado para la escuela j. g 00       es el nivel de aprendizajes promedio de la muestra analizada (ordenada general al origen) g 01       es el efecto del vector E sobre el promedio de la escuela. La medida en cómo afecta las características de la escuela el promedio de la escuela. g 10       es el promedio de los coeficientes (pendientes) g 11       es el efecto del vector E sobre las pendientes o coeficientes. La medida en cómo afecta las características de la escuela las pendientes del modelo desarrollado. ν ij          es la diferencia entre el estimado y el observado para el estudiante (error) u 0j         es el efecto único de la escuela sobre el promedio de los aprendizajes. u 1j         es el efecto único de la escuela  sobre las pendientes. El modelo anterior pareciera un modelo de regresión lineal simple, más no es así, ya que los coeficientes de la regresión depende a su vez de otras variables del nivel 2, en este caso, variables de la escuela. De forma tal que el modelo mixto queda de la siguiente manera: Y ij = g 00 + g01 E j  + u 0j  + (g10j  + g11 E j  + u 1j) C ij  + v ij En donde se encuentra efectos covariables del vector E con la matriz C. Para el análisis de los modelos HLM se utilizó el paquete computacional HLM 6.2, desarrollado por Raudenbush, Bryk y Congdon (2005). Se utilizaron los modelos simples de ANOVA para estimar el efecto de la escuela. Por ejemplo, para el resultado en el examen de Lectura: LECTURA ij = β 0j + v ij b 0j = g 00 + u 0j Modelo mixto:   LECTURA ij = g 00 + u 0j  + v ij El coeficiente de correlación intraclase se calcula: CCI = v ij  / (v ij  + u 0j) Mientras que para calcular el efecto del contexto se tiene: LECTURA ij = β 0j + v ij b 0j = g 00 + g 01 CONTEXTO + u 0j Modelo mixto:   LECTURA ij = g 00 + g 01 CONTEXTO + u 0j  + v ij Midiéndose como el porcentaje que disminuye la variación entre las escuelas, explicada por la incorporación de la variable CONTEXTO en el nivel 2 (escuela). Para las bases de datos del INEE y PISA los modelos se corrieron primero para todas las escuelas, en donde se presenta prácticamente la totalidad de los casos, así como la mayor variación entre los resultados. En este caso lógicamente se encuentra un mayor número de variables significativas. Para el caso de EXANI dado el gran tamaño de la muestra se separaron los análisis en: secundarias generales públicas, secundarias técnicas públicas y telesecundarias. Las secundarias abiertas y para trabajadores no se consideraron por encontrarse fuera de la edad objetivo del estudio. Los resultados de las secundarias públicas técnicas y generales fueron muy similares, por lo que se concluye en secundarias públicas en general. Posteriormente se corrieron los modelos sólo considerando los alumnos provenientes de escuelas particulares. En este caso la muestra se reduce significativamente, al igual que la variación entre los resultados. El número de variables significativas obviamente disminuye. Este análisis es provechoso para los directivos de escuelas particulares, una vez eliminado la variación generalmente atribuible a las escuelas públicas. En todos los casos se controla por el nivel socioeconómico del alumno así como por el contexto de la escuela. Después se estudiaron las escuelas con los mejores y peores resultados en cada examen, sin embargo dichos resultados no se presentan en este artículo por limitaciones de espacio, siendo la mayoría de sus conclusiones consistente con los resultados presentados a continuación. 5. RESULTADOS Para no abrumar al lector con una gran cantidad de tablas con los diferentes coeficientes y significancias resultantes de los modelos, para cada una de las diferentes alternativas, se presentan a continuación una serie de tablas resumen, en donde se pueden comparar los resultados obtenidos para el mismo factor. En cada tabla se presentan tres columnas correspondientes a las bases de datos analizadas, y dos renglones para cada columna. El primer renglón es la conclusión cuando se analizan todas las escuelas, mientras que el segundo renglón corresponde a los resultados cuando se analizan sólo las escuelas particulares. Adicionalmente, en un último renglón, se indica lo que la mayor parte de la literatura ha indicado (Carvallo 2005). En resumen, la estructura de los cuadros es la siguiente: FACTOR INEE PISA EXANI Resultados de todas las escuelas en los análisis de las PN del INEE. Resultados de todas las escuelas en los análisis de la prueba PISA de la OCDE. Resultados de todas las escuelas en los análisis del EXANI I del CENEVAL. Resultados de las escuelas particulares en los análisis de las PN del INEE. Resultados de las escuelas particulares en los análisis de la prueba PISA de la OCDE. Resultados de las escuelas particulares en los análisis del EXANI I del CENEVAL. Tendencia de los resultados encontrados en la Literatura, sobre el factor bajo análisis. Se tomó como 95% el nivel de significancia. Esto significa, que todos los coeficientes fueron sujetos a una prueba de significancia estadística al 95%, de manera que si el valor p era mayor a 5%, se consideraba como no significante el coeficiente y por lo tanto, no significante el factor bajo análisis. Dentro de los modelos HLM se realizaron varias pruebas para verificar si los coeficientes del primer nivel (alumno) variaban en función de valores del segundo nivel (escuela), siendo negativo en la gran mayoría de los casos. EFECTO DE LA ESCUELA (Medido como el porcentaje de la variación total) INEE PISA EXANI Del 25 al 28% en Lectura. Del 16 al 20% en Matemáticas. Matemáticas 43%, Lectura 44% Ciencias 36%, Promedio 41.1% Índice general del 18 al 20%, Matemáticas del 12 al 15%, Español del 12 al 13% De 31 a 34% en Lectura. De 20 a 30% en Matemáticas. Matemáticas 39%, Lectura 38%, Ciencias 35%, Promedio 37% Matemáticas 21%, Español 18%, Índice general 28%. El efecto combinado escuela-maestro en países desarrollados oscila entre el 12 y 20% El efecto combinado escuela-maestro en países en desarrollo oscila entre el 30 y 40% Mayor efecto en Matemáticas que en Lengua. Menor efecto en otras materias. Mayor efecto cuando son pruebas específicas del currículo. Se aprecia consistencia de los resultados obtenidos con lo indicado por la literatura. En INEE y PISA el efecto es mayor en Español que en Matemáticas. EFECTO DEL CONTEXTO (Medido como el porcentaje de la variación entre escuelas) INDICADOR: NIVEL SOCIOECONÓMICO (promedio del alumnado de la escuela). INEE PISA EXANI Del 47 al 68%  en Lectura. Del 45 al 56% en Matemáticas. Matemáticas 57%, Lectura 60%, Ciencias 61%, Promedio 57%. Matemáticas 21%, Español de 32 a 35%, Índice general 29 a 32%. Ciencias 18 a 28% De 35 a 71% en Lectura. De 27 a 48% en Matemáticas, siendo mayor en 1º sec. Matemáticas 66%, Lectura 67%, Ciencias 71%, Promedio 65%. Matemáticas 18%, Español 43%, Índice general 21%, Ciencias del 11 al 24%. Del 10 al 60% de la variación explicada por la escuela-maestro. Mayor efecto en Lengua que en Matemáticas. Existe una gran variación en el efecto del contexto. Esta cifra depende mucho de la manera en que se calcule el estatus socioeconómico de los estudiantes. Se aprecia un mayor efecto en Español, como indica la literatura. 5.1. Factores del Alumno EDAD INEE PISA EXANI Pérdida de 1 a 7 puntos por cada año adicional. Por diseño, la prueba se aplica sólo a alumnos de 15 años. No se puede analizar variaciones en la edad. Pérdida de 2 a 8 puntos por cada año adicional. No es significativa, dado que la variación es menor. Pérdida de 8 a 22 puntos por cada año adicional sobre la edad natural. El desempeño disminuye conforme aumenta su edad. Es consistente los resultados encontrados, de la influencia negativa que significa tener una edad mayor a la natural en cada grado, inclusive en escuelas particulares. GRADO INEE PISA EXANI Altamente significativo. De 20 a 30 puntos adicionales (5%) en lectura, 14 puntos adicionales (3%) en Matemáticas. Altamente significativa con impacto positivo, de 10 a 18 puntos adicionales. Por diseño, sólo se aplica a quienes están cursando o han terminado 3º de secundaria. 14 puntos adicionales en Matemáticas, 24 en Lectura. Sólo es significativo en 2 casos, con impacto de 9 a 12 puntos adicionales por grado. Generalmente no se mide en la literatura, que las pruebas se aplican a un mismo grado. Consistente con la literatura, los alumnos si avanzan en sus desempeños conforme avanzan de grado. GENERO (FEMENINO) INEE PISA EXANI Pérdida de 3 a 7 puntos en Matemáticas. Resultados mezclados en Lectura. 9 puntos adicionales en Lectura, Pérdida de 18 puntos en Matemáticas y 19 puntos en Ciencias. Impacto negativo de 14 a 43 puntos, excepto Español + 8.7 puntos. Impacto máximo en habilidad matemática Resultados mezclados. 8 puntos adicionales en Lectura, 27 puntos menos en Matemáticas y 30 puntos menos en Ciencias. Pérdida de 22 puntos en Matemáticas, 42 en Historia  y 38 en Física. Ganancia de 14 puntos en Español. Mujeres con superioridad en Lectura o Lengua. Hombres con superioridad en Matemáticas y Ciencias. Se corrobora las diferencias de desempeño por género, aún después de haber controlado por estatus socioeconómico, edad y tipo de escuela. NIVEL SOCIO-ECONÓMICO INEE PISA EXANI Altamente significativo. De 0.2 a 1.0 puntos por cada “unidad adicional” de índice del contexto (variable que varía de 0 a 120) Altamente significativo. De 24 a 27 puntos por unidad de contexto (z). Impacto positivo significativo del ISE de 2 a 4 puntos. Ingreso familiar de impacto positivo significativo. No es significativo. Altamente significativo. De 27 a 33 puntos por unidad de contexto (z). Ingreso familiar no significativo. Nivel socioeconómico significativo como parte del contexto de la escuela. Contexto altamente significativo, principalmente medido como el nivel socio-económico. Puede significar hasta el 70% de la variación total de los resultados de los alumnos. Se corrobora la gran significancia del nivel socioeconómico, así como que el ingreso familiar no tiene un efecto lineal. Cabe recordar que el status SE afecta de dos formas, como variable individual del alumno y como variable del contexto de la escuela, medida como el promedio de los valores de cada alumno. PRE-ESCOLAR INEE PISA EXANI Haber asistido al preescolar es positivo y altamente significativo, de 5 a 13 puntos. La cantidad de años asistido al pre-escolar resultó con impacto negativo de 1 a 5 puntos. “Haber cursado un pre-escolar” presenta resultados contradictorios, ya que en ocasiones tiene impacto positivo, en otros negativo y en lo demás no fue significativo No se pregunta. No es significativo. No significativo. Los beneficios por realizar un año de pre-escolar son significativos (vs. no hacerlo). En un estudio longitudinal después de 40 años con nivel SE bajo, los alumnos que hicieron pre-escolar en proporción había terminado la preparatoria (65% vs 45%), mejores habilidades, tenía mejores trabajos e ingresos (70% vs 50% empleados con ingreso promedio superior de $5000 USD), y menos índices de criminalidad (4 veces menos). Es muy probable que en los análisis de las escuelas particulares, el haber asistido a un pre-escolar no es significativo, ya que la gran mayoría de los alumnos lo hizo, y son la excepción aquellos que no lo cursaron. TRAYECTORIA ESCOLAR INEE PISA EXANI Impactan negativamente de 5 a 20 puntos el haber cambiado de escuela, y el haber reprobado materias implica perder de 11 a 20 puntos. El haber reprobado materias en cualquier nivel, es altamente significativo con impacto negativo de 5 a 12 puntos. Un cambio de primaria presenta un beneficio significativo positivo de 2 a 4 puntos. Un cambio de secundaria presenta resultados mixtos. Los alumnos que cambian de programa durante la secundaria tienen un impacto negativo de 4 a 11 puntos Impacto significativo negativo de 6 a 12 puntos, por cada examen extraordinario presentado. Cuando se analiza sólo examen extraordinarios en la materia estudiada, sólo significativo en Matemáticas (-41) y Física (-43). Promedio de secundaria con impacto positivo de 5 a 6 puntos. Cambio de escuela significativo en 2 de los seis análisis, pérdida de 19 puntos. Haber reprobado impacto negativo de 7 a 19 puntos. Cambio de primaria o de secundaria no significativo. Cambio de programa implica una pérdida de 10 a 18 puntos. Pérdida de 6 a 14 puntos por cada examen extraordinario presentado. Cuando el examen extraordinario es de la materia, pérdida de 41 puntos en habilidades matemáticas y 43 en Física. El repetir año impacta negativamente. No hay muchos estudios acerca del cambio de escuela o de programa, pero en España, un cambio de escuela primaria afecta negativamente. Los resultados son los esperados, ya que es de esperarse una gran correlación entre alumnos con bajos desempeños y alumnos que presentan exámenes extraordinarios. No es de sorprender las iniciativas por pase automático en educación básica para contrarrestar el efecto negativo en los alumnos repetidores. Sin embargo, sería necesario estudiar cual sería el efecto en los alumnos “que en condiciones normales no reprueban” el saber que no es posible repetir el grado. EXPECTATIVAS DEL ALUMNO INEE PISA EXANI “quiero seguir estudiando al terminar la secundaria” no resultó significativo. En todos los casos resultaron positivas y significativas, de 4 a 7 puntos. Significativo sólo en algunos casos, con impacto positivo fuerte de 11 a 19 puntos. No es significativo. Con impacto positivo de 4 a 7 puntos, pero no es significativo en todos los casos. Sólo significativo en el área de Matemáticas, pérdida de 25 puntos. Entre mayores las expectativas del alumno sobre su desarrollo, mejor su desempeño académico. MOTIVACION-ENTUSIASMO-CONFIANZA-ACTITUD INEE PISA             EXANI Factores como “me gusta asistir”, “estoy contento en mi grupo”, “tengo amigos en mi grupo” y “me gusta participar”,  no resultaron significativos en el análisis. El índice de actitud hacia las matemáticas resultó significativo con impacto positivo de 3 a 6 puntos. El índice de interés en las matemáticas paradójicamente produjo resultados significativos con impacto negativo, de 2 a 5 puntos. Sin embargo, era de esperarse que a mayor interés por las matemáticas, menor desempeño en lectura. El índice de motivación a las matemáticas generó resultados contradictorios. El índice de sentido de auto eficacia en matemáticas, no resultó significativo en la mayoría de los casos. La ansiedad provocada por las matemáticas significa un impacto negativo de 11 puntos. Incluso afecta el resultado de lectura con pérdida de 5 puntos. El índice de auto estima hacia las matemáticas fue de los que mayor impacto provocan, con ganancia de hasta 23 puntos. El índice del sentido de pertenencia fue significativo sólo la mitad de las veces, con impactos menores negativos Acerca del gusto por la materia, no todos los resultados son significativos ni consistentes, con tendencia positiva, en especial en Matemáticas y H. Matem. Ambiente agradable en el salón de clases, no significativo. Efectos mezclados. Índice de interés o motivación no es significativo. Índice de autoeficacia significativo con valores muy pequeños menores a una décima de punto. Índice de ansiedad implica una pérdida de 8 a 10 puntos. Índice de autoestima en Matemáticas significativo en todos los casos, con impacto de 14 a 25 puntos. Gusto de la materia con impacto positivo, excepto en Español. Ambiente agradable pérdida de 7 a 11 puntos. Entre más motivado un alumno, mejor su desempeño. Pareciera que lo que percibe el alumno como un mejor ambiente en el salón de clases, no es lo que se considera como un ambiente propicio para las actividades de enseñanza-aprendizaje. El gusto de la materia con tendencia a impacto positivo, mientras que la ansiedad con impacto negativo. HERRAMIENTAS COMPUTACIONALES INEE PISA EXANI No se pregunta. El índice calculado por PISA acerca de conocimientos y manejo de herramientas computacionales fue significativo en todos los casos con impacto positivo de 2 a 9 puntos. El índice de uso de Internet, produjo resultados significativos únicamente en tres casos. Cuando lo fue, el impacto es negativo y bajo. Más significativo y de impacto negativo fue el índice de confianza para usar un software (de 5 a 7 puntos). El índice de confianza para realizar operaciones rutinarias fue altamente significativo con impacto fuerte positivo, de 9 a 12 puntos. El índice de confianza en actividades de mayor nivel presentó un impacto significativo negativo de 5 a 8 puntos. El índice de actitud hacia las tecnologías de información y comunicaciones presentó resultados inconsistentes Uso de una computadora personal con efectos positivos significativos en pocos casos, de 1 a 2 puntos. No se pregunta. Los índices de uso de software, uso de Internet, y confianza en Internet son no significativos. El índice de confianza en operaciones de rutina, significativo positivo en todos los casos, de 7 a 12 puntos. Utilizar PC pérdida de 7 puntos en Matemáticas. Sólo fue significativo en Matemáticas, Español e Índice global. Uso excesivo de la herramienta disminuye el desempeño del alumno. Parece indicar que los beneficios de utilizar una computadora personal se eliminan en un determinado nivel de uso. Esto es, hay un momento decremento por sobre-uso o mal-uso de la herramienta. RECURSOS Y HABITOS DE LECTURA INEE PISA EXANI La disponibilidad de libros científicos representa un impacto significativo de 2 a 9 puntos, mientras que el leer comics representa un impacto negativo de 1 a 3 puntos. La disponibilidad de libros infantiles, enciclopedias, diccionarios o revistas no fueron significativas. El hecho de que el alumno lea “en una hora fija” le hace perder de 8 a 18 puntos.  “Leo más historietas cómicas que libros” significa perder de 2 a 14 puntos. El índice proporcionado por PISA acerca de recursos culturales fue significativo en todos los casos, con impacto positivo de 5 a 13 puntos. El índice acerca de lo compatible que son los recursos en casa para el estudio, fue significativo en todos los casos, con impacto positivo de 4 a 11 puntos. El índice PISA sobre las posesiones en casa, fue altamente significativo en todos los casos, con impacto negativo de 5 a 22 puntos. Impacto positivo significativo de 1 a 3 puntos por cada hr adicional de lectura. Cantidad de libros leído con impacto positivo bajo. Ventaja de libros y revistas sobre periódico y comics. Ventaja de literatura y ciencia sobre espectáculos y deportes. Libros científicos apoyan de 5 a 8 puntos. Índice de recursos culturales con impacto positivo de 9 a 13 puntos. El índice de recursos en casa compatible con el estudio, significativo en Matemáticas y Lectura de 6 a 7 puntos. Posesiones en casa no significativo. Pérdida de 2 puntos en Matemáticas e Índice Global por cada hr adicional de lectura. Cantidad de libros leídos por el alumno no significativo. Disponibilidad de libros favorece el desempeño. Hábito de lectura favorece el desempeño en Lengua, pero perjudica en Matemáticas, seguramente porque los alumnos destacados en Lengua no lo son en Matemáticas. Se corroboran en la mayor parte los resultados mostrados por la Literatura. OTROS ANTECEDENTES DEL ALUMNO INEE PISA EXANI Que “haya nacido en un país extranjero”, (el 2.2% de la totalidad de la muestra en México), resultó significativo negativo. El que “el idioma en casa sea diferente al idioma oficial de la prueba”, no resultó significativo la mayoría de las veces. En el único caso en que fue significativo fue en ciencias, con impacto negativo de 11 puntos Trabajar con Impacto negativo sólo en algunos casos significativos. Lengua materna indígena con pérdida significativa. Tiempo dedicado a la TV con resultados contradictorios. Consumo de huevo, leche favorece. Consumo de cereales perjudica. Ser extranjero o hablar un idioma diferente en casa, sólo fue significativo en el caso de resolución de problemas, con impacto negativo de 22 y 44 puntos respectivamente. Consumo de leche con impacto positivo significativo, de 3 a 4 puntos. Consumo de cereales con impacto negativo de 3 a 6 puntos. El trabajar no es significativo. Tiempo de TV pérdida de 2 puntos en índice global. La mayoría de los estudios se enfocan en desempeño de minorías o inmigrantes, los cuales tienen desempeño menores que los “nativos”/no minorías. Que un alumno trabaje es la segunda causa de bajo desempeño académico. La dieta adecuada del alumno influye positivamente, en especial el consumo de leche, que puede significar el no consumo de refrescos. 5.2. Factores de los padres INTERVENCIÓN DE LOS PADRES DE FAMILIA-TAREAS INEE PISA EXANI “ayudan en las tareas”, “explican la importancia de que haga mis tareas”, “interrumpen cuando hago tarea”, “ayudan a estudiar”, “piden que lea o haga ejercicios”, no sonsignificativas. No se pregunta. Significativo en sólo algunos casos, con impacto negativo de 7 a 11 puntos, en especial en Matemáticas y Física. No significativos. Pérdida de 7 puntos en Matemáticas, 8 puntos en Español y 4 puntos en el índice global. El desempeño del alumno mejora a mayor involucramiento de los padres de familia. No se tienen registrados estudios específicamente en tareas. Pareciera que la intervención de los padres en las tareas de los alumnos es contraproducente. Pudiera deberse a que más que un apoyo se vuelve “hacer la tarea”, con lo cual se le ocasiona un daño al alumno. Pudiese ser también que se confunde tareas con proyectos, como maquetas, investigaciones, exposiciones, etc. en donde generalmente la intervención de los padres de familia es mayor. INTERVENCIÓN DE LOS PADRES DE FAMILIA-ASISTEN A REUNIONES INEE PISA EXANI “Platican con el director” fue significativa en cinco de los seis análisis con impacto negativo de 2 a 5 puntos. “Asisten a juntas” no es significativo. No se pregunta. No significativo que los padres de familia asistan a las reuniones. No significativo. No significativo que los padres de familia asistan a las reuniones. El desempeño del alumno mejora a mayor involucramiento de los padres de familia. No se tienen registrados estudios específicamente en asistencia a reuniones. Asistir a reuniones o juntas no impacta. Lo anterior no excluye otro tipo de involucramiento por parte de los padres de familia. También es importante recordar que en esta investigación sólo se considera la respuesta en desempeño académico, sin considerar otros aspectos como actitud, autoestima, etc. INTERVENCIÓN DE LOS PADRES DE FAMILIA-APOYAN AL ALUMNO INEE PISA EXANI “Me ponen a repasar lo que vi en la escuela aunque no tenga tarea” con impacto negativo de 3 a 6 punto. “Compran materiales”, “se preocupan por que asista” y “platican sobre temas que leen” no son significativas. La estructura de la familia no resultó significativa. Los premios impactan positivamente de 2 a 4 puntos. Respetar las opiniones del alumno impacta de 3 a 7 puntos. Promover que tomen sus propias decisiones con respecto a la escuela es la que más impacta de 8 a 13 puntos. El tiempo que pasan con los padres impacto negativo bajo. “Padres explican lo que ignoro” impacta positivamente en la mayoría de los casos, de 3 a 10 puntos. Idem. Premios de los padres, y respetan su opinión no significativos. Que promuevan que tome sus propias decisiones, aumento de 6 a 12 puntos. Tiempo que pasan con los padres no es significativo. Relacionado con el siguiente factor de expectativas de los padres de familia. En medios rurales e indígenas, el apoyo del padre de familia se enfoca más en aspectos como aportación de recursos materiales o permitir que el alumno asista a la escuela. Los resultados son un poco sorprendentes, dado que la teoría indica que los premios no son recomendables. Asimismo, considerando la edad de los alumnos, tampoco es recomendable delegar la toma de decisiones escolares, ante la falta de madurez del alumno. Las prácticas asociadas con rutinas obligatorias (como repasar) tienen impacto negativo como era de esperarse. Es inesperado el resultado de PISA en donde la estructura familiar no resultó significativa. EXPECTATIVAS DE LOS PADRES DE FAMILIA INEE PISA EXANI Las expectativas de los padres es un factor con impacto positivo de 2 a 4 puntos. No se pregunta. Impacto significativo positivo de 4 a 8 puntos por cada año adicional de estudios esperados. No es significativa. No significativo. A mayores expectativas de los padres de familia, mayor desempeño de los alumnos. Las expectativas de los padres son mayores si sus niveles de estudio son mayores. El factor expectativas de los padres de familia resultó significativo en los análisis de las escuelas en general, de manera consistente con lo que indica la literatura. Sin embargo, en las escuelas particulares resulta un factor no significativo, quizá por que el contexto es quien realiza esa influencia, quizá porque es mucho menor la variabilidad del factor. ANTECEDENTES DE LOS PADRES DE FAMILIA-ESTUDIOS INEE PISA EXANI Los estudios del padre o de la madre no fueron significativos en todos los casos. El “máximo nivel de estudios de los padres” resultó significativo en pocas ocasiones, y cuando lo hizo fue con impacto negativo débil y afectó más a matemáticas que a lectura. Impacto positivo en ambos casos. 1 punto adicional por cada 2 años de estudio de cada padre. De 3 a 7 puntos adicionales por cada año adicional del padre o la madre. No son significativos. Prácticamente no son significativos. Dos puntos adicionales por cada año más de escolaridad del padre. Ganancia de 9 a 11 puntos por cada año más de edad del padre. A mayor nivel de estudios de los padres, mayor desempeño académico de los alumnos. Consistente con el resto de la literatura, el nivel de estudios de los padres es significativo con impacto positivo. Esto no se refleja en las escuelas particulares. Pareciera que este indicador refleja la experiencia y madurez de ser padre, en donde a mayor edad de los padres, mejor desempeño del alumno. ANTECEDENTES DE LOS PADRES DE FAMILIA-INGRESO INEE PISA EXANI No se pregunta. El índice de estatus socioeconómico no resultó significativo. La ocupación del padre o de la madre no resultó significativo. Ingreso familiar con impacto positivo significativo, de uno a dos puntos (por cada unidad de incremento). No se pregunta. Idem. No significativo. Como parte del índice global de estatus socioeconómico, entre mayor ingreso mejor desempeño. Sin embargo, si sólo se analiza la variable ingreso, la relación es cuadrática, esto es, en ciertos niveles los desempeños empiezan a disminuir. Los resultados con contradictorios, por lo que no es posible concluir categóricamente que el ingreso familiar afecte el desempeño del alumno. ANTECEDENTES DE LOS PADRES DE FAMILIA-HÁBITO DE LA LECTURA INEE PISA EXANI “Mis papás leen libros o periódicos” con impacto positivo de 2 a 7 puntos No se pregunta. No se pregunta. El hábito de lectura de los padres no es significativo. No se pregunta. No se pregunta. Se ha medido el indicador de número de libros en casa, el cual está correlacionado positivamente con el desempeño. No se ha medido el hábito de lectura de los padres. No se puede concluir que el hábito de la lectura en casa impacte en el desempeño del alumno. 5.3. Factores del maestro CAMBIO DE MAESTRO INEE PISA EXANI El “cambio de maestro” impacta negativamente en el caso de LECTURA, de 3 a 5 puntos, mientras que no es significativo en el caso de MATEMÁTICAS No se pregunta. La buena relación entre los profesores, con pocos resultados significativos con bajo impacto positivo. No significativo. Relación entre maestros ayuda en Español, Química e índice general. Un cambio de maestro perjudica ligeramente el desempeño del alumno. No es claro si la buena relación entre los profesores favorece el aprendizaje. Esta relación puede estar enfocada de manera constructiva-productiva, o bien puede referirse a una relación de compadrazgo-complicidad, lo cual sucede en algunas escuelas. Tampoco es posible concluir que un cambio de maestro afecta negativamente al desempeño del alumno. CUMPLIMIENTO DEL MAESTRO INEE PISA EXANI Llegar tarde, faltar o salirse del salón no fueron significativos. No se pregunta. Resultado paradójico, entre más falta el maestro mejor desempeño. No significativo. No significativo las ausencias del profesor. Este factor se ha estudiado más como influyente del componente actitudinal de los alumnos. Sorprendentemente, tanto INEE como EXANI concluyen que la falta de cumplimiento por parte del profesor no afecta a los alumnos, sino que en ocasiones hasta los favorece. PRACTICA DOCENTE-HÁBITOS DE ESTUDIO INEE PISA EXANI Las prácticas de asesorías como “dar consejos” o “explicar” no fueron significativas. “Escuchar a los alumnos” fue significativo positiva de 1 a 3 puntos en cinco de los seis análisis. La única variable significativa en los seis análisis fue “nos organizan para trabajar en equipo” con impacto negativo de 2 a 4 puntos. Hacer la clase divertida tiene impacto negativo en cinco de los seis análisis, mientras que proporcionar ejemplos es positivo en cinco de los seis análisis. El gusto del alumno por la clase no impactó Las estrategias basadas en la memorización fueron significativas con impacto negativo. Las estrategias basadas en el aprendizaje colaborativo presentaron impactos negativos significativos en todos los casos. El resto de las diferentes estrategias no fueron significativas en todos los casos, o los resultados fueron contradictorios entre si. Tal es el caso de estrategias de elaboración-transferencia, de autocontrol o metacognición, y de espíritu de competencia. El índice de apoyo del maestro fue significativo en seis de los ocho casos, con impacto negativo bajo. El índice de disciplina, prácticamente fue significativo en todos los casos, con impactos positivos de 2 a 5 puntos, especialmente en el área de Ciencias “Realizar un plan de trabajo” y “estudiar del libro” no impacta. “Tomar apuntes en clase”  favorece de 4 a 8 puntos. “Utilizar monografías” con impacto negativo de 2 a 6 puntos y “estudiar con apuntes de los compañeros” con impacto negativo de 4 a 11 puntos. “Estudiar en equipo” con impacto negativo de 7 a 10 puntos  “Utilizar enciclopedias, diccionario y atlas” con impacto bajo positivo. Las horas de estudio a la semana con impacto positivo de 1 a 3 puntos por cada hora adicional semanal. La cantidad de días de estudio sin impacto. Ninguna de las variables es significativa. Estudiar del libro de texto con impacto positivo. Estudiar de los apuntes de compañeros con impacto negativo de 9 a 16 puntos. Trabajo en equipo pérdida de 5 a 8 puntos. El uso de determinada estrategias instruccionales favorecen el desempeño del alumno, como organizadores avanzados, establecer y comunicar objetivos, semejanzas y diferencias, representaciones no lingüísticas, control de grupo, resumir y tomar notas, proporcionar reconocimiento, generar y probar hipótesis, activar los conocimientos previos. Confirma que es preferible calidad de estudio (horas de estudio) que cantidad de estudio (días de estudio a la semana). Los trabajos en equipo o aprendizaje colaborativo no favorecen el desempeño académico, quizá por falta de preparación por parte del maestro para manejar la estrategia. DEJAR TAREAS INEE PISA EXANI “Me deja tareas que me ayudan a aprender”, “revisa las tareas y comentan errores” y “deja mucha tarea” no resultaron significativas. “Dejan tareas especiales extra” fue significativa con impacto negativo de 2 a 7 puntos. “Me deja tareas interesantes” fue significativa en cinco de los seis análisis con impacto negativo de 2 a 9 puntos. La única variable significativa con impacto positivo de 2 a 6 puntos fue “dejan ejercicios de repaso”. No se pregunta. No se pregunta. No significativo. No se pregunta. La práctica de dejar tarea favorece el desempeño académico del alumno. Los resultados obtenidos en la base de datos INEE contradicen lo mostrado ampliamente por la literatura internacional. Desafortunadamente es un factor no considerado en PISA o EXANI. Pareciera que la práctica de tareas sea un mecanismo de castigo aplicado por el maestro o padre de familia, perdiendo el objetivo final de las tareas. Hay que recordar que la variable dependiente es desempeño académico, no se mide actitud o cultura de trabajo. RELACIÓN MAESTRO-ALUMNO INEE PISA EXANI Se cuentan con resultados mezclados. La única tendencia es que “permitir que el alumno se exprese” es positivo en cinco de los seis análisis. El que los maestros impulsen a los alumnos a seguir adelante fue significativo en cinco de los seis análisis, con impacto positivo hasta de 9 puntos. El hecho de que el maestro los felicite no resultó significativo El índice de la relación alumno-maestro fue significativo en todos los casos, excepto resolución de problemas. Su impacto es negativo de 1 a 6 puntos. Maestros preocupados en el aprendizaje de los alumnos resultó no significativo. Impulsar a los alumnos fue el único significativo positivo en lectura de 3º sec. con 14 puntos. Maestros se preocupan, disciplina se respeta, no son significativos. Las relaciones profesor-alumno disminuyen el número de interrupciones en el salón de clase. No se tienen registrados estudios con relación al desempeño académico. Se corrobora que las altas expectativas del maestro acerca del desempeño de sus alumnos favorece el desempeño académico. Una relación de respeto también pareciera que afecta positivamente, mientras que una buena relación pudiera confundirse con una relación “de iguales” con impacto negativo en el desempeño. También se corrobora que las felicitaciones no afectan el desempeño académico, como tampoco lo hacen los premios. 5.4. Factores de la escuela TURNO INEE PISA EXANI Solamente fue significativo en 3º sec. Con disminución de 2 a 6 puntos para turno vespertino. No se mide. No se mide. No es significativo. No se mide. No se mide. En estudios nacionales, no necesariamente desde el enfoque de eficacia escolar, se indica ventaja del turno matutino sobre los demás. De acuerdo al INEE, tiene ventaja el turno matutino aún después de controlar los antecedentes socioeconómicos del alumno. ESCUELAS PRIVADAS INEE PISA EXANI Las escuelas privadas son mejores que las públicas de 5 a 22 puntos No hay diferencia significativa de públicas con privadas en la mayoría de los casos. Ventaja contra las secundarias técnicas y las generales. Existe una gran cantidad de estudios que presentan una superioridad de las escuelas privadas sobre las públicas, sin embargo, no es claro si todos los estudios utilizan un enfoque de eficacia escolar relativa, o son de productividad escolar. Aún después de controlar por los antecedentes socioeconómicos de los alumnos y el contexto de la escuela, las escuelas particulares tienen amplia ventaja sobre las secundarias públicas. AMBIENTE ESCOLAR INEE PISA EXANI “Salón agradable” con impacto positivo de 9 a 15 puntos. “Está todo ordenado” impacto negativo de 4 a 11 puntos. “Hay comisiones de vigilancia”, “hay más limpieza” y “sentirse seguro y libre de peligros” no significativo. Ambiente agradable del grupo no significativo. “Sentirse seguro y libre de peligros” pasa a ser significativo positivo Ambiente agradable con impacto negativo de 7 a 11 puntos. Existen estudios aislados que abordan el ambiente de seguridad dentro de la escuela, con relación positiva contra el desempeño. La percepción de “salón o ambiente agradable” por parte del alumno, pareciera que no está en línea con los requisitos de un grupo propicio para el aprendizaje, sino más bien para los objetivos e intereses de los alumnos. Cabe resaltar que sólo en las escuelas particulares resultó significativo sentirse seguro y libre de peligro, quizá porque el alumno de escuelas públicas se adapta más fácilmente al ambiente. OTROS FACTORES DE LA ESCUELA INEE PISA EXANI La cantidad de minutos dedicados a la instrucción de las matemáticas no es significativa. La cantidad de minutos que se dedican a la instrucción en total fue significativa, con un impacto de 0.01 puntos por cada minuto adicional. El director se preocupa por los alumnos con impacto positivo significativo de 2 a 4 puntos. El director observa clases con impacto negativo de 5 a 10 puntos. Resultados contradictorios acerca del respeto a la disciplina. Paradójicamente, impacto positivo bajo sólo en algunos casos significativo, acerca de perder tiempo en otras actividades. Idem. Director observa clase con impacto negativo de 5 a 11 puntos. Entre mayor sea el tiempo instruccional (por jornada o calendario) mejor será el desempeño académico. Se confirma el impacto positivo del tiempo de instrucción. Por otra parte, parece que cuando un director observa clases es provocado por algún tipo de problema (alumno o maestro). No se puede concluir acerca del respeto a la disciplina. GENERO PREDOMINANTE EN LA ESCUELA INEE PISA EXANI No es significativo. No es significativo. No se estudió. No es significativo. No es significativo. No se estudió. No es significativo. Se corrobora lo encontrado por la literatura. EDAD PROMEDIO DE LOS ALUMNOS EN LA ESCUELA INEE PISA EXANI No es significativo. No es significativo. No se estudió. No es significativo. No es significativo. No se estudió. La edad promedio de los alumnos de la escuela, no afecta el desempeño, no así la edad individual del alumno, la cual si afecta de manera negativa como se indicó anteriormente. 6.  CONCLUSIONES El presente estudio permite corroborar muchos de los resultados encontrados en la literatura, generalmente en educación primaria, con la situación de los alumnos mexicanos en educación secundaria. Se corrobora las mediciones del efecto de la escuela y la alta significancia del contexto de la misma. Debido a la manera en que están diseñados los cuestionarios del contexto del alumno, es más fácil analizar las variables inherentes al mismo, dejando en un segundo plano las variables asociadas al profesor y la escuela. Por lo anterior, no es posible corroborar el alto impacto que representa la praxis del profesor en el desempeño del alumno, más eso no significa que no lo sea. Como generalmente se concluye, es necesario realizar más estudios. Referencias bibliográficas Bosker, R.J. y Witziers, B. (1996). The magnitude of school effects, or: Does it really matter which school a student attends? Paper presented at the annual meeting of the American Educational Research Association, New York, NY. Carvallo, M. (2005). Análisis de los resultados obtenidos en estudios de eficacia escolar en México, comparados con los de otros países. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en la Educación, 3(2). CENEVAL (2004). Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. COMIPEMS (2004). Concurso de ingreso a la educación media superior de la zona metropolitana de la Cd. De México 2003. Informe final. COMIPEMS: México D.F. Edmons, R. (1979). Effective Schools for the urban poor. Educational Leadeship, 37(1), pp. 15-24. Fernández,T. (2003). Métodos estadísticos de estimación de los efectos de la escuela y su aplicación al estudio de las escuelas eficaces. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 1(2). Hernández, J. (2004). Orígenes y desarrollo del EXANI I. En: CENEVAL (ed). Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Instituto Nacional para la Evaluación de la Educación (2004). Pruebas Nacionales ciclo 2002-2003, bases de datos de alumnos, logro y contexto. México: INEE. Marzano, R. (2000). A new era for school reform: going where the research takes us, Mid-continent research for educational and learning. Colorado: Aurora. Murillo, F. J. (2003). El movimiento de investigación de Eficacia Escolar, en Murillo (ed). La investigación sobre Eficacia Escolar en Iberoamérica. Revisión internacional del estado del arte. Bogotá: CIDE. OCDE (2005a). PISA 2003, data analysis manual SPSS users. Paris: OCDE. OCDE (2005b) What PISA produces, PISA 2003, http://pisaweb.acer.edu.au/oecd_2003/oecd_pisa_data.html, leído el 30 de marzo de 2005. Raudenbush, S. y Bryk, A. (2002). Hierarchical Linear Models, applications and data analysis methods. California: Sage publications. Teddlie, C., Reynolds, D. y Pol, S. (2000). Current topics and approaches in school effectiveness research: The contemporary Field. En: Teddlie, C. y Reynolds, D. (ed). The International Handbook of School Effectiveness Research. New York: Routledge/Falmer. Teddlie, C., Reynolds, D. y Sammons, P. (2000). The methodology and scientific properties of school effectiveness research. En: Teddlie, C. y Reynolds, D. (ed). The International Handbook of School Effectiveness Research. New York: Routledge/Falmer. Teddlie, C. y Reynolds, D. (2000). School effectiveness research and the social and behavioral sciences. En: Teddlie, C. y Reynolds, D. (ed). The International Handbook of School Effectiveness Research. New York: Routledge/Falmer. Turkheimer, E., Haley, A., Waldron, M., D’Onofrio, B. y Gottesman, I. I. (2003).  Socioeconomic status modifies heritability of IQ in young children.  Psychological Science, 14, pp. 623-5.   Recibido: 01 de enero de 2006 Aceptado: 13 de marzo de 2006