ANÁLISIS DE LOS RESULTADOS OBTENIDOS EN ESTUDIOS DE EFICACIA ESCOLAR EN MÉXICO, COMPARADOS CON LOS DE OTROS PAÍSES
Mauricio Carvallo Pontón
1. INTRODUCCIÓN La corriente de eficacia escolar inició hace más de 35 años, a raíz de la publicación del famoso reporte Coleman (Coleman et al. 1966), el cual concluía que los efectos que tenían las escuelas sobre los desempeños de sus alumnos explicaban aproximadamente el 10% de su variación. Durante estos años, esta corriente ha tomado tal importancia que de acuerdo al propio Murillo (2003:53) “la eficacia escolar ha llegado a convertirse en la línea de investigación pedagógica que está aportando la mejor información para optimizar los niveles de calidad y equidad educativas”. La corriente de eficacia escolar ha sido utilizada extensamente en países desarrollados como el Reino Unido, Holanda y los Estados Unidos de América (Reynolds, Teddlie, Creemers, Scheerens y Townsend 2000:24), sin embargo en México fue hasta la década de los noventas, cuando se presentaron los primeros estudios enfocados en el tema de eficacia escolar en el sentido estricto (Zorilla 2003:355). Tardaron en iniciar los estudios en México, pero a partir de finales de esa década, la corriente de eficacia escolar ha sido muy productiva en México. Zorilla (ibid:354) resalta la importancia de la creación del COMIE (Consejo Mexicano de Investigación Educativa), a lo cual habría que agregar dos aspectos que apoyan el desarrollo de esta corriente: a) La creación del Centro Nacional de Evaluación para la Educación Superior A.C.CENEVAL en 1993. b) La creación del Instituto Nacional para la Evaluación de la Educación INEE en 2002. Ambos hechos han coadyuvado por una parte, a crear una mayor cultura de evaluación y aplicación de pruebas estandarizadas externas. Por otra parte han avivado el interés en llevar a cabo más investigaciones cuantitativas encaminadas al mejoramiento de los niveles académicos de las escuelas nacionales. Gracias a ello, se dispone de información más confiable para las decisiones en materia de política educativa. La cantidad y calidad de los resultados que se han obtenido hasta la fecha, permite realizar comparaciones en diferentes rubros, con los resultados generalmente encontrados en estudios internacionales. Gracias a ello se puede evaluar la consistencia de los resultados, lo cual es el propósito del presente artículo. 2. PRINCIPALES ESTUDIOS EN MÉXICO Zorrilla (2003) realiza una excelente presentación de los trabajos realizados en México sobre eficacia escolar y mejora de escuela, resaltando los trabajos más sobresalientes hasta esa fecha. También incluye un resumen de la historia contemporánea de la investigación educativa en México y el surgimiento de la investigación en eficacia escolar hasta la década de los 90’s. En su trabajo (ibid:362) identifica cuatro estudios principales en el sentido estricto de eficacia escolar: a) Ruiz (1999). Un acercamiento a la calidad de la educación primaria en Aguascalientes desde la perspectiva de efectividad escolar. Tesis doctoral en la Universidad Autónoma de Aguascalientes. b) Dirección General de Evaluación (DGE) de la SEP (2000). Distribución de los planteles públicos de educación primaria y secundaria según el nivel de aciertos de sus alumnos en los exámenes de la carrera magisterial. c) Lastra (2001). School effectiveness, a study of elementary public schools in a mexican city. Tesis doctoral en la Universidad de Stanford. d) Ezpeleta y Weiss (2000). Cambiar la escuela rural. Evaluación cualitativa del programa para abatir el rezago educativo. DIE. A este grupo de estudios se deberán agregar dos excelentes trabajos publicados en fecha posterior. a) Fernández (2004a). Distribución del conocimiento escolar; clases sociales, escuelas y sistema educativo en Latinoamérica. Tesis Doctoral en el Colegio de México. b) CENEVAL (2004). Evaluación de la educación en México. Indicadores de EXANI-I. Corresponde a la compilación de varios estudios realizados por distinguidos investigadores mexicanos. Cabe resaltar que cinco de los seis estudios mencionados se enfocan en la escuela primaria pública, solo el estudio del CENEVAL se concentra en secundarias, mientras que el de la DGE de la SEP incluye a primarias y secundarias. Zorilla (2003) señala como precursores de esos estudios el de Muñoz Izquierdo et al. (1979) El Síndrome del atraso escolar y el abandono del sistema educativo y Schmelkes et al. (1997) La calidad de la educación primaria. Un estudio de caso, los cuales son ampliamente conocidos dentro de la comunidad de investigadores educativos nacionales. Previo a estos estudios, la investigación educativa en México estuvo concentrada por una parte en estudios de los llamados de “productividad escolar” y por otra parte en la definición de la calidad de la educación, más que en los estudios del tipo eficacia escolar. El debate se genera después de lograr un nivel razonable la cobertura, ya que ahora es necesario enfocarse en mejorar la calidad. Sin embargo, las investigaciones sobre la calidad de la educación en general tenían las características de estudio de escuelas prototípicas, generalmente de niveles urbano marginado o rural, como lo que Reynolds, Teddlie, Creemers, Scheerens y Townsend (2000:7) identifican como la primera y segunda etapa de la historia de la corriente de eficacia escolar. La misma Zorrilla (2003:359) indica “… pareciera que las investigaciones han estado más preocupadas por encontrar por qué no funciona la escuela que por identificar aquellos elementos que hacen posible su buen funcionamiento”. Las investigaciones se han centrado en encontrar los factores del rezago educativo y la reprobación. El primer estudio precursor de Muñoz Izquierdo et al. (1979) estuvo enfocado a analizar los insumos y la “caja negra” que es la escuela, lo cual es típico de los estudios en la década de los setentas. La variable dependiente era la deserción escolar y la reprobación. Se trató de un estudio cuasi-experimental, el cual utilizaba un modelo compuesto de 12 conjuntos de elementos agrupados en cuatro categorías. Se realizó en el DF, Morelos y Chiapas abarcando 1,840 niños. El estudio de Schmelkes et al. (1997) fue un estudio pionero en la identificación de factores que afectan el desempeño, el cual ha inspirado la definición de políticas y programas educativos a nivel estatal y nacional. Se realizó durante 1991 y 1992 aun cuando fue publicado en 1997. Este estudio fue financiado por la UNESCO. Tanto los estudios previos, como los posteriores, se concentraron principalmente en escuelas primarias públicas, lo cual ha sido una tendencia en los estudios en losEUA (Levine and Lezotte 1990; Raudenbush 1989; Mandeville & Anderson 1987; Stringfield et al. 1992; Crone, Lang & Franklin 1994; Teddlie, Stringfield et al., 1985), no así en el Reino Unido en donde hay importantes estudios al nivel de secundaria (Rutter et al., 1979; Reynolds 1976; Trower & Vincent 1995; Nuttall et al. 1989). Existen varias razones de ello, como que el nivel de primaria concentra la mayor cantidad de alumnos, consta generalmente de 6 grados, el impacto del factor de conocimientos previos es menor, es más fácil aislar el efecto del profesor ya que cada grupo generalmente se asocia a un solo profesor, entre otras razones. Posterior a estos dos estudios precursores, se generan los estudios de eficacia escolar en el sentido estricto, cuyos resultados son la base para la realización del presente artículo. El resumen de ellos se presenta en tabla 1. A continuación se comentan los aspectos más relevantes de cada uno de estos cuatro estudios: Ruiz (1999) estudia las escuelas primarias públicas en el estado de Aguascalientes. Incluye en su análisis los grados 4º y 6º de primaria, por lo que se refiere al desempeño en Matemáticas y Español. Es un estudio hasta cierto punto longitudinal, ya que se evaluaron los alumnos en dos momentos del ciclo escolar, con el objeto de determinar su ganancia, aunque las variables del contexto se levantaron una sola vez. Los factores estudiados se agruparon en los siguientes grandes bloques: administración y gestión escolar; cultura escolar, maestros, procesos de enseñanza-aprendizaje, alumnos y sus medios de procedencia. Para el análisis estadístico utilizó un análisis de regresión multivariado (OLSpor sus siglas en Inglés), discriminando entre correlaciones muy débiles (inferiores a 0.1) débiles (entre .1 y .2) moderadas (entre .2 y .3) y relativamente fuertes (entre .3 y .4). Como se verá más adelante, debido al diseño mismo del modelo de regresión lineal, la mayoría de las correlaciones entre las variables y los desempeños de los alumnos resultaron débiles o muy débiles. Agregó posteriormente un análisis de regresión multivariado, con seis grandes “macrovariables”, las cuales corresponden a los 5 grupos anteriores más una variable de insumos. El modelo de regresión multivariado explicó el 26% de la variación de los datos. Hay que mencionar que este análisis incluye solo una variable del alumno más otras cinco “macrovariables” de otros factores. Como se puede apreciar, esta cifra es baja comparada con los resultados obtenidos en estudios tanto nacionales como internaciones, en donde, como se mostrará posteriormente, las variables asociadas al alumno explican en ocasiones hasta el 80% de la varianza. El resumen de los resultados de este modelo se presenta en la tabla 2. TABLA 1. RESUMEN DE LOS RECIENTES TRABAJOS SOBRE EFICACIA ESCOLAR EN MÉXICO   Guadalupe Ruiz Tabaré Fernández Eduardo Lastra CENEVAL (estudios varios) Fecha de publicación 1999 2004 2001 2004 Nivel Primarias Primarias Primarias Secundarias Grados 4º Y 6º 6º 6º 3º Estado Aguascalientes. Nacional Puebla Nacional. Prueba Cuestionario ex profeso con referencia al criterio. Análisis normativo. Programa de Estándares Nacionales en Matemáticas y lengua (EN) Específica con referencia al criterio. EXANI I Alumnos 2,000 c/grado 46,618 1,135 Variable, hasta 4 millones de sustentantes en 9 años. Escuelas 84 3,187 81 Variable en función del estudio. Tipo de escuelas Públicas urbanas y rurales Públicas urbanas y rurales, indígenas y privadas urbanas. Públicas urbanas de la zona metropolitana de Puebla. Todo tipo de secundaria. Tipo de estudio Transversal. (Longitudinal por 1 año en desempeño) Transversal Transversal Transversales y longitudinales. Materias Español y Matemáticas Español y Matemáticas Español y Matemáticas Resultado global, habilidad matemática, habilidad verbal y por materia. Año de estudio 1995-1996 2001 1995-1996 1994-2002 Institución Universidad Autónoma de Aguascalientes. Colegio de México Stanford University Centro Nacional de Evaluación para la Educación Superior AC. Muestreo Aleatorio estratificado. Se tomó el universo del estudio, eliminando aquellos que no tenían los datos completos. Muestreo aleatorio por cuotas. Se tomó el universo de los sustentantes. En ocasiones representan a la población (como el caso de Aguascalientes), o son muestras representativas de otras poblaciones (como telesecundarias o escuelas indígenas). Modelo OLS Multinivel OLS y Multinivel Multinivel, OLS, análisis de varianza, redes neuronales, análisis de conglomerados, correlaciones, entre otros. Variables 31 variables y 6 macrovariables 193 Variable, hasta 168 La tabla correspondiente a los resultados de Matemáticas sorprendentemente muestra resultados menores (ibid:372) con un índice de determinación total de 0.21. Cabe recordar que la mayoría de la literatura indica que es de esperarse que los efectos asociados a la escuela sean mayores en Matemáticas (Daly, 1991), así como que el porcentaje de variación explicado por la escuela sea mayor en Matemáticas que en Español (Mortimore et al. 1988; Sammons, Thomas & Mortimore, 1997), por lo que los resultados obtenidos por Ruiz no son consistentes con ello. TABLA 2. ANÁLISIS DE REGRESIÓN LINEAL PARA LA MUESTRA EN SU CONJUNTO Y LOS ESTRATOS. VARIABLE DEPENDIENTE: RESULTADOS DE ESPAÑOL 6º GRADO Variable Muestra total Urbano Alto Urbano Bajo Rural Alto Rural Bajo X1 (cultura) .134136* .252678* .011141 -.070064 .211039* X2 (gestión) -.035375 -.223154* -.078585+ -.026109 -.125904 X3 (maestros) -.024497 .022063 .067924 -.028249 -.167463 X4 (alumnos) .418483* .357013* .190610* .179801* .092735 X5 (insumos) -.014179 .022229 -.094268+ .086210+ -.041883 X6 (proceso e-a) .074699* .115617* .193028* .066994 -.115198 R2 .26 .29 .09 .04 .07 F 99.36 36.62 8.46 3.54 2.05 Significancia 0.0000 0.0000 0.0000 0.00306 0.06142 * significancia de t < .05 + significancia de t < .10 Tomado de Ruiz (1999:363) Cuando Ruiz analizó las relaciones de las variables con respecto a la ganancia en resultados entre la primera y segunda evaluación, los resultados fueron de significancia muy baja, obteniendo índices de determinación de 0.12 y 0.16 para Español y Matemáticas respectivamente (Ruiz 1999:377). Cabe aclarar que el tiempo transcurrido entre las aplicaciones fue menor a un ciclo escolar. La investigación encuentra correlaciones entre las variables y los resultados del aprendizaje débiles o inexistentes, pero mayores correlaciones entre estas variables y el contexto socioeconómico (SE) de la escuela. Este es el tipo de casos en que se diluyen los impactos de muchas variables, al no controlar por los antecedentes de los alumnos los cuales representan la mayor parte de la varianza. La Dirección General de Evaluación (SEP, 2000) utilizó los exámenes que se aplican tanto a primarias de organización completa (no indígena), como a secundarias (no particulares ni telesecundarias) en todo el país, para evaluar el desempeño frente a grupo, de los maestros que están inscritos en el programa de Carrera Magisterial. Como la mayoría de las evaluaciones utilizadas, son exámenes con referencia a la norma. Los resultados se analizaron en función del contexto de la escuela (urbano o rural) y se correlacionaron con la clasificación de marginalidad municipal emitida por el Consejo Nacional de Población (CONAPO). Dado que las pruebas solo se aplican en los casos de quienes están inscritos en la carrera magisterial, no necesariamente son muestras representativas de sus poblaciones respectivas. Corrobora al igual que los demás estudios, la superioridad de las escuelas urbanas sobre las rurales. El desempeño está negativamente correlacionado con el nivel de marginación de la población estudiantil. Esta investigación está complementada con estudio de casos prototípicos, en donde aparecen las características del liderazgo del director como un factor fundamental de la gestión escolar. La investigación de Eduardo Lastra (2001) parte de que los estudios de eficacia escolar en México prácticamente no existen. Realiza su análisis sobre las escuelas primarias públicas del estado de Puebla. Para ello utilizó modelos jerárquicos lineales HLM de dos niveles (estudiante y salón-escuela), definiendo como variable dependiente las puntuaciones de los alumnos en pruebas de Matemáticas y Español, para lo cual utilizó una prueba diseñada específicamente para estos propósitos. El modelo incluye “insumos del maestro”, “insumos de los alumnos” e “insumos del ambiente”. Toma la teoría de Levín como base. Es el primer estudio en México que utiliza los modelos HML o MM para controlar los antecedentes de los alumnos. No solo corrobora la alta correlación entre el nivel SE del alumno y su desempeño, sino demuestra que los alumnos no se distribuyen de manera aleatoria en las escuelas, sino que se agrupan de acuerdo a su propio nivel SE. También es el primer estudio que aísla el efecto del contexto. Un estudio más reciente es el de Fernández (2004a), el cual presenta un enfoque sociológico sobre el actuar de las instituciones educativas y su interacción con los estudiantes. Utiliza diferentes teorías para explicar estas relaciones, así como los resultados encontrados hasta la fecha. Dentro de las teorías utilizadas se encuentran las teorías de desarrollo organizacional (Weber, Taylor y Farol) y la teoría general de sistemas. Asegura que hace falta una teoría sociológica de la escuela como organización (ibid:25). Estudia los países de Argentina, Uruguay, Chile y México porque considera que los tres primeros países tienen una institucionalización temprana (principios del siglo XX), mientras que México lo clasifica como de institucionalización intermedia. Uruguay tiene un sistema educativo centralizado, Argentina y México tienen un sistema educativo descentralizado, mientras que Chile tiene lo que él llama un sistema educativo mercantilizado (ibid:37). El estudio más reciente es el de CENEVAL (2004), que está concentrado en análisis de los exámenes EXANI I y comprende una serie de artículos con diferentes enfoques y metodologías. Los estudios se fundamentan en la base de datos de nueve años de aplicaciones de la evaluación EXANI I(de 1994 a 2002), el cual corresponde a un examen utilizado como ingreso a la educación media superior, o bien como prueba de salida de la educación secundaria. 3. DIFERENCIA DE ENFOQUES Antes de iniciar con el análisis comparativo de los resultados obtenidos, cabe resaltar diferencias encontradas entre los enfoques de los estudios mexicanos con los internacionales. En México ha existido una fuerte preocupación por analizar el impacto de los insumos. Prueba de ello es que en la recolección de datos se ponga especial atención en aspectos tales como; que la escuela tenga servicios públicos, que haya maestro, la disponibilidad de libros de texto, la necesidad de maestros multimodales, el nivel de desnutrición de los alumnos, ausentismo de los profesores, la disponibilidad de la biblioteca escolar, etc. Estos aspectos son raros de que aparezcan en los estudios internacionales de países desarrollados, dado que se da por descontado de que la mayoría de las escuelas cuenta con esos recursos, por lo que su análisis o bien no es necesario, o por el otro lado serán poco significativo en los análisis estadísticos. Sin embargo, en el caso de México, estos estudios demuestran que un número significativo de escuelas presenta carencias en esos rubros. Todos los estudios mencionados concluyen que la calidad de la educación en general es bastante baja, corroborando las noticias que se publican cotidianamente en los medios, como los resultados PISA (Vidal y Díaz, 2004) o TIMSS (Jornet y Backhoff, 2004:443). La variación existente entre los desempeños de los alumnos son abismales, en donde se han encontrado diferencias hasta el equivalente de 2 grados al terminar la primaria (Schmelkes, 1997). Por otra parte, no son muchos los estudios que controlan los antecedentes socioeconómicos de los alumnos. Sin embargo, como los mismos estudios mencionan al analizar el perfil de los sustentantes, la variación en los antecedentes SE de los alumnos es enorme, mucho mayor que en países desarrollados. Interesantes análisis de la relación entre la distribución del ingreso (esto es, la variación, más no así el importe) y el desempeño de los alumnos, son los estudios realizados por Fernández (2004b) y el reporte publicado por la OCDE (2004). Por otra parte, cada vez es más frecuente el uso de modelos multinivel para controlar los antecedentes SE de los alumnos, como lo son los mismos estudios de Lastra (2001), Fernández (2004), Garza, Martínez y Tagüeña (2004) y Tagüeña, Garza y Robledo (2004). A ello se han incorporado otras metodologías cuantitativas diferentes a los modelos multinivel o los tradicionales OLS, como son las redes neuronales (Sánchez Moguer, 2004), y el análisis de conglomerados de k-medias (Jornet y Backhoff, 2004). 4. EFECTO DE LA ESCUELA Una de las principales ramas de la corriente de eficacia escolar es la que se concentra en medir el efecto de la escuela, o “school effects research” (SER por las siglas en inglés) como la llaman Reynolds, Teddlie, Creemers, Scheerens y Townsend (2000:3). Como su mismo nombre lo indica, su principal (y quizá única) preocupación es la de demostrar y cuantificar el efecto de la escuela, medido como el porcentaje explicado de la variación del desempeño del alumno. Existen numerosos estudios que demuestran y cuantifican el efecto de la escuela. Varios investigadores se han dedicado a la tarea de recopilar estas investigaciones y analizarlas en forma de meta-análisis, realizando conclusiones soportadas en decenas o cientos de estudios. A continuación se mencionan varios de estos estudios. Marzano (2000) realiza un resumen de los meta-análisis que él consideró más significativos, los cuales se presentan en la tabla 3. TABLA 3. RESUMEN DE META-ANÁLISIS ACERCA DE LOS EFECTOS DE LAS ESCUELAS Estudio ESd Ganancia en percentil % varianza explicada Coleman et al. (1966) (2 estudios) 0.68 0.80 25 29 10.38 13.89 Jencks et al. (1972) (2 estudios) 0.47 0.56 18 21 5.29 7.29 Byrk & Raudenbush (1992) 0.93 32 18.00 Scheerens & Bosker (1997) 0.70 26 11.00 Rowe & Hill (1994) 1.32 40 30.00 Creemers (1994) 1.01 34 20.00 Stringfield & Teddlie (1989) 1.16 37 25.00 Bosker (1992) 1.19 38 26.00 Luyten (1994) 0.85 30 15.00 Madaus et al. (1979) 1.04 35 21.84 Promedio 0.96 33 18.49 Tomado de Marzano (2000:46) En donde ESd corresponde al “effect size display” que es equivalente al incremento del desempeño medido en número de desviaciones estándar. Con ello se puede determinar la ganancia en percentil ocasionada por un incremento de una desviación estándar en la variable independiente, así como el porcentaje de la variación total de la variable independiente (desempeño) explicado por los factores asociados a la escuela. Es cuestionable el promedio que obtiene Marzano de los diferentes meta-análisis, ya que no es necesariamente válido compararlos, ya sea por la metodología seguida, el nivel estudiado, el tamaño de muestra, etc. Como se puede apreciar en la tabla anterior, el mayor estimado es el de Rowe & Hill 1994, quizá porque utilizaron evaluaciones no estandarizadas, de tareas abiertas. Este dato corrobora el aspecto de que las pruebas específicas a la currícula proveen de mayor variación (Murillo, 2003). Reynolds & Teddlie (2000:141) mencionan dos grandes compendios de estudios como los mejores trabajos de compilación de investigaciones: a) Levine and Lezotte (1990) a nombre del National Center for Effective Schools, EUA. Compendio de cientos de estudios americanos. b) Sammons, Hillman & Mortimore (1995) a nombre delBritish School Inspectorate OFSTED. Compendio de cientos de estudios principalmente británicos, pero algunos americanos y holandeses. Paradójicamente, entre los dos sólo existe un traslape de 4% en los estudios incluidos, por lo que el análisis de los dos como resúmenes independientes es aceptable. Murillo (2003:74) destaca seis meta-análisis o revisiones: el de Edmonds (1979); Purkey & Smith (1993); Levine & Lezotte (1990); Cotton (1995); Sammons, Hillman & Mortimore (1995) y Scheerens & Bosker (1997). La estimación del efecto de la escuela en los principales estudios mencionados por los compendios realizados por Marzano (2000), Teddlie y Reynolds (2000) y Murillo (2003) se muestran en la tabla 4 (en donde d.a. = desempeño académico). TABLA 4. PRINCIPALES ESTUDIOS QUE CALCULAN EL EFECTO DE LA ESCUELA Cita Estudio Resultado Impacto Teddlie & Reynolds, 2000 p 6 Coleman et al., 1960, EUA. Solamente del 5 al 9% de la varianza en el d.a. se atribuye a la escuela. 5-19% Teddlie & Reynolds, 2000 p 6 Hauser 1976 EUA, preparatoria. Solamente del 1 al 2% de la varianza en el d.a. se atribuye a la escuela. 1-2% Teddlie & Reynolds, 2000 p 7 Summers & Wolfe 1977, EUA. Una mezcla de variables de maestro y escuela atribuyen el 25% de la varianza en el d.a. 25% Teddlie & Reynolds, 2000 p 76 Scheerens, 1992 p 70, Holanda. La varianza promedio entre escuelas es del 11 al 12% de la varianza total, 9.5% en primaria y 13.5% en secundaria. 9.5% prim. 13.5% sec. Teddlie & Reynolds, 2000 p 77 Reynolds, 1992 p 70, UK. La varianza entre escuelas es del 8 al 15% de la varianza total. 8-15% esc. Teddlie & Reynolds, 2000 p 77 Bosker & Witziers 1996 Meta-análisis 103 est. internacional Los factores atribuibles a la escuela significan el 18% de la varianza total en los resultados de los alumnos. Cuando se controla los antecedentes de los alumnos significa solo 8%. Si solo se toman en cuenta los estudios en EUA las cifras son 21% y 10% respectivamente. 8% esc. 10% EUA Teddlie & Reynolds, 2000 p 77 Creemers, Reynolds, Stringfield & Teddlie 1996. Internacional De los países industrializados, el de mayor efecto por la escuela es EUA (16-17%), UK (8-11%) del resto (0-11%) 16-17% EUA 8-11% UK 0-11% resto Teddlie & Reynolds, 2000 p 83 Teddlie, Stringfield et al., 1985, 1993, EUA, primarias Factores del alumno significaron 75%. Los factores asociados al grupo-maestro significaron 12% y los factores atribuibles a la escuela significaron 13% de la varianza en el d.a. 75% Alumno 12% Maestro 13% Escuela Teddlie & Reynolds, 2000 p 83 Aitkin & Longford, 1986, UK, secundarias. Primeros en desarrollar modelos multinivel. El efecto de las escuelas sin ajustar es del 10%. El efecto una vez ajustado por antecedentes de los alumnos es de solo 2%. 2%. Teddlie & Reynolds, 2000 p 83 Willms 1987, UK, secundarias. La varianza atribuible a los factores de la escuela es de solo 8%. 8%. Teddlie & Reynolds, 2000 p 86 Creemers & Scheerens, 1989 y Brandsma & Knuver 1989, Holanda. Las diferencias entre las escuelas significaron 12% de la variancia en aritmética y 8% de la varianza en el idioma holandés. 12%.Mat. 8% Holandés Teddlie & Reynolds, 2000 p 88 Daly 1991, Irlanda. Del 7 al 11% de la varianza ajustada en el d.a. se debe a factores atribuibles a la escuela. La variación fue mayor en Matemáticas y menor en Inglés. 7-11% Teddlie & Reynolds, 2000 p 88 Fitz-Gibbon 1991, UK, Preparatoria. El efecto debido a la escuela es de 15%. El impacto es mayor ya que son pruebas específicas de contenido. 15% Teddlie & Reynolds, 2000 p 89 Tymms 1993, UK, secundarias. 7% de la varianza puede ser atribuida a la escuela. Si se elimina el factor escuela, del 9-25% atribuible al grupo y del 8-24% al departamento. 7%. Teddlie & Reynolds, 2000 p 90 Hill & Rowe 1996, Australia, primarias. Demuestran que conforme aumenta el número de niveles incluidos en el análisis, la varianza atribuible a las escuelas va disminuyendo. 16-18% Teddlie & Reynolds, 2000 p 103 Smith & Tomlinson, 1989, UK, secundarias. Las diferencias en el d.a. es de 25% 25%. Teddlie & Reynolds, 2000 p 103 Mortimore et al. 1988, primarias, UK. En un estudio longitudinal de tres años el efecto de la escuela comparado con los antecedentes familiares, era 4 veces más importantes en lectura, y diez veces más importante en Matemáticas. Murillo, 2003 p 66 Brandsma, 1993, primarias, Holanda. Después de ajustar por los antecedentes de los alumnos, el efecto de las escuelas es 11.6% de la varianza total en aritmética, y 8% en lengua. 11.6% aritm 8% lengua Murillo, 2003 p 66 Rowe & Jones 1995, Australia, primarias y secundarias. La varianza en las escuelas es de aproximadamente 18% para lengua y Matemáticas. La varianza entre aulas es cerca del 50% 18% escuelas 50% aulas Murillo, 2003 p 67 Grisas, 1996, Francia, secundaria. Sistema central. Después de ajustar por antecedentes de los alumnos, el efecto de las escuelas fue de 5.4% para Matemáticas y 2.6% para lengua. La varianza entre aulas fue de 4.7% y 1.9% respectivamente. 5.4% mat. 2.6% lengua Marzano, 2000 p 15 Brookover et al. 1978, primarias. De la varianza total, 8% se debía al alumno, 6% al clima institucional, y 4% a la estructura de la escuela. 4% De acuerdo a Teddlie & Reynolds (2000), la estimación de la magnitud de los efectos estará influida si incluye estudios de escuelas prototípicas, ya que al ser casos extremos los efectos serán sobre-estimados. Asimismo, se tendrán mayores efectos si el estudio es longitudinal en vez de transversal y si se utiliza pruebas específicas en vez de pruebas de habilidades generales. De igual manera, el efecto será mayor si es mayor la varianza en el alumnado y si se estudian los niveles básicos. Si el estudio se realiza en un país en vías de desarrollo se espera un mayor efecto. En la tabla 4 se puede apreciar una gran variación en los estimados, lo cual seguramente se debe a varias de las razones recién indicadas. La recomendación de los mismos autores citados es considera que el efecto máximo de la escuela es de 20%, incluyendo los aspectos atribuibles a los maestros. También coinciden en que es de esperarse que esta variación sea mayor en países en desarrollo. Por otra parte, el porcentaje de la variación explicada por la escuela estará en función de la distribución del ingreso del país. Heyneman & Loxley (1982, cita en Fernández, 2004b:12) demostraron que mientras que en los países de bajo ingreso un 67% de la variación total en los aprendizajes explicada por el modelo completo era atribuible al bloque de variables escolares, en los países de alto ingreso, la contribución de la escuela a la explicación se había reducido a la tercera parte del total. Lo inverso se observaba con las variables asociadas a los antecedentes de los alumnos. Por otra parte Heyneman & Loxley (1983:1174; Reynolds, 2000:239), indica que el porcentaje de la variación debido a los factores escolares fue de 27% en la India y 25% en Tailandia, mientras que la contribución de las variables asociadas a los antecedentes de las familias fue de 3 y 6% respectivamente. Para el caso de México se tienen los estimados de Lastra (2001:131) quien calculó un 28% en Matemáticas y 26% en Español como efectos de la escuela, recordando que utilizó modelos multinivel y que controló los antecedentes de los alumnos. Fernández (2004b) calculó que el efecto de la escuela y el contexto en México para los años 1998 a 2003, siendo los mostrados en la tabla 5. TABLA 5. EFECTO DE LA ESCUELA Y EL CONTEXTO EN MÉXICO SEGÚN FERNÁNDEZ (2004B) Efecto escuela + contexto Efecto escuela únicamente Matemáticas Del 26% al 38% Del 20% al 36% Español Del 29 al 34% Del 19.5% al 29.3% Estos efectos son consistentes con lo esperado para un país en desarrollo, así como los obtenidos en otros estudios similares como se muestran en la tabla 6. Tabla 6. Otros estudios en países en desarrollo Estudio Resultado Impacto Piñeros y Rodríguez Pinzón, 1998, Colombia; cita en Murillo, 2003 p 240 El efecto de las variables escolares en el rendimiento es 29% de la variación del d.a. 29% Fernández 2004, primarias, países latinoamericanos El efecto de la escuela fue de un mínimo de 26% para Argentina, hasta un máximo de 39% para Chile, en pruebas de Matemáticas. 26 – 39% Heynemann & Loxley 1983; cita en Teddlie & Reymolds, 2000 p 239. Factores de la escuela, tales como disponibilidad de libros de texto, nivel de los profesores, extensión del programa, etc. explicaron 27% de la variación del d.a. en India y 25% en Tailandia. 27% India 25% Tail. La conclusión acerca de la medición del efecto de la escuela, es que los resultados de las investigaciones mexicanas son consistentes con otros estudios internacionales para países en desarrollo. 5. ANTECEDENTES SOCIOECONÓMICOS DE LOS ALUMNOS Uno de los aspectos que más han estudiado los investigadores educativos dentro de la corriente de eficacia escolar, es el efecto que representan los antecedentes SE de los alumnos. México no ha sido la excepción, ya que la gran mayoría de los estudios que se han mencionado en este artículo analizan el tema (Ruiz, 1999; Lastra, 2001; Fernández, 2004; Sánchez Moguer, 2004; Sandoval Hernández y Muñoz Izquierdo, 2004; Ahuja Sánchez y Schmelkes, 2004; Garza, Martínez y Tagüeña, 2004; Zorilla y Romo, 2004; Jornet y Backhoff, 2004). El nivel SE del alumno generalmente se asocia más con su nivel económico que con su nivel socio-cultural. Dentro de los factores que son atribuibles a los alumnos generalmente se consideran: Status socioeconómico Capital cultural Conocimientos previos Interés-motivación Aptitud El status SE puede estimarse por ocupación del padre, ingreso, educación de los padres, o una combinación de ello. Boocock (1972) indicó; “El ordenarlos de acuerdo a SES es ordenarlos de acuerdo a su nivel de éxito en la sociedad americana”. No solo pronostica el éxito académico sino también otros índices de actitudes y comportamientos (Chartes, 1963). Marzano (2000) indica que las correlaciones van de 0.10 a 0.80 por lo que no es tan evidente que el status SE sea abrumadoramente relevante. Se considera que esta variación depende de la forma en que SES es medido. En la tabla 7 se muestran las correlaciones en función de la manera en que se miden. TABLA 7. DIFERENTES FORMAS DE ESTIMAR EL STATUS SOCIO-ECONÓMICO Indicador SE ESd Ganancia en percentil % varianza Solo ingreso. 0.67 25 9.92 Solo educación 0.38 24 3.24 Solo ocupación 0.42 26 4.04 Solo ambiente en el hogar 1.42 42 33.29 Ingreso y educación 0.47 18 5.29 Ingreso y ocupación 0.70 26 11.02 Educación y ocupación 0.69 26 10.56 Ingreso, educación y ocupación 0.66 25 10.11 Tomado de Marzano (2000:69) Cabe resaltar que la variable de ambiente en el hogar es la variable individual más discriminante, inclusive más que las otras tres variables combinadas. Se entiende por ambiente en el hogar: apoyo para tareas, soporte, leerles a los hijos, motivarlos, ayuda a los alumnos sin importar el grado de estudios, ingreso u ocupación de los padres de familia, motivar a asistir a la universidad. En la tabla 8 se presentan diferentes estudios identificados en los compendios mencionados en la sección anterior, que están relacionados con las variables del alumno. Con la información mostrada en las tablas 4 y 8 se puede concluir que el efecto asociado a los antecedentes SE de los alumnos también es muy variable, y oscilará entre el 60% y el 80% en los países desarrollados. Quizá la principal causa de la variación en esta medición se deba a la manera en que se manejó el aspecto del efecto del contexto en el estudio. Seguramente para los estimados altos estarán incluyendo el contexto, mientras que para los estimados bajos es probable que hayan controlado el impacto del contexto. Interesante es el estudio de Turkheimer et al. (2003) el cual midió la correlación entre inteligencia (IQ) y nivel SE, buscando verificar si el efecto es mayor por el ambiente-contexto o más bien por la herencia. El resultado es que para bajos niveles SE el 60% de la variación es explicada por el contexto y cero por la herencia. Por el contrario, para altos niveles SE, el 90% es atribuible a la herencia. Los autores lo interpretan como que en los bajos niveles SE, al no superar la pobreza es difícil distinguir entre alumnos. Al ir superando la barrera de la pobreza para lograr desempeños académicos, resulta que la diferencia entre los alumnos está explicada ahora por la herencia, dado que se han “controlado” las demás variables. TABLA 8. PRINCIPALES ESTUDIOS ACERCA DE LOS ANTECEDENTES DE LOS ALUMNOS Referencia Estudio Resultado Teddlie & Reynolds 2000, p 79 Plowdon (1974) UK, primarias. Los factores correspondientes a las actitudes de los padres significaron el 58% de la varianza en el desempeño de los alumnos. Teddlie & Reynolds 2000, p 79 Ainsworth & Batter (1974), UK, primarias, longitudinal. Alta correlación entre los niveles de desempeño y la clase social. Teddlie & Reynolds 2000, p 87 Witte and Walsh 1990 y Mandeville & Kennedy 1991, EUA. Mayor correlación entre evaluaciones del maestro y el nivel SE del alumno, que con el desempeño del alumno. Teddlie & Reynolds 2000, p 82 Teddlie, Stringfield et al., 1985, 1993, EUA, primarias. Ambiente escolar significó 41% de la varianza. Antecedentes familiares significó 30%. Murillo 2003, p 56 Plowden, 1967, UK. Las diferencias entre las familias explican más de la variación de los niños que las diferencias entre las escuelas. Por lo tanto, de acuerdo a la literatura y a los resultados de estudios en países en desarrollo, el porcentaje de la varianza explicado por los antecedentes SE de los alumnos debería ser menor en México, similar a los países en desarrollo, en una cifra no mayor del 70%, y más cercana al 60%. Si se partiera del supuesto de que la variación total es justificada por solo tres factores (escuela-maestro, antecedentes y contexto), significaría que el efecto del alumno es igual a 100% menos el efecto de la escuela-maestro y del contexto. En un análisis realizado por Felipe Tirado (2004:109) con los datos de los resultados del examen EXANI I del CENEVAL a lo largo de 9 años, muestra una relación cuadrática entre el desempeño de los alumnos y su nivel socioeconómico. Tirado demuestra que la relación no siempre es lineal, ni que necesariamente a mayor ingreso mejor desempeño. El mismo Tirado (ibid:107 y 145) demuestra el alto impacto de la escolaridad del padre y de la madre (de manera individual) en los desempeños de los alumnos. Fernández (2004a:537) diferencia entre capital económico y cultural de un alumno. El principal factor encontrado en su estudio es el capital económico y cultural de que dispone el alumno a través de su hogar (índice de capital familiar). Identifica como dos grandes grupos de los factores familiares atribuibles a los alumnos. El primer grupo consiste en los recursos económicos y culturales, mientras que el segundo grupo lo forman los esquemas o reglas seguidas en la familia. El segundo aspecto más discriminante es que el alumno trabaje mientras concluye sus estudios de nivel primaria, lo cual fue corroborado por Ruiz (1999). En la década de los 70’s se hablaba de desigualdad de acceso a la educación, cuando a fines de los 90’s se habla de desigualdades de aprendizaje (Fernández 2004a:10). El mismo Fernández (ibid:21) concluye: “En síntesis, la desigualdad social originada en la desigual distribución de capital y de esquemas de estructura de clases (aceptada como normal en la sociedad capitalista) se reproduce en una desigualdad educativa en algún grado inaceptable para la ideología fundante de buena parte de los sistemas educativos liberales occidentales” Esto significa que la diferencia de clases (diferencias en los hogares) justifica claramente las diferencias de aprendizaje. Para el caso de México significó más de la mitad de la varianza (ibid:539). Esta misma relación es confirmada por Lastra (2001) y Ruiz (1999). Tirado (2004:131) intenta probar la hipótesis de si las diferencias se están ensanchando, mediante un sistema de reproducción vicioso, lo que él llama el “efecto de palma de mano”. Desafortunadamente, para la cantidad de datos confiables con los que pudo trabajar no es posible realizar conclusiones contundentes. De acuerdo al estudio de Jornet y Backhoff (2004:469) la escolaridad de los padres es lo más importante en EXANI y PISA. Para estos exámenes, la ocupación de los padres se correlaciona positivamente. Nivel de ingresos también esta relacionado positivamente (EXANI y PISA). Por otra parte, TIMSS está relacionado positivamente con número de libros. Tanto Lastra (2001) como Ruiz (1999) indican que el factor edad impacta negativamente en el desempeño de los alumnos. En resumen, como se esperaba, los estudios mexicanos corroboran la alta correlación entre los antecedentes SE de los alumnos y sus desempeños académicos. Sin embargo, no todos utilizan los mismos indicadores. Algunos optan por índices económicos, mientras que otros lo hacen con índices culturales. Solo Fernández (2004) aísla y calcula el efecto del contexto (ver tabla 5). 6. EFECTOS DEL CONTEXTO Para los investigadores en eficacia escolar, es claro que el contexto de la escuela juega un papel importante dentro de los desempeños de los alumnos. Al igual que los otros factores, su impacto va disminuyendo conforme aumenta la edad de los alumnos. Lo anterior significa en otras palabras, que suponiendo que existen dos escuelas con exactamente los mismos maestros, directivos, recursos, prácticas académicas, políticas, etc. pero con diferente grupo de alumnado; cualquier alumno que considere ingresar en alguna de las dos escuelas, deberá estar conciente de que su desempeño será diferente en las dos por la influencia provocada por sus compañeros, dado que los grupos de alumnos serán diferentes. Desde el punto de vista modelo estadístico, el efecto del contexto contesta a la pregunta; ¿Es uno solo el efecto de la escuela o son muchos los efectos de la misma escuela, pero diferentes en función del contexto de la escuela y el perfil del alumno? El efecto contextual se refiere a la composición de la población estudiantil total, generalmente medida como el porcentaje de alumnos de nivel socio-económico alto. De acuerdo a las investigaciones realizadas en Reino Unido también existe el efecto contextual cuando existen concentraciones de alumnos de bajo nivel SE, como minorías (Teddlie, Reynolds y Sammons, 2000:127). Otros aspectos que se consideran forman parte del contexto de la escuela son: género, grado, tipo de escuela, comunidad y etnia. En la tabla 9 se presentan los principales estudios acerca del efecto del contexto, encontrados en los compendios de meta-análisis ya mencionados. Como se puede apreciar de la tabla 9, el análisis del contexto se puede ver de dos maneras diferentes. La primera es su impacto en el desempeño individual de los alumnos, a los cual se puede concluir que si existe, más el cálculo de su magnitud no es precisa. La segunda manera corresponde al análisis si los efectos de las escuelas (pendientes) son distintos para los diferentes grupos de alumnos dentro de las escuelas, para lo cual se tienen resultados contradictorios. TABLA 9. ESTUDIOS ACERCA DEL EFECTO DEL CONTEXTO Referencia Estudio Resultado Teddlie & Reynolds 2000, p 128 Smith & Tomlinson 1989, primarias, UK. Consistencia de los efectos de las escuelas a los largo de diferentes grupos de alumnos, sin embargo, un alumno bueno se beneficia más de una buena escuela que un alumno malo. Teddlie & Reynolds 2000, p 128 Nuttal et al. 1989, UK. Los efectos de las escuelas son diferentes en función del tipo de alumnos. Algunas escuelas logran reducir la brecha entre los alumnos buenos y malos al momento de entrada. La variación es mayor entre los alumnos buenos que entre los malos. Teddlie & Reynolds 2000, p 128 Jesson & Gray, 1991; secundarias. No existe evidencia clara de diferentes pendientes o efectos de las escuelas en los diferentes grupos de alumnos. Teddlie & Reynolds 2000, p 129 Mortimore et al. 1988, Sammons et al. 1993; secundarias, UK. La diferencia en los efectos de las escuelas diferenciados por los grupos de alumnos, fue menor en lectura que en matemáticas. Teddlie & Reynolds 2000, p 172 Cuttance 1988, UK, secundarias. Estudio del efecto del tipo de comunidad como variable de contexto. La mayor variación es en las escuelas urbanas, disminuyendo conforme se alejaban de esta categoría. Las escuelas urbanas y del centro de la ciudad tenían menores promedios comparados con los suburbios. Teddlie & Reynolds 2000, p 172 Witte & Walsh 1990, EUA, todos los niveles. Superioridad de las escuelas en los suburbios sobre las escuelas en la ciudad, aún ajustando por antecedentes del alumno (lo cual es difícil en estos casos por la alta correlación). Teddlie & Reynolds 2000, p 173 Freeman & Teddlie 1997, EUA, secundarias. Repiten el estudio de Cuttance. Mejores resultados en escuelas de ciudades pequeñas o suburbios, que en las ciudades o rurales. Se especula que tienen más recursos humanos y fiscales provenientes de la comunidad. Teddlie & Reynolds 2000, p 11 Wimpelberg 1989, EUA. El contexto fue considerado como un aspecto crítico debido a que las conclusiones sobre la naturaleza, comportamiento y características internas de las escuelas eficientes, no eran compatibles con las conclusiones lógicas de las personas o porque no pudieron reproducirse en las investigaciones. Teddlie & Reynolds 2000, p 15 Goldstein 1993 Jonson and Gray 1991 Sammons 1993, UK. Diferentes efectos de las escuelas para diferentes grupos de alumnos (etnias o niveles SE). Murillo 2003, p 73 Thomas, Sammons & Mortimore, 1997. En las mejores escuelas salen beneficiados los alumnos de mayor nivel socio-económico, mientras que en las menos eficaces son estos mismos los que obtienen menores progresos Algo importante relacionado con la influencia del contexto, son los resultados encontrados por Hattie (1992, cita en Marzano, 2000:27), el cual indica: “Se puede esperar un ESd de 0.42 en una escuela sin aplicar ninguna innovación. 42% de esta mejora es solo por la madurez del alumno. Un esfuerzo constante y deliberado para mejorar la calidad de la educación típicamente termina en una mejora del desempeño académico. El efecto individual que más afecta el desempeño es la retroalimentación. Las estrategias enfocadas en individualizar la instrucción no son exitosas”. Para el caso de México, adicional al cálculo efectuado por Fernández (2004b) indicado en la tabla 5, se tienen los siguientes resultados: Lastra (2001) indica que el número de alumnos que reprueba en un grado afecta significativamente el desempeño académico individual. Fernández (2004) menciona que el impacto del nivel SE de los alumnos en el desempeño académico existe, pero no es igual para los diferentes países Uruguay, Argentina, Chile, México. Lo mismo para el género. El segundo factor más importante es que el alumno trabaje mientras estudia. El tercer factor más importante son las aspiraciones educacionales y las autovalorizaciones académicas. Zorilla (2003:385) en su estudio acerca de los resultados obtenidos en el examen EXANI I por los estudiantes de secundaria en el estado de Aguascalientes, lo cual tiene características de censo ya que es obligatorio, muestra una influencia en el contexto asociado a la etnia, por lo que respecta a los alumnos de procedencia indígena. 7. ANTECEDENTES SOCIOECONÓMICOS DE LOS ALUMNOS Son diversos los estudios internacionales que se avocan a estudiar los factores atribuibles al alumno, adicionales a sus antecedentes SE que se trataron en la sección 5. Generalmente los estudios se refieren a su motivación, su aptitud y los desempeños previos. 7.1. Motivación En el clásico estudio de Brookover et al. (1978, 1979; cita en Teddlie y Reynolds, 2000:304) indica que la variable “sensación por parte del alumno de controlar su ambiente” fue la variable más significativa de todo el modelo. Explicó más de la mitad de la varianza en el desempeño académico de los alumnos. Pareciera lógico que el interés del alumno en alguna materia afectará el desempeño del alumno en la misma, Marzano (2000:73), presenta un resumen del cálculo de los efectos de varios meta-análisis, que se presenta en la tabla 10. Tabla 10. Efectos de la motivación Estudio ESd Ganancia en percentil % varianza Schiefele, Krapp & Winteler (1992) 0.63 24 9.00 Schiefele & Krapp (1995) 0.75 27 12.25 Geisler-Brenstein & Schmeck (1996) 0.93 32 17.65 Tobias (1994) 1.01 34 20.25 Bloom (1976) 0.63 24 9.00 Steinkamp & Maehr (1983) 0.39 15 3.61 Promedio 0.73 27 11.56 Tomado de Marzano (2000:73) Marzano (ibid) concluye que el efecto es de 11.56% de la varianza. Schifele & Csikszentmihalyi (1994 cita en Marzano, 2000:73) encontraron que motivación está correlacionado significativamente con las experiencias de los alumnos en eficacia, afecto positivo, y potencia (sentirse activo, fuerte y excitado). Se podría concluir que entre los alumnos que más consideren que pueden controlar un tema y pueden afectar la forma en que son enseñados y desarrolladas, más afectará positivamente su desempeño académico en ese tema particular. Conforme aumenta la competencia sobre un tema, también aumenta el interés en el tema (Alexander et al. 1994; cita en Marzano: 2000:73). En la tabla 11 se presentan otros estudios identificados sobre este tema en los meta-análisis mencionados. TABLA 11. ESTUDIOS DETECTADOS ACERCA DE LA MOTIVACIÓN DEL ALUMNO Referencia Estudio Resultado Teddlie & Reynolds 2000, p 82 Brookover et al. 1978, EUA, primarias. La actitud del alumno de “futilidad académica” significó el 50% de la variación en el d.a. Teddlie & Reynolds 2000, p 93 Brookover et al. 1979, Teddlie & Springfield 1993, EUA. El sentido de “futilidad académica” por parte de los alumnos (agregado al nivel de escuela) fue el mejor factor individual para pronosticar el desempeño del alumnos. Murillo 2003, p 326 Rodriguez Díez 1991, primarias, España. El grado de satisfacción de los alumnos con la institución es menor en los de status SE mas elevado e inverso al de sus familias. Murillo 2003, p 330 Castejón 1996, Bachillerato, España. La percepción que tienen los alumnos acerca de los procesos educativosgenerados en el centro, tienen un efecto positivo, moderado pero significativo. Los estudios realizados en México tienden a corroborar la importancia de la motivación del alumno, aun cuando no se cuantifique de la misma manera. Fernández (2004a:538) encontró que en los países latinoamericanos estudiados, el cuarto factor en importancia (después del capital familiar del alumno, que no trabaje y el género) está las aspiraciones educaciones, como las autovaloraciones académicas. Tirado (2004:136) encontró que los siguientes factores son significativos al 99.9% de nivel de significancia: valores, actitudes, autoestima, hábitos de estudio, salud corporal, lectura y recreación. Zorrilla (2003) indica que existe una correlación alta entre desempeño académico y autovaloración del alumno. 7.2. Aptitud Se cree que la aptitud natural (para algunos conocida como talento) tiene un efecto positivo en el desempeño académico de los alumnos. Algunos autores lo consideran como el factor más importante Jensen, 1980 y Heurnstein y Murray 1994 (cita en Marzano, 2000:74). Otros inclusive aseveran que está genéticamente definido. Marzano (ibid) presenta una tabla resumen que se reproduce en la tabla 12. Como se puede apreciar, el rango de los resultados presentados es muy amplio, indicando un promedio de 28%. La discusión parte de la problemática asociada con la definición y medición de “aptitud”. Generalmente se comete el error en algunos estudios de confundirla con otros factores como: interés, acceso a información sobre el tema, etc. Marzano (ibid) indica que una vez que se eliminan o controlan los errores mencionados, se concluye que el efecto causado por aptitud es bastante bajo. TABLA 12. EFECTOS DE LA APTITUD Estudio ESd Ganancia en percentil % varianza Fraser et al. (1987) 0.88 31 16.00 Walberg (1984) 2.02 48 50.41 Bloom (1984) 1.50 43 36.00 Dochy, Segers & Buehl (1999) 0.95 33 18.49 Bloom (1976) 1.62 45 39.69 Steinkamp & Maehr (1983) 0.70 36 10.89 Boulanger (1981) 1.13 37 24.01 Promedio 1.25 39 28.09 Tomado de Marzano (2000:74) No se registraron estudios realizados en México en donde se estudiara el factor de aptitud. 7.3. Desempeño previo Al igual que con el nivel SE de la familia, existe una abrumadora evidencia del impacto causado por desempeño previo. Inclusive, forma la base de algunas investigaciones para identificar el efecto de la escuela, con un enfoque de valor agregado de la escuela (noción de eficacia incremental). Marzano (2000:70) presenta un resumen de algunas investigaciones con relación a este factor, las cuales se repiten en la tabla 13. Como se puede observar, el promedio es de 33.64% de la varianza. El principal meta análisis es el de Dochy et al. (1999) el cual incluye 183 estudios. El 91.5% de esos estudios demostraron la existencia de un efecto positivo entre conocimiento previo y desempeño académico (ibid:70). TABLA 13. IMPACTO DEL DESEMPEÑO PREVIO Estudio ESd Ganancia en percentil % varianza Bloom (1976) 2.20 48 54.79 Dochy (1992) 1.71 46 42.25 Tobias (1994) 1.76 46 43.56 Alexander, Kulikowich & Schulze (1994) 1.04 35 21.16 Dochy et al. (1999) 1.76 46 43.56 Schiefele & Krapp (1996) 0.43 16 4.41 Tamir (1996) 1.67 45 40.96 Boulanger (1981) 1.04 35 21.16 Promedio 1.43 42 33.64 Tomado de Marzano (2000:70) Las razones que justifican esta relación son claras. Por una parte, es evidente que es necesario tener cierto tipo de conocimiento previo para poder seguir adquiriendo más conocimiento de dominio específico. El solo hecho de contar con algunas habilidades no es suficiente. Las habilidades son totalmente inútiles si no cuentan con conocimiento que trabajar. Por otra parte, la falta de conocimientos previos inhibe la adquisición de más conocimiento de dominio específico. De acuerdo a un estudio de Rolfhus & Ackerman, 1999 (cita en Marzano, 2000:71), la adquisición de conocimientos de dominio específico por parte de alumnos de nivel universitario, es dependiente de una base común de conocimientos. Willms 1992 (cita en Teddlie, Reynolds y Sammons, 2000:95) indica que es más importante el desempeño académico previo que el nivel SE de la familia, como parte de los antecedentes de los alumnos. Sammons et al. 1995 (cita en Teddlie, Reynolds y Sammons, 2000:131) hizo un re-análisis y seguimiento de 9 años al estudio Mortimore et al., 1988. Las escuelas primarias ejercen un efecto de largo plazo en el desempeño de los alumnos, análisis aún después de controlar por habilidad al inicio de la secundaria. Habrá que tener cuidado con la inclusión de variables acerca de los efectos previos, ya que pueden cancelar parcialmente los efectos de las escuelas, al mezclarse con el antecedente familiar (Teddlie, Reynolds y Sammons, 2000:96). Por otra parte, para considerar en el diseño de la investigación, es necesario incluir variables independientes con mayores variaciones, ya que hay más variación entre las “familias” que entre las “escuelas”. Es por eso que es natural que se espere mayor efecto de las familias que de las escuelas, más eso no significa que las escuelas no tengan un efecto. (Ibid). Por lo que respecta a México, Tagüeña et al. (2004:493) indica la correlación entre resultados en EXANI I y promedio de secundaria, de solo 0.24, por lo que como era de esperarse, los promedios de las escuelas sean muy poco representativos de los aprendizajes reales de los alumnos. Lo anterior demuestra la poca confiabilidad de las calificaciones emitidas por una institución en particular, lo cual es de dominio general. Jornet y Backhoff (2004) en su estudio de los resultados obtenidos en México en los exámenes EXANI I, PISA y TIMSS elaboraran varias conclusiones interesantes que a continuación se mencionan. Acerca del uso del tiempo libre, encontraron una relación positiva entre horas de estudio y lectura; así como una relación negativa con horas de televisión. Se presenta un menor rendimiento entre los alumnos que dedican su tiempo libre a paseo, ver TV o jugar en la calle, mientras que la relación es positiva para los alumnos que dedican su tiempo libre a ver cine o juegos de mesa. Es muy probable que lo anterior esté relacionado con el nivel SE. Tener un pasatiempo y las actividades culturales se relaciona positivamente con desempeño. Los que leen más de 2 horas diarias tienen menor rendimiento en matemáticas, lo cual pareciera indicar que a los que les gusta leer tienden a no gustarles las Matemáticas, sin embargo pareciera paradójico que a mayor frecuencia de lectura mayor rendimiento de Matemáticas. Tagüeña et al. (2004:503) confirma la relación positiva entre los resultados de los exámenes y las horas de estudio, cantidad de libros leídos y las actividades en el tiempo libre. Ruiz (1999), Fernández (2004a) y Lastra (2001) indican la relación negativa con la distancia que debe recorrer el alumno para llegar a la escuela. Esto es confirmado por el estudio de Piñeros y Rodríguez Pinzón, 1998 (cita en Murillo, 2003:250) realizado en Colombia, quienes indican que tanto el tiempo que le dedican a trasladarse a la escuela, como los cambios de establecimiento, afectan de manera negativa, mientras que la autoestima y riqueza sociocultural en casa favorecen el desempeño. Sobre la repetición de grado por reprobación, también se tienen varios estudios (Ruiz 1999, Schmelkes 1997, Lastra 2001) que indican que afecta negativamente el desempeño. De igual manera lo concluyeron Loera y McGinn, 1992 (Murillo, 2003:250) del estudio realizado en Colombia. Otro aspecto que se ha estudiado en México es acerca del estado de nutrición de los alumnos, lo cual no es común encontrar en los estudios internacionales. En resumen se puede concluir que los efectos de los alumnos de los estudiantes mexicanos son similares a los de los estudiantes en otros países. Es abrumadora la evidencia en ambos casos, de la importancia de los conocimientos previos. 8. ANTECEDENTES SOCIOECONÓMICOS DE LOS ALUMNOS Esta sección incluye las variables que están bajo control del maestro en lo individual, independientemente del contexto en el que se encuentre la escuela. Marzano (2000) asegura que la influencia del maestro es el doble de la influencia de la escuela. Asimismo, indica el impacto en el aprendizaje del alumno es menor conforme el agente de cambio se aleja del alumno. Siguiendo este criterio la familia es el factor más importante, posteriormente el maestro, la escuela, el director y al final el distrito o autoridad educativa. Los efectos del maestro son difíciles de identificar, por una parte, ya que cuando se trabaja con la escuela como unidad de análisis se cancela los efectos de un maestro eficiente. Por otra parte, es difícil deslindar la responsabilidad de determinados aspectos como: capacitación del maestro (¿Es voluntad del maestro o requisito de la escuela en donde trabaja?), uso del laboratorio (¿El mérito es de la escuela que equipa la institución con laboratorios, o del maestro en utilizarlos?), trabajo colegiado (¿Iniciativa del profesor o práctica rutinaria de la escuela?), etc. La literatura utiliza indistintamente los términos grupo (o clase) y maestro. La razón de ello se debe a que si la mayoría de los estudios han estado concentrados a nivel de primarias, en este nivel generalmente todas las materias son impartidas por un solo maestro. Si no se separan los efectos del grupo-maestro se convierte en variación “dentro (within)” de las escuelas, lo que en realidad corresponde a una variación “entre (between)” grupos. En estos casos se corre el riesgo de sobre estimar los efectos de las escuelas a costa de subestimar los efectos de los maestros. Sanders & Horn, 1994 (cita en Marzano, 2000:61) indican la evidencia contundente de que la influencia del profesor es mucho mayor que la de la escuela. Se basa en el “Tennessee Value Addded Assessment System” (TVAAS). En dicho estudio el impacto del profesor era significativo aún a los niveles de significancia de 0.01%, cuando los demás factores como escuela, tamaño de grupo, etc. no presentaban significancias tan altas. “Los maestros eficaces son así con todos los alumnos de todos los niveles de desempeño sin importar el grado de heterogeneidad de la clase. Si el maestro es ineficiente, sus alumnos lograrán avances académicos inadecuados sin importar su homogeneidad o heterogeneidad previa” Wright et al., 1997 (cita en Marzano, 200:61). Si el maestro ejerce tanta influencia en el alumno, es importante identificar cuales son las variables que hacen que los maestros sean eficaces. Diferentes autores citan diversas variables. Por ejemplo; Cotton (1995) cita más de 160 variables. Fraser et al. (1987) relaciona 25 variables; Walberg (1999) lista 30 variables y Scheerens (1992) cita más de 30. Marzano (2000:62) las agrupa en 3 categorías: a) instrucción, b) diseño del currículo y c) control de grupo. Por lo que respecta a instrucción, Creemers (1994) cita 9 habilidades: organizadores avanzados, evaluación, retroalimentación, instrucción correctiva, aprendizaje por nivel de conocimiento, agrupar en base a habilidad, tarea, claridad de la presentación, preguntas. Marzano et al. (2000 y 2001) a través de meta-análisis de diferentes estudios de las estrategias instruccionales, identifica 9 categorías, las cuales se muestran en la tabla 14. TABLA 14. ESTRATEGIAS INSTRUCCIONALES EFICACES SEGÚN MARZANO Estrategia ESd Ganancia en percentil % varianza Identificar semejanzas y diferencias. 1.61 45 27.04 Resumir y tomar notas. 1.00 34 20.25 Fomentar el esfuerzo y proporcionar reconocimiento. 0.80 29 13.69 Tarea y práctica. 0.77 28 12.96 Representaciones no lingüísticas. 0.75 27 12.25 Aprendizaje cooperativo. 0.73 27 11.56 Establecer objetivos y proporcionar retroalimentación. 0.61 23 8.41 Generar y probar hipótesis. 0.61 23 8.41 Activando los conocimientos previos 0.59 22 7.84 Tomado de Marzano et al. (2000; 2001) El ESd calculado en estos casos es más significativo, dado que se utilizaron pruebas específicas en vez de pruebas de habilidades genéricas. Para la segunda categoría correspondiente a diseño del currículo, Creemers (1994) considera dos factores: 1) jerarquización explícita de metas y 2) contenido bien estructurado y presentado. Para Clark & Yinger, 1979 (cita en Marzano, 2000:63) también es necesario incluir las actividades de enseñanza-aprendizaje apropiadas. Los alumnos deben estar expuestos por lo menos 3 o 4 veces a la información antes de que legítimamente se espere que la recuerden, o bien la usen en sentido correcto. El tiempo entre esas exposiciones no debe exceder los 2 días, Nuthall & Alton-Lee, 1995 (cita en Marzano 2000:65). Cuando las metas están bien articuladas y organizadas en una estructura jerárquica, se espera un ESd de 0.30 (Kulik´s & Kulik´s, 1989; cita en Marzano, 2000:65). Por lo que respecta a la tercera categoría que es el control de grupo, muchos investigadores la consideran como requisito indispensable de los procesos de enseñanza-aprendizaje (Marshall, 2001; Marzano, 2003; Smith Rick, 2003; Stein et al., 2000). Marzano (2003:8) en su meta-análisis exclusivamente enfocado al control de grupo cita las siguientes medidas como las más efectivas (tabla 15). Teddlie y Reynolds (2000:287) indican que hay evidencias de éxito en diferentes maneras de agrupar a los alumnos. Las formas de agrupar a los alumnos pueden ser “nivel de conocimiento, agrupar por habilidad, aprendizaje cooperativo”. TABLA 15. MEDIDAS EFECTIVAS PARA EL CONTROL DE GRUPO, SEGÚN MARZANO Factor ESd No. de estudios Percentil de disminuciones en interrupciones Reglas y procedimientos. -0.763 10 28 Intervenciones disciplinarias -0.909 68 32 Relación entre alumnos y maestro -0.869 4 31 Prepararse mentalmente -1.294 5 40 Tomado de Marzano (2003:8) En la tabla 16 se relacionan los estudios detectados acerca de los factores del maestro. Cabe destacar la manera en que las variables que se identifican son diferentes para los países industrializados, que los países en desarrollo. Hay que resaltar las conclusiones de Hanusheck (1981), la cual indica que el gasto no afectó el desempeño académico. Los estudios realizados en México acerca del impacto del maestro han estado más encaminados al perfil del profesor que a su práctica o habilidad docente. Aspectos como la presencia/ausencia del profesor, días de trabajo, años de experiencia, si es que maneja más de un grado a la vez, son los aspectos en que generalmente se concentran los estudios. Esta situación pareciera ser similar a otros países en vías de desarrollo (Cano 1997; cita en Murillo 2003:250). Sin embargo, hay consenso en que el impacto del maestro es mayor que el impacto de la escuela (Schmelkes, 1997). Jornet y Backhoff (2004:466) presentan un análisis de diferentes estrategias instruccionales o técnicas de enseñanza y su impacto en su desempeño medido por el examen EXANI I. El estilo docente más participativo y activo, el aprendizaje colaborativo y el mejor clima de clase son favorables. Aprendizaje cooperativo y lengua están relacionados (ibid:467), especialmente en los grupos de mayor rendimiento. Esto resulta en el análisis de PISA y EXANI, pero al contrario en TIMSS el aprendizaje cooperativo y participativo está asociado con menor desempeño. Por lo que respecta al clima en clase, no se encuentra una relación lógica o consistente, salvo una leve relación positiva entre clima y lengua. El rol activo del profesor se relaciona positivamente con el desempeño del alumno en EXANI, en PISA no hay asociación y TIMSS presente resultados contradictorios. Fernández (2004a:543) indica que el grado en que los maestros sienten que han desarrollado fuertes lazos de cooperación y amistad, afecta negativamente al aprendizaje. Con base en la información presentada, no es posible concluir si el impacto del profesor en México es igual que en otros países desarrollados. De igual manera, tampoco es posible concluir sobre la práctica docente de los maestros. Lo único definitivo es que el maestro tiene un impacto significativo y mayor que la escuela. Tabla 16. Factores atribuibles al maestro Referencia Estudio Resultado Teddlie & Reynolds, 2000 p 93 Teddlie & Springfield, 1993; Witte & Walsh, 1990. Las expectativas que tienen los maestros acerca del aprendizaje de sus alumnos está más correlacionado con los antecedentes SE de los alumnos que con el desempeño de los alumnos. Hawley,2002 p x Little, 1990; Louis Marks & Kruse, 1993. El trabajo colaborativo aumenta la sensación entre los maestros para soporte mutuo hacia una instrucción eficiente. Hawley, 2002 p x Kruse & Louis, 1999. Condiciones estructurales y los recursos humanos y sociales proporcionan los cimientos de la comunidad profesional. Hawley, 2002 p x Louis & Kruse, 1995. Para que las comunidades profesionales crezcan los maestros necesitan tiempo adicional para trabajar en dos áreas diferentes, como grupos de maestros y como facultad total. Hawley, 2002 p x Kruse, Louis & Bryk,1995, Las comunidades profesionales se definen por tener 5 elementos comunes de práctica: valores compartidos, centrado en el aprendizaje, colaboración, práctica sin privilegios y diálogo para reflexionar. Hawley, 2002 p x Bryk et al., 1993. En las escuelas de alto desempeño los maestros indican que la mayoría de sus colegas tienen un alto sentido de responsabilidad por ayudarse mutuamente, mejorar la escuela y establecer altos estándares consigo mismos. Hawley, 2002 p x Hoy, Tarter & Rothcamp, 1991. En las escuelas de bajo desempeño existe un enfoque ceremonial y protocolario hacia la mejora de la escuela, en donde los maestros toman las actividades correctas pero sin muchas expectativas de éxito. Hawley, 2002 p xi Newmann & Wehlage ,1995. La eficacia escolar se relaciona con las interacciones colegiadas y colaborativas entre los actores principales de la escuela. Hawley, 2002 p xi Hy, et al. 1991. Las percepciones que tienen los maestros acerca de las interacciones entre ellos y la escuela son un reflejo de la calidad de la enseñanza de los maestros. Teddlie & Reynolds, 2000 p 18 Ros 1994, Holanda El trabajo cooperativo en clase no afecta el d.a. Teddlie & Reynolds, 2000 p 18 Freibel 1994, Holanda La planeación del maestro tiene poco impacto en el d.a. La planeación de la curricula no tiene impacto en el d.a. Teddlie & Reynolds, 2000 p 18 Witziers 1992, Holanda Un fuerte involucramiento de la administración en la planeación e implementación del sistema instruccional tiene efectos positivos. Teddlie & Reynolds, 2000 p 19 Brandsma 1995, Holanda. Impacto significativo por los niveles de instrucción y los comportamientos de los maestros. Las escuelas tienen mayor impacto en Matemáticas que su lengua. El liderazgo instruccional tiene un efecto negativo. Escuelas religiosas son mejores que escuelas publicas. Teddlie & Reynolds,2000 p 80 Murname, 1975, EUA. Después de controlar los antecedentes de los alumnos, la asignación de los alumnos a grupos significa el 15% de la varianza total. Teddlie & Reynolds, 2000 p 8 Hanushek 1981, 1986 EUA Las variables de los profesores asociadas con los gastos de la escuela, no tuvieron ningún impacto en el d.a. Murillo 2003, p 326 Rodríguez Díez 1991, primarias, España. La estabilidad docente en la escuelainfluye positivamente en el funcionamiento del equipo directivo, del claustro y del aula, y negativamente en el nivel de satisfacción del alumnado. El clima del centro influye positivamente en el trabajo de los docentes en el aula y, a través de éste, en el rendimiento de los alumnos. Murillo 2003, p 327 Rodríguez Gomez, 1991, primarias, España. Son características de las escuelas eficaces un profesorado satisfecho de sus relaciones con el centro, que expresa altas expectativas, trabaja en equipo introduciendo innovaciones y adaptando la enseñanza a las características de los alumnos. Contexto escolar definido por la participación de padres, profesores y alumnos en medio de un clima escolar positivo. Murillo 2003, p 330. Castejón 1996, preparatorias, España. Los años de experiencia del docente, influyen de manera significativa y en sentido negativo sobre el rendimiento medio de los alumnos. Otros factores; el grado de satisfacción media y la percepción que tienen del director. 9. ANTECEDENTES SOCIOECONÓMICOS DE LOS ALUMNOS Por último, corresponde el análisis a los factores atribuibles a la escuela, lo cual la mayoría de las investigaciones tienen a colocar como en el último lugar de importancia entre los grupos que afectan el desempeño de los alumnos. Dentro de los factores atribuibles a la escuela, algunos investigadores incluyen el liderazgo ejercido por el director de la escuela, el ambiente escolar, el tipo de gobierno de la misma, horarios y calendarios, entre otros aspectos. En los EUA se han realizado varios estudios enfocados a verificar si el tipo de gobierno de la escuela tiene efecto sobre el desempeño de los alumnos, lo cual es lógico su interés, considerando que en ese país existen diferentes formas de gobierno de las escuelas públicas. Castañeda yLozano (2003:245) muestran que los resultados de las escuelas rurales son mejores que las urbanas en Colombia, pareciera ser que es el único caso en América Latina. Fernández (2004a:540) indica que de los países latinoamericanos estudiados, solo en el caso de México se presentó una diferencia estadística a favor de las escuelas privadas sobre las públicas, después de controlar por antecedentes de los alumnos. En casi todos los países, las escuelas rurales no estuvieron detrás de las urbanas después de controlar los antecedentes de los alumnos. Por otra parte, cabe mencionar algunos resultados del estudio realizado por la OCDE (2004) sobre las naciones con mejores resultados en la evaluación PISA de 2000 (publicados en 2001). Al analizar los sistemas educativos de los 6 países más exitosos, encuentran que no existe un patrón común en aspectos como: forma de gobierno, forma de organización, uso de estándares, evaluación sistematizada nacional, atención a alumnos de bajo desempeño o de lengua no nativa, capacitación a profesores, etc. Sin embargo, concluyen que sí existe una relación clara y positiva entre autonomía y desempeño, principalmente la selección de los cursos que se ofertan, y en menor grado, la asignación de presupuesto. Jornet y Backhoff (2004:465) realizan un análisis acerca del tipo de escuela secundaria en México, encontrando superioridad de las escuelas privadas, del programa general, urbana y matutina, sobre las escuelas públicas, técnicas, rurales o indígenas, vespertinas. En realidad, quizá el único efecto es el de la escuela privada, ya que la gran mayoría son matutinas, urbanas, del programa general. Al no haber controlado los antecedentes SE de los alumnos, es probable que se haya generalizado una conclusión no necesariamente válida. En la tabla 17 se presentan los principales estudios detectados: Para el caso de México, los estudios se han enfocado como se mencionó anteriormente, en la disponibilidad de servicios y recursos en las escuelas. Aspectos estudiados son si la escuela cuenta con servicios de agua, drenaje y energía eléctrica, disponibilidad de biblioteca escolar, la necesidad de que un maestro imparta más de un grado, el cumplimiento del calendario, Todos estos factores impactan significativamente el desempeño de los alumnos, aun después de haber controlado los antecedentes SE de los alumnos. El tamaño de la escuela es un factor que destaca Lastra (2001), en donde las escuelas grandes son las que pueden hacerse llegar de recursos. Asimismo, como se mencionó antes, la lejanía de la escuela afecta negativamente el desempeño. Tabla 17. Principales estudios detectados acerca del impacto de la escuela Referencia Estudio Resultado Teddlie & Reynolds, 2000 p 82 Brookover et al. 1978, EUA, primarias. Primero en utilizar tres cuestionarios: alumno, maestro y director. Ambiente en la escuela significa 73% de la varianza del d.a. Teddlie & Reynolds, 2000 p 82 Teddlie, Stringfield et al., 1985, 1993, EUA, primarias. Ambiente escolar significó 41% de la v. d.a. Antecedentes familiares significó 30% de la v. d.a. Teddlie & Reynolds, 2000 P 172 Hannaway & Talbert 1993, EUA, preparatorias. El tamaño de la escuela favorece la comunidad de maestros y el liderazgo del director en las escuelas suburbanas y desfavorece en las urbanas. Los directores en las urbanas tienen menor autonomía. La influencia del sindicato de maestros es mayor en las urbanas. No había efectos por el tamaño de la escuela en la zona rural. Teddlie & Reynolds, 2000 P 174 Purkey & Rutter 1987, EUA, preparatorias. Mejor ambiente escolar en las escuelas suburbanas.   Teddlie & Reynolds, 2000 P 174 Rowan, Raudenbush & Kang 1991, Las escuelas urbanas son mejores que las rurales por lo que respecta a diseño organizacional, motivación y compromiso del maestro. Teddlie & Reynolds, 2000 P 174 Buttan & Carlson 1983, Conklin & Olson 1988, Hord et al. 1982, Lomotey & Swanson 1990, Stringfield & Teddlie 1991 Los recursos materiales son más escasos en las escuelas rurales. El cuerpo de maestros es más reducido y cantidad de alumnos. El contexto de los alumnos es más homogéneo y por lo tanto cohesivo. Se requiere de estrategias innovadoras para hacerse de recursos. Es más fácil lograr consenso entre los maestros. Mayor involucramiento de los padres. El tipo de comunidad no es tan importante en UK como lo es en EUA. Lastra 2001, primarias, México. El tiempo dedicado a las tareas impacta positivamente. No hay efecto por lo “atractivo” del salón. La percepción del maestro del desempeño del alumno afecta positivamente el d.a. La percepción de los alumnos acerca de la disciplina en el salón no tuvo impacto. Murillo, 2003 p 250 Piñeros y Rodríguez Pinbzón 1998, Colombia Particulares mejor que públicas. Lastra, 2001 p 23 Coleman, Hoffer & Kilgore 1981, Coleman & Hofer 1987 Las escuelas particulares son marginalmente más eficientes que las públicas. Fernández 2004b El efecto por entidad federativa es de 1% a 2% en Matemáticas a lo largo de 6 años. En Español es de 1.4 a 4.1%. 10. CONCLUSIONES Durante los últimos años se han realizado en México varios estudios en el área de eficacia escolar de alto nivel. Estos estudios han producido una gran cantidad de resultados, suficientes para formar un banco de datos de soporte a la toma de decisiones en materia de política educativa. En este artículo se han analizado muchos de estos resultados, más no se han agotado todos los resultados disponibles. Al comparar los mismos con sus similares a nivel internacional, se concluye, como era de esperarse, que la mayoría de los resultados son consistentes, principalmente por lo que se refiere a los factores asociados al alumno, particularmente al impacto de su nivel SE. Por lo que se refiere a los factores atribuibles a la escuela, es necesario cubrir las necesidades básicas de insumos y servicios, antes de poder continuar con un análisis más preciso de aspectos a mejorar. El área de los factores atribuibles al maestro es quizá el área menos estudiada en México, en donde existe un gran campo de acción para futuras investigaciones. Las investigaciones en el sentido estricto de eficacia escolar han evaluado la labor del maestro generalmente de manera indirecta a través de cuestionarios aplicados a alumno o directivos, con sus consecuentes inconsistencias. La mejor manera es la observación directa etnográfica, más es de todos conocido sus debilidades y costos asociados. Al corroborar que los resultados en México tienen mucha consistencia con los resultados a nivel internacional, es recomendable analizar y estudiar las investigaciones y proyectos que han llevado a cabo otros países, encaminados a la mejora de escuelas. Sería imperdonable que México ignorara los mismos por considerarlos ajenos a su contexto e iniciara su propia investigación a partir de cero. Como en la mayoría de los estudios de eficacia escolar, al concluirlos los investigadores terminan con más preguntas que el número de respuestas encontradas, lo cual es la guía natural para futuras investigaciones, las cuales son tan necesarias para México. REFERENCIAS BIBLIOGRÁFICAS Ahuja, R.y Schmelkes, S. (2004). Los aspirantes indígenas a la educación media superior. En: CENEVAL (ed.) Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Alexander, P.A., Kulikowich J.M. y Schulze S.K. (1994). How subject-matter knowledge affects recall and interest. Review of educational Research, 31(2), pp. 313-24. Boocock, S. (1972). An introduction of the sociology of learning. Boston: Houghton-Mifflin. Brookover, W.B., Schweitzer, J.G., Schneider, J.M., Beady, C.H., Flood, P.K.y Wisenbaker J.M. (1978). Elementary school social climate and school improvement. American Educational Research Journal, 15, pp. 301-318. Brookover, W.B., Beady, C., Flood, P., Schweitzer, J. y Wisenbaker, J. (1979). School, social systems and student achievement: schools can make a difference. New York: Praeger. Cano, F. (1997). Factores asociados al logro cognitivo de los estudiantes: Grados 3º-5º (1993-1994). Bogotá: Ministerio de Educación Nacional. Castañeda, E. y Lozano, M. (2003). Estado del arte sobre eficacia escolar en Colombia. En: Murillo (ed) La investigación sobre Eficacia Escolar en Iberoamérica, revisión internacional del estado del arte. Bogotá: CIDE. CENEVAL, (2004). Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Chartes, W. (1963). The social background of teaching. En: N.L. Gage (ed) Handbook of research of teaching. Chicago: Rand McNally. Clark, C.M. y Yinger, R.J. (1979). Teacher’s thinking. En: Peterson P.L., Walberg H.J. (eds) Research in teaching: concepts, findings and implications.Berkeley: McCutchan. Coleman, J.S., Campbell, E., Hobson, C., McPartland, J., Mood, A., Weinfeld, R. y York, R. (1966). Equality of educational opportunity. WashingtonD.C.: Government Printing Office. Cotton (1995). Effective schooling practice: A research synthesis. Portland: Northwest Regional Educational Laboratory. Creemers, B. (1994). The effective classroom. London: Cassell. Crone, L.J., Lang, M. y Franklin, B.J. (1994). Achievement measures of school effectiveness: comparison of consistency across years. Paper presented at the annual meeting of the American Educational Research Association, 4-8, April, New Orleans. Daly, P. (1991). How large are school effects in Northern Ireland? School effectiveness and school improvement, 6(4), pp. 367-379. Dochy, F., Segers, M. y Buehl, M.M. (1999). The relationship between assessment practices and outcomes of studies: The case of research on prior knowledge. Review of educational research, 69(2), pp. 145-41. Edmons, R. (1979). Effective Schools for the urban poor. Educational Leadeship, 37(1), pp.15-24. Ezpeleta, J. y Weiss, E. (2000). Cambiar la escuela rural. Evaluación cualitativa del programa para abatir el rezago educativo. México: Centro de Investigación y Estudios Avanzados del IPN. Fernández, T. (2004a) Distribución del conocimiento escolar, clases sociales, escuelas y sistema educativo en Latinoamérica. Tesis para obtener el grado de doctor en ciencias sociales, Colegio de México, mayo 2004. Fernández, T. (2004b). ¿Cuánto importa la escuela? El caso de México en el contexto de América latina.Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación2(1). Fraser, B.J., Walberg, H.J., Welch, W.W. y Hattie, J.A. (1987). Synthesis of educational productivity research. [special issue] Journal of educational research, 11(2). Garza, M, Martínez, P. y Tagüeña, C. (2004). Estimación del desempeño bruto, desempeño neto y eficacia de las escuelas secundarias de la zona metropolitana de la Cd. de México. En CENEVAL (ed) Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Hanushek, E.A. (1981). Throwing money at schools. Journal of policy analysis and management 1, pp. 19-21. Hattie, J. (1992), Measuring the effects of schooling. Australian Journal of education, 36(1), pp. 5-13. Hawley, W. (2002). The Keys to effective schools. California: National Education Association, Corwin Press. Heurnstein, R.J. y Murray, C. (1994), The bell curve: Intelligence and class structure in american life. New York: The Free Press. Heyneman, S.P. y Loxley, W.A. (1982). Influences on Academic Achievement across high and low income countries: a re-Analysis of IEA Data. Sociology of Education, 55(1), pp. 13-21. Heyneman, S.P. y Loxley, W.A. (1983). The effect of primary school quality on academic achievement across twenty-nine high and low income countries. American Journal of Sociology, 88(6), pp. 1162-1194. Jencks, C.S., Smith, M., Ackland, H., Bane, M., Cohen, D., Ginter, H., Heyns, B. y Michelson, S. (1972). Inequity: a reassessment of the effect of the family and schooling in America. New York: Basic Books. Jensen, A.R. (1980). Bias in mental testing. New York: The free press. Jornet, J. y Backhoff, E. (2004). Análisis diferencial de de perfiles de rendimiento y variables asociadas en los proyectos mexicanos EXANI I, TIMSS y PISA. En: CENEVAL (ed) Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Kennedy, E., Mandeville, G. (2000). Some methodological issues in school effectiveness research. En: Teddlie, C., Reynolds, D. (ed). The international Handbook of School Effectiveness Research. New York: Routledge/Falmer. Kulik, J.A. y Kulik, C.L.C. (1989). Meta-analysis in education. International Journal of educational research, 13(3), pp. 221-119. Lastra, (2001). School effectiveness, a study of elementary public schools in a Mexican city. Tesis doctoral en la Universidad de Stanford, California. Levine, D.U. y Lezotte, L.W. (1990). Unusually effective schools; a review and analysis of research and practice. Madison: NationalCenter for School Research and Development. Loera A. y McGinn, N. (1992). La repitencia del grado en la escuela primaria colombiana: resultados de una exploración sobre los factores asociados a la repitencia y políticas de promoción. Cambridge: Instituto para el Desarrollo Internacional. Manaus, G.F. (1980). School effectiveness, a reassessment of the evidence. New York: McGraw Hill. Mandville, G.K. y Anderson, L.W. (1987). The stability of school effectiveness indices across grade levels and subject areas. Journal of educational measurement, 24, pp. 203-16. Marshall, M. (2001). Discipline without stress, punishments or rewards. California: Piper Press. Martínez, F. (1992). Evaluación de la Calidad de las instituciones de educación superior. Divertimiento para Carlos Muñoz Izquierdo, Conferencia en el Foro Internacional sobre Calidad en la Educación, Universidad de las Américas, Cholula Puebla, México. Marzano, R. (2000). A new era for school reform: going where the research takes us, Mid-continent research for educational and learning. Colorado. Marzano, R., Pickering, D. y Pollock, J. (2001). Classroom instruction that works; research-based strategies for increasing student achievement. Virginia: ASCD. Marzano, R. (2003). Classroom Management that works. Virginia: ASCD. Mortimore P., Sammons P., Stoll, L., Lewis, D. y Ecob, R.(1988). School matters; the junior years. Somerset: Open Books (reprinted in 1995 by Paul Chapman; London). Muñoz Izquierdo, C. et al.(1979). El síndrome del atraso escolar y el abandono del sistema educativo. Revista Latinoamericana de Estudios Educativos, IX(3), pp. 1-60. Muñoz Izquierdo, C., Santini, L. y Casillas, M. (1993). La calidad de la educación en México: Visión analítica del avance del conocimiento en el contexto del desarrollo educativo del país, en la última década. México: II Congreso Nacional de Investigación Educativa. Murillo, F. J. (2003). El movimiento de Investigación de Eficacia Escolar. En: Murillo (ed) La investigación sobre Eficacia Escolar en Iberoamérica, revisión internacional del estado del arte. Bogotá: CIDE. Nutall D.L., Goldstein H., Prosser, R. y Rasbasch J. (1989). Differential school effectiveness. En: Creemers, B.P.M. y Schreerens, J. (eds) Developments in school effectiveness research. International journal of educational research, 13(7), pp. 769-76. Nutall, G. y Alton-Lee (1995). Assessing classroom learning. How students use their knowledge and experience to answer classroom achievement test questions in science and social studies. American Educational Research Journal, 31(1), pp. 185-38. OCDE (2004). Completing the foundations for lifelong learning, An OECD survey for upper secondary schools. Paris: Organization for Economic Cooperation and Development. Piñeros L.J. y Rodriguez Pinzón, A. (1998). Los insumos escolares en le educación secundaria y su efecto sobre el rendimiento académico de los estudiantes: Un estudio en Colombia. Human Development Department, Lcshd paper series No. 36. Washington, D.C.: World Bank. PurkeyS.C. y Smith M.S. (1993). Effective schools; a review. Elementary School Journal, 83, pp. 427-25. Raudenbush, S.W. (1989). The analysis of longitudinal, multilevel data. En: Creemers, B.P.M., Scheerens, J. (eds) Developments in school effectiveness research, special issue of International journal of educational research, 13(7), pp. 721-39. Reynolds D. (1976). The delinquent school. En: Woods, P (eds) The process of schooling. London: Routledge and Kegan Paul. Reynolds D. y Teddlie C. (2000). The processes of school effectiveness. En: Teddlie C., Reynolds, D. (ed). The International Handbook of School Effectiveness Research. New York: Routledge/Falmer. Reynolds D., Teddlie C., Creemers B., Scheerens J. y Townsend T. (2000). An introduction to school effectiveness research. En: Teddlie, C. y Reynolds, D. (eds.) The international Handbook of School Effectiveness Research. New York: Routledge/Falmer. Reynolds D. y Teddlie C. (2000). The future agenda for school effectiveness research. En: Teddlie C., Reynolds, D. (ed) The international Handbook of School Effectiveness Research. New York: Routledge/Falmer. Reynolds D. (2000) School effectiveness, the international dimension. En: Teddlie, C., Reynolds, D. (ed) The international Handbook of School Effectiveness Research. New York: Routledge/Falmer. Rolfhus E.L. y Ackerman P.L. (1999). Assessing individual differences in knowledge: knowledge, intelligence and related traits. Journal of educational psychology, 91(3), pp. 511-15. Ruiz Cuellar, G. (1999). Un acercamiento a la calidad de la educación primaria en Aguascalientes desde la perspectiva de la efectividad escolar. Aguascalientes: Universidad Autónoma de Aguascalientes. Rutter M., Maughan B., Mortimore P. y Houston J. (1979). Fifteen Thousand Hours; secondary schools and their effects on children. London: Open Books. Sammons P., Thomas S. y Mortimore, P. (1997). Forging Links; effective schools and effective departments. London: Paul Chapman. Sammons P., Hillman, J. y Mortimore, P. (1995). Key characteristics of effective schools; a review of school effectiveness research. London: Office for standards in education and Institute of education. Sanders W.L. y Horn, S.P. (1994). The Tennessee value-added addessment system (TVAAS) mixed model methodology in educational assessment. Journal of Personnel Evaluation in education, 8, pp. 299-311. Sandoval, A. y Muñoz Izquierdo, C. (2004). Equidad y eficacia en la distribución de oportunidades de acceder a la educación media. En: CENEVAL (ed). Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Sánchez Moguer, A. (2004). Relaciones lineales y no lineales entre los resultados en el EXANI I y las circunstancias socioculturales de los sustentantes. En: CENEVAL (ed). Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Scheerens, J. (1992). Effective schooling: Research, theory and practice. London: Cassell. Scheerens J. y Bosker, R.J. (1997). The foundations of educational effectiveness. Oxford: Pergamon. SchiefeleU. y Csikszentmihalyi M. (1994). Interest and the quality of experience in classrooms. European Journal of Psychology of education, 9, pp. 251-19. Schmelkes S., Martínez F., Noriega M.C. y Lavin S. (1997). La calidad de la educación primaria: un estudio de caso. México: SEP-Fondo de Cultura Económica. Secretaría de Educación Pública (2000). Distribución de los planteles públicos de educación primaria y secundaria, según el acierto de sus alumnos en los exámenes de carrera magisterial. Evaluar para mejorar. México: Dirección General de Evaluación de la Subsecretaría de Planeación y Coordinación de la SEP. Smith, R. (2003). Conscious classroom management. California: Conscious teaching publications. Stein, R., Richin, R., Banyon, R., Banyon, F. y Stein, M. (2000). Connecting character to conduct, helping students do the right things. Virginia: ASCD. Stringfield, S., Teddlie, C. y Suares, S. (1985). Classroom interaction in effective and ineffective schools, preliminary results from phase III of the Louisiana school effectiveness study. Journal of classroom interaction, 20(2), pp 31-7. Stringfield, S., Teddlie, C., Wimpelberg, R.K., y Kirby, P. (1992). A five year follow-up of schools in the Lousiana School Effectiveness Study. En: Bashi J y Sass Z (eds). Schools effectiveness and School Improvement. Proceedings of the third international congress. Jerusalem: Magnes Press. Tagüeña C., Garza, M. y Robledo E. (2004). Aplicación del EXANI I y uso de sus resultados en el contexto escolar. En: CENEVAL (ed). Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Teddlie C., Stringfield S. y Desselle, S. (1985). Methods, history, selected findings and recommendations from the Louisiana School Effectiveness Study; 1980-85. Journal of Classroom Interaction, 20(2), pp. 22-30. Teddlie C., Stringfield, S., Wimpelberg, R. y Kirby P. (1987). Contextual differences in effective schooling in Louisiana. Paper presented at the annual meeting of the American Educational Research Association, Washington, D.C. Teddlie, C., Reynolds, D. y Sammons, P. (2000). The methodology and scientific properties of school effectiveness research. En: Teddlie, C y, Reynolds, D. (ed) The international Handbook of School Effectiveness Research. New York: Routledge/Falmer. Teddlie, C. y Reynolds, D. (2000). School effectiveness research and the social and behavioral sciences. En: Teddlie, C. y Reynolds, D. (ed) The international Handbook of School Effectiveness Research. New York: Routledge/Falmer. Teddlie, C., Reynolds, D. y Sharon, P. (2000). Current topics and approaches in school effectiveness research: The contemporary field. En: Teddlie, C., Reynolds, D. (ed) The international Handbook of School Effectiveness Research. New York: Routledge/Falmer. Tirado F. (2004). Perfiles del EXANI I. En: CENEVAL (ed) Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C. Trower, P. y Vincent, L. (1995). The value added national Project technical report, secondary. London; school curriculum and assessment authority. Townsend, T. (1994). Goals for effective schools, the view from the field. School effectiveness and school improvement, 5(2), pp.127-148. Turkheimer, E., Haley, A., Waldron, M., D’Onofrio, B. y Gottesman, I.I. (2003).Socioeconomic status modifies heritability of IQ in young children. Psychological Science, 14, pp. 623-5. Vidal, R. y Díaz, M.A. (2004). Resultados de las pruebas PISA 2000 y 2003 en México, habilidades para la vida en estudiantes de 15 años. México: Instituto Nacional para la Evaluación de la Educación. Wright, S.P., Horn, S.P. y Sanders, W.L. (1997). Teacher and classroom context effects on student achievement. Implications for teacher evaluation. Journal of personnel evaluation in education, 11, pp. 57-10. Walber, H.J. (1999). Productivity teaching. En: Waxman, H.C., Walberg, H.J. (eds) New directions for teaching practice and research, pp. 75-31. Berkeley: McCutchan Publishing Corporation. Willms, J.D. (1992). Monitoring school performance: aguide for educators. London: Falmer Press. Zorrilla, M. (2003). La investigación sobre eficacia escolar en México. Estado del arte. En Murillo (ed) La investigación sobre Eficacia Escolar en Iberoamérica, revisión internacional del estado del arte. Bogotá: CIDE. Zorrilla, M. y Romo, J. M. (2004). La educación secundaria en Aguascalientes (1999-2002) un análisis de factores asociados a los resultados escolares en español y matemáticas en el EXANI I. En: CENEVAL (ed) Evaluación de la educación en México. Indicadores de EXANI-I. México: Centro Nacional de Evaluación para la Educación Superior A.C.