PROGRESO DE APRENDIZAJE EN LA EDUCACIÓN SECUNDARIA BÁSICA DE ARGENTINA: UN ANÁLISIS MULTINIVEL DE VALOR AGREGADO
Ruben Cervini
Durante las últimas dos décadas, los conceptos de ‘eficacia escolar’ (identificación de factores escolares) y ‘justicia educativa’  (comparación ‘justa’ entre escuelas) han tenido una fuerte presencia en la investigación educativa realizada en los países desarrollados. Dos técnicas específicas han fortalecido notablemente ese desarrollo y la mutua imbricación de ambos conceptos: la medición de ‘valor agregado’ y la técnica de análisis estadístico multinivel. Existe un consenso generalizado de que el grado de eficacia de la escuela debe ser medido con base en el ‘progreso’ alcanzado por el alumno con referencia su nivel de logro inicial (valor agregado), y no con base al nivel de logro actual (rendimiento ‘bruto’). Esta es una condición necesaria para que la comparación entre las escuelas sea ‘justa’. En este enfoque, entonces, la medición de ‘eficacia’ institucional coincide con un criterio operacional del enfoque de justicia educativa. Por otra parte, el desarrollo de la técnica de análisis estadístico ‘multinivel’ (modelos jerárquicos lineales), orientada a solucionar los problemas que surgían al aplicar los métodos de regresión tradicionales a variables individuales (alumno) dentro de contextos de agregación o anidamiento jerárquico (aula, escuela, distrito), ha permitido estimaciones más confiables y adecuadas del concepto de valor agregado y del efecto de factores escolares y extraescolares. Sin embargo, dos problemas claves continúan en debate. Si bien es esperable que el logro previo exprese, capture, el efecto de los factores extra-escolares individuales del alumno (por ejemplo, su origen social), no siempre se acepta a priori que ese tipo de factores no afecte, a su vez, a la tasa de progreso en el aprendizaje. Surge entonces, el interrogante acerca de si es necesario investigar ese tipo de factores cuando ya se dispone de alguna medición de logro previo o si por el contrario, esta última es suficiente para obtener estimaciones válidas y confiables. Esta misma disyuntiva se plantea respecto del efecto ‘contextual’ – socioeconómico o académico – escolar, cuya importancia estaría condicionada por el grado de heterogeneidad de la ‘composición’ del alumnado de la escuela. Surge así la pregunta acerca de qué tan heterogénea debe ser esa ‘composición’ para rechazar a priori la existencia del efecto contextual. En los países desarrollados se han realizado numerosas investigaciones de valor agregado durante las últimas décadas. Entre las más recientes se ha extendido notablemente el uso de la técnica de análisis multinivel. En los países del Tercer Mundo, en cambio, este tipo de investigaciones aún es poco frecuente. El presente trabajo pretende llenar este vacío, particularmente referido a Argentina. Con base en los resultados de dos evaluaciones de logro aplicadas a los mismos alumnos cuando estaban en 7º (2001) y  9º (2003) años de la educación general básica (EGB) de la Provincia de Buenos Aires, el objetivo es responder a los problemas planteados anteriormente y a otros interrogantes propios de este enfoque de investigación. 1. ANTECEDENTES Efecto escuela. En los países desarrollados, diversas revisiones han mostrado que la mayoría de las investigaciones constatan  la existencia de efectos significativos de la escuela o el aula sobre el logro del alumno (Levine y Lezotte,1990; Creemers,1994; Sammons, Hillman y Mortimore,1995; Bosker y Witziers,1996; Scheerens y Bosker,1997). Aparentemente, sin embargo, la magnitud promedio estimada de tal efecto varía notablemente (Carvallo,2005), desde alrededor de 10% (Scheerens y Bosker,1997) a cerca del 20% o más (Creemers,1994; Bosker y Witziers,1996). Esas revisiones incluyen estudios metodológicamente muy disímiles, lo cual podría explicar tal variación. En este sentido, Teddlie y Reynolds (2000), después de revisar  numerosas investigaciones,  concluyen que la magnitud estimada del efecto de la escuela dependerá de algunos aspectos metodológicos relevantes. Así por ejemplo, cuanto mayor sea la heterogeneidad de la muestra de escuelas analizada, o la variable criterio estudiada sea el progreso de aprendizaje y no el logro en un determinado momento, y se refiera a dimensiones curriculares específicas y a niveles básicos de enseñanza, el impacto de la escuela aparecerá siendo mayor (Teddlie y Reynolds,2000). Además, existen evidencias de que ese efecto es mayor en los países en desarrollo que en los desarrollados, en el interior de los cuales también se verifican diferencias importantes. Finalmente, cabe recordar que la magnitud de las estimaciones obtenidas también puede variar de acuerdo a técnica de análisis utilizada. Una parte importante de la historia de la investigación sobre eficacia escolar está conformada por estudios de diseño transversal, donde la variable-criterio es el logro del alumno, medido con un test estandarizado, y el método utilizado para el análisis de las relaciones entre la variable dependiente y los factores escolares y extra-escolares es la  regresión múltiple tradicional. Para el presente trabajo, sin embargo, interesa observar particularmente los resultados de aquellos estudios más recientes que cumplan con dos condiciones: la variable bajo estudio es el ‘progreso’ del alumno (valor agregado) y no el rendimiento en un punto del tiempo, y se aplica la técnica de análisis estadístico de modelos jerárquicos o ‘multinivel’. Se ha identificado un grupo de investigaciones que cumplen con estos dos requisitos (Anexo A) respecto a logros en Matemática y/o Lengua. Valor agregado. El uso de la medición de valor agregado{1} se ha intensificado notablemente, de forma que actualmente varios países desarrollados cuentan con estudios de valor agregado o de efectividad escolar teniendo como variable-criterio al valor agregado. Tal es el caso de Inglaterra (Thomas,1995; Mortimore, Sammons and Thomas, 1994; Schagen, 1994; Schagen y Sainsbury, 1996; Strand, !997; Strand, 1999; Felgate., Minnis y Schagen, 2000; Schagen y Morrison, 1999; Sammons, Thomas y Mortimore, 1997; Thomas, 2001; Schagen y Schagen, 2001); los Países Bajos (Thomas, 2001),  tanto en Holanda (Reynolds,2000) como en Flanders (Opdenaker y otros, 2002); Irlanda (Smythe,1999);  Francia (Duri-Bellat y Mengat, 1998); Hungría y Alemania (ver Schagen y Hutchison, 2003) y Australia (Hill y Rowe,1996; 1998). En USA, se utilizan diferentes metodologías de valor agregado en sistemas de evaluación, tal como el Tennessee Value Added Assessment - TVAA (Sanders y Horn,1994; ver también otras referencias en Stone, 2003), con aplicación en la evaluación de docentes (Stone,2002; Cunningham y Stone,2005), y el California Assessment of Performance Indicators (Thum,2002). El uso de la técnica de valor agregado se expande no sólo como una consecuencia del debate en torno a la injusticia que implica el uso del ordenamiento de las escuelas por el rendimiento promedio bruto de sus alumnos, cualquiera sea su finalidad, sino también porque constituye la forma más confiable de estimar el efecto propio de los factores escolares. En términos generales, las investigaciones han “demostrado la necesidad de tomar en cuenta las diferencias de ‘entrada’ (intakes) entre las escuelas para asegurar que, tanto como posible, las comparaciones sean realizadas de igual a igual” (Sammons y West,1997) y consecuentemente, parece existir ahora “un amplio consenso de que indicadores ‘justos’ del desempeño de la escuela necesitarán medir el progreso de los alumnos en la escuela, en vez de los ‘resultados’ brutos en los exámenes nacionales” (Strand, 1997:2). Ello es así porque cuando se incluye alguna indicador de competencia cognitiva o logro anterior como predictor se afecta significativamente la fuerza explicativa de otros factores (Mortimore y otros 1988; Muijs y Reynolds, 2000), tales como los propiamente escolares. Multinivel y efecto escuela. Existe también un consenso creciente  en el uso de los modelos jerárquicos lineales o ‘multinivel’ (Aitkin y Longford, 1986; Bryk y Raudenbush, 1992; Goldstein, 1995) para analizar estructuras de datos caracterizadas por la existencia de diversos niveles de agregación jerárquica, como es el caso de los datos provenientes del sistema educativo (alumnos, aula, escuela, distritos, etc.). El análisis multinivel del valor agregado implica tres operaciones claves: (i) la descomposición inicial de la varianza, sin considerar el logro previo; (ii) el control del efecto del logro previo y (iii) la determinación del efecto de factores extra-escolares sobre la tasa de progreso de aprendizaje. (i) La primera permite estimar, provisoriamente, la magnitud relativa del efecto del total de las variables asociadas al nivel escuela (‘correlación intra-clase’ o proporción de la variación total debida a la variación inter-escuela). Puede ser interpretada como el efecto-escuela ‘bruto’. Los resultados de los estudios incluidos en el Anexo A parecen sugerir la existencia de fuertes variaciones en la ‘correlación intra-clase’ estimada. Dado que todos ellos han sido obtenidos con análisis multinivel, parece que otros aspectos metodológicos, juntos con particularidades nacionales, y no la técnica de análisis utilizada,  continúan explicando las fluctuaciones de las estimaciones. A pesar de ello, es posible extraer algunas indicaciones respecto de la variación ‘inter-escuela’ (o inter-escuela + inter-aula): (a) en general, es inferior a la variación ‘intra-escuela’ (o ‘inter-alumno’), con excepción de sólo dos estudios (Opdenakker y otros,2002; Veenstra y Kuyper,2004), los cuales especifican el aula como nivel intermedio, aspecto que puede explicar en parte este comportamiento; (b) la del nivel secundario es muy superior a la del primario, donde nunca sobrepasa el 30% (Bransma y Knuver,1989), magnitud muy inferior a la mayoría de las estimaciones para el nivel secundario; y (c) en el nivel primario, las diferencias en el logro de Matemática son mayores que las de Lengua. Inicialmente entonces, el ‘efecto escuela’ es menor que el efecto de las características del alumno (sexo, nse), es mayor en el nivel secundario y, dentro del primario, en Matemática.    En su revisión de investigaciones realizadas en países del Tercer Mundo y que habían aplicado análisis multinivel, Ridell (1997) concluyó que las diferencias inter-escuela son menores que las disparidades intra-escuela, es decir, "la influencia del hogar es mayor que la de la escuela" (p. 185), contrariamente a lo hipotetizado por una larga tradición de estudios empíricos anteriores. El análisis multinivel de los datos del Primer Estudio Internacional Comparativo del LLECE (2000) en América Latina, arrojó también una amplia variación de la importancia relativa de la escuela en los países participantes, desde 17% (Chile: Lengua) a 41% (Argentina: Matemática) (Willms y Somers, 2001).  En todos los casos, por tanto, el ‘efecto escuela’ es inferior al de los factores extra-escuela y, con excepción de Honduras y México, tal efecto es mayor en Matemática  que en Lengua. En Argentina, la variación inter-escuela promedio en el 7º año de educación básica, estimada con los resultados de 4 estudios anuales (1994-1997) es 48% en Matemática y 38% en Lengua (Cervini,1999: Tabla 2.5, pp.12). Para el último año de la educación secundaria, esas estimaciones son 47% y 43%, respectivamente (Cervini, 2002b). En todos esos estudios se aplicó la técnica de análisis multinivel, pero en ninguno se dispuso de datos para calcular valor agregado.  (ii) En la segunda operación se determina la magnitud del efecto del logro previo a través de la disminución de la varianza total del rendimiento actual. La mayoría de los estudios incluidos en el Anexo A carecen de la información específica sobre este aspecto, debido a que no distingue entre el efecto del logro previo y el de los otros  antecedentes individuales del alumno. En los pocos estudios donde es posible verificar esta información, se constata que para el logro en matemática, solo o combinado con otras asignaturas, los logros previos producen una caída de la varianza total de aproximadamente 50% o más, sea en secundaria (Jesson,2000; Luyten,1998; Veenstra y Kuyper;2004) o en primaria (Muijs y Reynolds,2003), con la excepción de Luyten (1998), quien reporta 28% para el nivel primario. Para lengua, este mismo autor encuentra 20% y 38% en primaria y secundaria, respectivamente.      (iii) Una vez estimada la magnitud de aquella variación residual, otro interrogante se torna importante: ¿La tasa de progreso está afectada por otras características del alumno y del contexto? Es decir, ¿los antecedentes extra-escolares del alumno individual y la ‘composición’ del alumnado de la escuela tienen efectos estadísticamente significativos después de controlar por el logro previo? Además, ¿en qué nivel de agregación (alumno, aula, escuela) se verifica el efecto del logro previo y el de los otros covariados? Logro previo vs. otros antecedentes del alumno. Una vasta cantidad de investigaciones ha demostrado la estrecha relación entre el nivel de logro en las pruebas y los antecedentes socioeconómicos de los alumnos. El uso de valor agregado ha sido criticado precisamente debido a que tiende a ocultar ese efecto del origen social del alumno y el contexto socioeconómico de la escuela (Gibson y Asthana,1998). Como respuesta se ha argumentado que la capacidad explicativa de los factores socioeconómicos es siempre mucho más suave que la obtenida con el logro previo (Thomas y Mortimore,1996; Goldstein,1998) y que, además, éste último absorbe totalmente al efecto de factores socioeconómico, tornando prescindible su modelización o control explícito (Fitz-Gibbon,1996). Ello equivale a presuponer que los antecedentes socioeconómicos del alumno no inciden en su tasa de progreso de aprendizaje. En el mismo sentido, por ejemplo, un sistema regular de valor agregado (TVAAS) en USA no mide ni controla las diferencias de raza o status socioeconómico de los alumnos dado que estudios empíricos y análisis estadísticos “han demostrado que no existe relación entre incrementos anuales y raza, elegibilidad para programa de comida o cualquier otra variedad de diferencias entre alumnos, fuentes potenciales de sesgo” (Stone,2003:6). Sin embargo, también existen evidencias en sentido contrario. Después de analizar extensas bases de datos de diferentes regiones, la mayoría de ellas en Gran Bretaña, Thomas (2001) concluye que “el modelo óptimo toma en cuenta todos los factores de logros previos, antecedentes del alumno y contexto escolar” (299). En Lancashire, una de esas regiones, “en casi todas las escuelas (93%), los alumnos del programa alimenticio (programa social) en promedio progresan menos que los otros alumnos” (303). También en USA existirían evidencias de que los antecedentes del alumno predicen los incrementos de algunas poblaciones de alumnos (D’Agostino,2000; McCaffrey y otros,2003) y por ello, la importancia de modelar las características pre-existentes del alumno “permanece como una cuestión empírica que debe ser tratada por cada analista en el contexto de estos factores específicos” (McCaffrey y otros,2003:70){2}. Las investigaciones consignadas en el Anexo A parecen apoyar esta última tesis. De los 25 estudios con valor agregado registrados y que incluyeron algún indicador socioeconómico o demográfico del alumno, sólo en 5 de ellos tales covariados no tienen efecto significativo sobre la tasa de progreso del alumno. Nivel de agregación y magnitud del efecto. En la información proporcionada por  la mayoría de los estudios incluidos en el Anexo A no se distingue entre el efecto de los antecedentes individuales del alumno y el de su logro previo, es decir, ambos se modelizan simultáneamente{3}. No obstante, se puede extraer alguna idea acerca de cuál es el nivel de agregación al que afectan esos factores. Todos los estudios referidos al secundario, con excepción de Sammons (1995), informan que el conjunto de indicadores individuales tiene mayor efecto relativo a nivel escuela y no a nivel alumno, reflejando la existencia de una importante segmentación institucional{4}. Las informaciones disponibles para los estudios a nivel primario no permiten inferir una tendencia nítida dado que aquellos donde el efecto sobre el nivel alumno es mayor poseen algunas particularidades que podrían explicar, en parte, ese comportamiento: Hill y Rowe (1998) no informan sobre el efecto en el nivel aula; Kyriakides (2004) es el único estudio que trata del 1º año de primaria (Chipre) e incluye un informe del maestro como indicador de logro previo; Strand (1997) refiere a un promedio de Matemática y Lengua, y no informa sobre ambas asignaturas por separado. Son pocos los estudios que distinguen e informan el efecto del logro previo y el de los otros antecedentes del alumno. En Veenstra y Kuyper (2004), matemática del secundario, diversos antecedentes del alumno explican 6% y 13% de la variación intra-escuela e inter-escuela, respectivamente, es decir, tienen mayor efecto en el nivel superior de agregación. Por otra parte, de la proporción de varianza residual dejada sin explicar en cada nivel de agregación por características individuales del alumno y otras variables (alumno: 90%; aula y escuela: 80%), los antecedentes cognitivos del alumno explican 24% a nivel alumno y 80% y 73% a nivel aula y escuela, respectivamente. Estos comportamientos indican la selectividad no sólo socioeconómica, sino también académica de la institución educativa del nivel secundario. Por el contrario, en Strand (1997) – matemática + lengua de primaria - los antecedentes cognitivos del alumno ‘explican’ muy poco de la variación inter-escuela (4%), pero producen una caída del 39% en la variación intra-escuela (alumno), mientras que los otros antecedentes del alumno apenas aportan un 2% a la explicación en ese nivel. Las estimaciones informadas por un estudio más reciente (Muijs y Reynolds, 2003), también del nivel primario, permiten una visión más detallada y disímil a la anterior:  Nivel Modelo ‘vacío’ (%) -D% Logro previo (A) -D% Antecedentes (B) -D% (A) + (B) Escuela 8,7 95 4 90 Aula 7,9 60 10 67 Alumno 83,4 44 18 46 El logro previo, además de producir una caída relativa (%) muy importante de la variación a nivel alumno, explica casi la totalidad de la variación inter-escuela y más de la mitad de la variación inter-aula; es decir, detecta un alto grado de segmentación académica. Los antecedentes socioeconómicos del alumno pesan más a nivel alumno, pero agregan muy poco a la explicación del residuo dejado por el logro previo. ‘Composición’ del alumnado{5}. Una de las principales críticas a la tradición de estudios de efectividad escolar es que no ha prestado suficiente atención al efecto del contexto social de la escuela, que supondría pequeño, transmitiendo la impresión de que la escuela actúa independientemente de tal determinación (Slee, Weiner,  With Tomlinson,1998; Thrupp,2001a). Por esta misma razón, los estudios de valor agregado que utilizan análisis multinivel y que no incluyen variables de contexto, “han ido en detrimento de una comprensión más amplia del desempeño escolar” (Gibson y Asthana,1998:201). Ello porque la situación más realista es que “la distribución de las variables omitidas varía entre aulas o escuelas” (McCaffrey y otros,2003:70), es decir, las escuelas están altamente estratificadas por raza y clase. Aún cuando los antecedentes individuales del alumno no afectasen las estimaciones del progreso en el aprendizaje, se producirán importantes sesgos cuando se omiten las variables del “contexto”  (Ballou, Sanders y Wright, 2003; McCaffrey y otros, 2004). Para Teddlie y Reynolds (2001), en cambio, desde muy temprano (Informe Coleman) los estudios de efectividad escolar han abordado el impacto de la clase social sobre el logro del alumno, distinguiendo entre “…el efecto del nivel socioeconómico individual del alumno y el efecto del grupo de alumnos… “ (53), y además, nunca han afirmado que “la efectividad escolar fuese independiente de la composición escolar” (56). Sin embargo, no ha sido poco frecuente desde este enfoque, recomendar “no usar datos agregados … en el monitoreo del desempeño escolar” (FirtzGibbon,1996:147) puesto que ello puede transmitir la incorrecta idea de que “el nivel socioeconómico es un predictor del logro tan fuerte como el logro previo” (146). Este rechazo a considerar datos agregados posiblemente tiene que ver con la fuerte relación entre 'composición’ escolar y características institucionales. No son pocos los estudios que han demostrado que, si se ajusta por la ‘composición’ social de la escuela, las variables referidas a las características del aula y de la escuela agregan muy poco a la explicación de las diferencias de rendimiento promedio entre aulas y entre escuelas (Cervini, 2005; Opdenakker y Van Damme, 2001; Scheerens y Bosker,1997; Lamb y Fullarton,2002), y que, además, el efecto ‘contextual’ es siempre mayor que el de las variables individuales correspondientes del alumno (Teddlie y Reynolds, 2001; Thrupp, 2001b), conclusiones que tienden a debilitar las tesis optimista de ‘efectividad escolar’. Se plantea así una disyuntiva metodológica que implica una posición de preferencia: si los indicadores de contexto se omiten, el efecto escuela, aula o maestro será sobrestimado; si se incluyen, tal efecto podría ser subestimado (McCaffrey y otros, 2004). Más allá del evidente condimento ideológico de este debate, lo cierto es que la mayoría de las investigaciones empíricas recientes han reportado un efecto propio y muy significativo de las medidas de ‘composición’ socioeconómica y cultural de la escuela sobre el logro del alumno (Bryk y Raudenbush, 1992; Caldas y Bankston, 1997; Nuttall el. al., 1989; Opdenakker y Damme, 2001; Sammons, Thomas y Mortimore, 1997; Strand, 1997; Teddlie y Reynolds, 2000; Willms y Raudenbush, 1989), conclusión válida también para ’composición’ intelectual o de antecedentes de logro (Teddlie y Reynolds, 2000), sea en la educación primaria (Leiter, 1983) o en la secundaria (Resh y Dar, 1992; Strand, 1997; Opdenakker y Van Damme, 2001; Tymms, 2001). De hecho, el significado y la magnitud del ‘efecto composición’ del alumnado, y sus relaciones con los factores más próximos al aprendizaje escolar, continúan siendo temas de actualidad de la investigación educativa{6}. Por tanto, parece recomendable considerar este tipo de variables en cualquier estudio de efectividad. A pesar de ello, una proporción importante de las investigaciones de ‘valor agregado registrados en el Anexo A no incluyó variables de ‘composición’ socioeconómica en el análisis, aún cuando ese tipo de información estuviese disponible a nivel del alumno. Algunos estudios sí las incluyeron pero no informan los resultados obtenidos. En los estudios que lo hacen, los resultados no muestran una tendencia definida. En primaria, algunos estudios detectan un aporte importante de la ‘composición’ a la explicación de la variación inter-escuela, adicional a lo ya explicado por los indicadores individuales del alumno (Bransma y Knuver,1989, en matemática; Schagen y Schagen,2003; Strand,1997), mientras que para otros, esta conclusión no se sostiene (Bransma,1989 en Lengua; Bondi,1991; Muij y Reynold,2003). Este comportamiento se verifica también en secundaria, donde a veces se constata un aporte significativo de la ‘composición’ (Opdenaker y Damme,2001; Opdenakker y otros,2002) y otras no (Hofman y otros,2003; Sammons y otros,1997). En todos los casos que esto último sucede se debe a que los indicadores a nivel alumno, sean el logro previo solo o junto otros antecedentes del alumno, tienen un efecto importante sobre el nivel escuela y/o aula, reflejando un alto nivel de selectividad institucional. 2. OBJETIVOS ESPECÍFICOS Basado en los hallazgos de la literatura considerada anteriormente, casi toda ella proveniente de países desarrollados,  no es posible inferir una imagen homogénea ni conclusiones contundentes. Por el contrario, los resultados oscilan según las particularidades metodológicas y contextuales de cada estudio. Sin embargo, ha sido posible identificar algunas preguntas claves propias de la investigación de valor agregado. Por otra parte, es evidente la carencia de este tipo de estudios en países en vía de desarrollo. El presente trabajo pretende responder algunos de esos interrogantes, pero ahora con respecto a Argentina, un país en vías de desarrollo. Para tal fin, se consideran los resultados de las evaluaciones de matemática y lengua en el 9º año de la EGB y los obtenidos dos años antes (7º año) con las mismas materias y alumnos de la Provincia de Buenos Aires. Los interrogantes específicos a responder son los siguientes:    ¿Existen evidencias de que las escuelas varíen significativamente en cuanto al logro promedio de sus alumnos? Se trata de determinar la magnitud de la variación inter-escuela del rendimiento promedio de los alumnos de 9º año. ¿En qué medida el nivel de logro precedente del alumno afecta su nivel de logro actual? (valor agregado) ¿Cómo se distribuye ese efecto entre los niveles de agregación? (alumno y escuela). Se trata de evaluar el poder predictivo de las pruebas del 7º año de la EGB y la confiabilidad del análisis de valor agregado de los efectos de la escuela sobre el 9º año. ¿Con qué magnitud las características personales y familiares del alumno (factores extra-escolares) afectan el progreso de aprendizaje del alumno? Se trata de determinar el efecto de los factores extra-escolares individuales del alumno sobre el progreso de aprendizaje entre 7º y 9º años, como también sobre el logro en 9º año. Ello implica conocer las magnitudes relativas de los efectos del nivel de logro inicial y de los factores extra-escolares individuales del alumno sobre el nivel de logro actual, y de las diferencias inter-escuela respecto del progreso promedio de aprendizaje, después haber considerado los factores extra-escolares individuales. ¿Hay alguna evidencia de que algunas escuelas sean más equitativas que otras respecto de la distribución del progreso en el aprendizaje? ¿La ‘composición académica’ (de entrada) en la escuela afecta al progreso en el aprendizaje? ¿Existen diferencias en la magnitud de los efectos de la ‘composición’, sea como ‘valor promedio’ o como ‘grado de heterogeneidad’? ¿Cuál es la magnitud del efecto de la ‘composición socioeconómica, cultural y de género’ de la escuela sobre el progreso en el aprendizaje? ¿Existen escuelas más efectivas que otras? Se trata de determinar la magnitud de las diferencias entre escuelas una vez que el progreso de aprendizaje se ha ajustado por los factores extraescolares individuales y grupales (‘composición’). En otras palabras, se estima la magnitud del espacio donde los ‘factores escolares’ podrían ejercer un efecto propio sobre el progreso en el aprendizaje. Finalmente, y con una finalidad puramente metodológica, se comparan los resultados del modelo final de valor agregado con  el que no incluye el logro previo, o sea, con los resultados no ajustados del 9º año. 3. METODOLOGÍA Datos. Los datos provienen de  dos operativos de evaluación realizados por la Dirección de Evaluación de la Calidad Educativa de la Provincia de Buenos Aires. En 2001 todos los alumnos de 7º año de la EGB en 44 distritos fueron evaluados con pruebas estandarizadas de Matemática y de Lengua. En 2003 se aplicó nuevamente ese mismo tipo de pruebas en ambas materias a los alumnos en 9º año de las mismas escuelas. El alumno respondió también un cuestionario. La principal condición para realizar el análisis de valor agregado es que las dos pruebas dadas por cada alumno puedan ser unidas entre sí (cohorte). Con Matemática, esta condición fue lograda con 6.142 alumnos. En este estudio se incluyen sólo aquellos que pertenecen a escuelas con informaciones válidas para 5 o más alumnos, condición que reduce ese archivo a 6.133 alumnos en 96 escuelas. Con Lengua, estas mismas condiciones se cumplieron en 97 escuelas con 6.862 alumnos. Variables. Se consideran mediciones del logro previo (7º), del logro actual (9º) y de algunos antecedentes socioeconómicos y demográficos del alumno, y de la ‘composición’ académica y socioeconómica de la escuela. El logro actual (variable dependiente) es el puntaje obtenido por el alumno de 9º año en las pruebas de Matemática y de Lengua aplicadas en 2003 (matema_9; lengua_9). Se trata de pruebas estandarizadas con ítems de opción múltiple. La prueba de Matemática midió diferentes dimensiones (estructuras conceptuales, procesos cognitivos y procedimientos de trabajo) de los siguientes ejes curriculares: Números y Operaciones, Nociones Geométricas, Mediciones y Nociones de Estadísticas y Probabilidad. En Lengua, se consideraron competencias generales (Escuchar y Leer) y competencias específicas (leer los paratextos, leer un articulo de divulgación científica, leer una nota, leer una publicidad, leer una columna de opinión, leer un debate, reflexionar sobre el lenguaje, leer una biografía, leer un cuento), alineadas a currículo. La línea de base son los puntajes obtenidos por el alumno en la pruebas de 7º año aplicadas en 2001 (matema_7; lengua_7). Ambas pruebas también fueron estandarizadas y se componen de ítems de opción múltiple. En Matemática de 7º fueron considerados los mismos ejes y dimensiones curriculares que los evaluados en 9º. En Lengua de 7º se consideraron las siguientes competencias específicas: escuchar radioteatro, leer una entrada de enciclopedia, leer noticias, leer un artículo de divulgación científica, leer textos de opinión, leer un cuento. Los antecedentes del alumno fueron medidos en el cuestionario correspondiente y se refieren a características demográficas (edad y género), educativas (repetición), económicas (bienes en el hogar y hacinamiento habitacional) y socioculturales (nivel educativo familiar, tenencia de libros y materiales didácticos en el hogar), definidas de la siguiente forma: Sigla   edad: Edad del alumno (en años) (de 14 a 17 o más) masculino: Género del alumno (Mujer=0; Hombre=1) no-repite: ¿Repitió algún grado hasta 7º?  (Si = 0; No = 1) hacinamiento: Hacinamiento habitacional en hogar (n_moradores/ n_ habitaciones) Niv_eco: Tenencia 19 bienes/servicios hogar (Item: Si=1; No=0; sumatoria 0-19) educación flia: Educación padre+Educación madre (Ninguno=0; Primaria incomp=1; …; Universidad completa=9) libros: Cantidad de libros en el hogar (Ninguno=0; …; Más de 100=5) didácticos: Tenencia material didáctico escolar (Todos=1; Algunos o ninguno=0) Todas las variables no-dicotómicas han sido estandarizadas, con media cero y desviación standard de 1. Es una forma de centrar en torno de la gran media (Bryk y Raudenbush, 1992) y permite hacer comparaciones directas entre las estimaciones de los efectos de las diversas variables. De esta forma, el coeficiente expresa cuánto aumentará (+) o disminuirá (-) la variable dependiente por cada unidad adicional de desvío standard en la variable independiente, cuando todas las otras variables son simultáneamente tenidas en cuenta. Por tanto, estos coeficientes son equivalentes a los valores ‘beta’, propios de los modelos de regresión ordinarios. Las variables dicotómicas se tratan como "clasificaciones fijas" y se usa el método de variables "mudas”. En este caso, el coeficiente representa la diferencia ‘esperada’ de logro entre los alumnos en ambas categorías de la dicotomía. La ‘composición’ académica de la escuela se mide agregando a nivel escuela y estandarizando matema_7, lengua_7 y no-repite. Se construyen mediciones agregadas de tendencia central (promedio, porcentajes) y de dispersión (heterogeneidad) y son las siguientes: Siglas   matema_prom: Logro promedio de los alumnos de la escuela en matema_7 %no_repiten: Porcentaje de alumnos no-repitientes en la escuela dispersión_m Dispersión estándar de matema_7 en la escuela %matema_alto Porcentaje de alumnos en la escuela con logros del tercil superior de la distribución general de matema_7 %matema_bajo Porcentaje de alumnos en la escuela con logros del tercil inferior de la distribución general de matema_7 lengua_prom: Logro promedio de los alumnos de la escuela en lengua_7 dispersión_l Dispersión estándar de lengua_7 en la escuela %lengua_alto Porcentaje de alumnos en la escuela con logros del tercil superior de la distribución general de lengua_7 %lengua_bajo Porcentaje de alumnos en la escuela con logros del tercil inferior de la distribución general de lengua_7 Para medir la composición socioeconómica y demográfica de la escuela se agregan (promedio o porcentaje) y estandarizan las diferentes variables de antecedentes del alumno: Siglas   edad_prom: Edad promedio del alumno %masculino: Porcentaje de alumnos masculino hacina_prom: Hacinamiento promedio niv_eco_prom: Tenencia promedio de bienes/servicios en el hogar educación_prom Educación promedio familiar libros_prom: Cantidad promedio de libros en el hogar %didáctico Porcentaje de alumnos con todo el  material didáctico escolar Técnica y estrategia de análisis. Para el análisis de las relaciones entre las diferentes variables se utilizó el programa MLwiN (Goldstein et al., 1998), basado en el método de análisis estadístico por niveles múltiples o modelos jerárquicos lineales (Aitkin y Longford, 1986; Bryk y Raudenbush, 1992; Goldstein, 1995). Los datos permiten definir modelos con 2 niveles de agrupamiento: el alumno (nivel 1) y la escuela (nivel 2). Es posible definir dos partes en el modelo. La Parte fija son los parámetros que permiten determinar una línea promedio para todos lo alumnos de todas las escuelas, bajo es supuesto de que la intensidad de las correlaciones son constante en todas las escuelas. En la Parte aleatoria se estiman (i) la variación de los logros promedios de aprendizajes de las escuelas alrededor del aprendizaje promedio de todas las escuelas y (ii) la variación de las líneas de regresión en cada escuela en torno a la línea promedio general. El criterio de significación estadística adoptado es prob.≤ 0,001{7}. El análisis se desarrolla en 6 etapas. La primera responde a la primera pregunta-objetivo; la segunda permite responder a los interrogantes 2 y 3, referidos al efecto de las variables individuales del alumno; con la tercera se responde a la pregunta acerca de la variación del grado de equidad institucional (pregunta 4); las tres últimas operaciones responden acerca del efecto contextual sobre el progreso en el aprendizaje (Objetivos 5 y 6). Ambas pruebas se analizan separadamente pero con la misma secuencia. Con fines de simplificación, a continuación se exponen los modelos sólo con Matemáticas. Modelo ‘vacío’ (“nulo” o incondicional): partición inicial de la varianza de matemática_9 en sus dos componentes: alumno y escuela. Este modelo no tiene predictor y se expresa así: matematica_9ij = β0ijcons;      β0ij = β0 + μ0j + e0ij , donde matematica_9ij es el puntaje obtenido en matemática por el alumno i en la escuela  j; cons es una constante = 1 y β0ij es un parámetro asociado a cons, con ß0 de logro promedio estimado (Parte fija), y μ0j y e0ij son "residuos" a nivel escuela y alumno, respectivamente, cantidades aleatorias, no correlacionadas, normalmente distribuidas, con media = 0 y cuyas varianzas respectivas (sm y se) deberán ser estimadas. Esta misma notación se mantiene para los modelos restantes. Valor agregado y características individuales del alumno. En esta etapa de contrastan tres modelos, compuestos solamente por coeficientes en la Parte Fija: Modelo A: Efecto del logro previo en matemática: matematica_9ij = β0ijcons + β1matematica_7ij   Modelo B: Efecto sólo  de las variables individuales del alumno. matematica_9ij = β0ijcons + ∑β2Alumnoij Modelo C: Efecto conjunto de las variables individuales del alumno y de matema_7. matematica_9ij = β0ijcons + β1matematica_7jj + ∑β2Alumnoij , donde β1 es un parámetro a ser estimado que expresa el efecto fijo de matema_7 sobre matematica_9 y ∑β2 es un conjunto de parámetros a ser estimados en la parte fija y que expresa las relaciones entre el matematica_9, por un lado, y las características del alumno individual investigadas, por el otro. Modelo D: 'Aleatorización' de los efectos a nivel escuela. En los modelos anteriores se suponía que la intensidad de la asociación entre la variable-criterio y cada uno de los factores individuales era similar en todas las escuelas; sin embargo, ella puede variar.  Para evaluar esta posibilidad se permite que tal correlación varíe a nivel escuela (aleatorización). Mientras que la estimación del intercepto (promedio) es la varianza de los promedios de las escuelas alrededor de la media global, la estimación del coeficiente en la parte aleatoria es la varianza del efecto de la variable en cada escuela alrededor del efecto promedio estimado (Parte Fija). Con la finalidad de simplificar el análisis, se supone que la covariación entre intercepto y pendiente es no significativa. El objetivo de este análisis es saber si la fuerza de la incidencia de esos factores varía entre las escuelas. Para este caso, el modelo anterior se re-escribe así: matema_9ij = β0ijcons + β1jmatematica_7ij + ∑β2 j Alumnoij  β0ij = β0 + μ0j + e0ij; β1j = β1 + μ1j; β 2j = β2 + μ2j La única diferencia importante con los modelos anteriores es que ahora los coeficientes β tienen un subscrito j indicando que varían entre las escuelas, compuesto por su valor promedio general (β1;β2) y una parte aleatoria (μ1j;μ2j), con media cero y con varianza a ser estimada (sm1;sm2). Modelo E: Efecto contextual del nivel y dispersión del logro antecedente (‘composición académica’). Con base en el Modelo D,  las variables de contexto ‘académico’ de entrada se evalúan una por una. Las que resultan estadísticamente significativas se adicionan al Modelo D. matema_9ij = β0ijcons+β1jmatematica_7ij+∑β2jAlumnoij  +∑β3 Academica_comj β0ij = β0 + μ0j + e0ij; β1j = β1 + μ1j; β 2j = β2 + μ2j             , donde ∑β3 es un conjunto de parámetros a ser estimados en la Parte Fija y que expresan las relaciones entre matema_9, por un lado, y diversos indicadores de composición ‘académica’ de entrada en la escuela, por el otro. Estas mediciones están definidas a nivel escuela y por tanto, no incluyen los sufijos i (nivel alumno). Modelo F: Efecto contextual de la composición socioeconómica y de género´(nse){8}. Con base en el Modelo D,  las variables de contexto socioeconómico y de género se evalúan una por una. Las que resultan estadísticamente significativas se adicionan al Modelo D. matema_9ij = β0ijcons+β1jmatematica_7ij+∑β2jAlumnoij  +∑β4 nsej β0ij = β0 + μ0j + e0ij; β1j = β1 + μ1j; β 2j = β2 + μ2j             , donde ∑β3 es un conjunto de parámetros a ser estimados en la Parte Fija y que expresan las relaciones entre matema_9, por un lado, y los diversos indicadores de composición socioeconómica, cultural y de género de la escuela. Estas mediciones están definidas a nivel escuela y por tanto, no incluyen los sufijos i (nivel alumno). Modelo G: Efecto  de las composiciones académica y nse. Las mediciones que resultaron significativas en los modelos E y F se incluyen simultáneamente: matema_9ij = β0ijcons+β1jmatematica_7ij+∑β2jAlumnoij  +∑β3 Academica_Cj+∑β4 nsej β0ij = β0 + μ0j + e0ij; β1j = β1 + μ1j; β 2j = β2 + μ2j 4. RESULTADOS En el Anexo B se presentan las estadísticas descriptivas (media y desviación estándar) de las variables individuales del alumno y la matriz de correlaciones de estas variables entre sí y de las variables agregadas entre sí. Modelo ‘vacío’. El rendimiento esperado de un alumno aleatorio en una escuela aleatoria es 40,12 en Matemática y 52,88 en Lengua (Cuadro 1, parte superior). La variación de los rendimientos promedios escolares de Matemática alrededor de la media global representa el 28,2% de la variación total y la variación de los rendimientos de los alumnos dentro de la escuela y en torno del rendimiento promedio de la escuela es el 71,8% de la variación total. En Lengua, estos valores son 31,3 y 68,7%, respectivamente. ‘Valor agregado’ y características individuales del alumno. En el Modelo A (Cuadro 1), con matema_7 como único predictor (valor agregado), la varianza no explicada total cae 25% en Matemática y 36% en Lengua. Este descenso no se distribuye por igual entre los niveles de agregación. A nivel alumno desciende en casi 17%, mientras que a nivel escuela, esa caída es del 45,4%. Con lengua_7, esos descensos son muy superiores –  24,6 y 61,7%, respectivamente. Por tanto, el logro previo en Matemática ‘explica’ 12,1 puntos porcentuales de la variación intra-escuela, y 12,8 puntos porcentuales de la variación inter-escuela del logro actual, mientras que el de Lengua ‘explica’ 16,9 y 19,3 puntos porcentuales, respectivamente. Entonces, la magnitud de la disminución de la varianza inexplicada producida por este predictor en el nivel escuela es tan o más importante que la producida en el nivel alumno, comportamiento que refleja un alto grado de ‘segmentación académica’ de las escuelas. Esta observación es válida para ambas disciplinas. Por otra parte, la fuerza predictiva del logro previo en Lengua es muy superior al de Matemática y por tanto, el ‘progreso de aprendizaje’ en ésta última podría estar  más afectado por otros factores, adicionales a los captados por el logro previo. 1. Estimación absoluta y porcentual de los componentes de la varianza y (error estándar), por modelos con variables individuales del alumno – Matemática y Lengua. MODELOS Niveles Matemática Lengua Varianza  (e.s.) % -Δ% Varianza  (e.s.) % -Δ% Modelo ‘vacío’ Matemática = 40,12 Lengua = 52,88 Escuela 134,835 28,2 --- 131,455 31,3 --- (21,087) (19,945) Alumno 343,454 71,8 --- 288,040 68,7 --- (6,251) (4,953) Total 478,289 100,0 --- 419,495 100,0 ---   Modelo A Efectos del logro previo Escuela 73,757 15,4 45,4 50,442 12,0 61,7 (11,860) (8,102) Alumno 285,360 59,7 16,9 217,213 51,8 24,6 (5,194) (3,734) Total 359,117 75,1 24,9 267,655 63,8 36,2   Modelo B Efecto de variables individuales (sin logro previo) Escuela 66,719 13,9 50,5 65,066 15,5 50,5 (11,040) (10,391) Alumno 324,647 67,9 5,5 259,813 61,9 9,9 (5,908) (4,514) Total 391,366 81,8 18,2 324,879 77,4 22,6   Modelo C Efectos del logro previo y de las  variables individuales Escuela 38,661 8,1 71,3 31,701 7,6 75,7 (6,674) (5,324) Alumno 276,055 57,7 19,6 206,531 49,2 28,3 (5,024) (3,588) Total 314,716 65,8 34,2 238,232 56,8 43,2          El Modelo B muestra el efecto de las variables individuales del alumno sobre matematica_9 y lengua_9, sin el logro previo. Procesamientos no presentados mostraron que todas las variables referidas al alumno, consideradas individualmente, se asocian fuertemente con ambos rendimientos. Sin embargo, edad pierde significación cuando actúa simultáneamente con no_repite, al igual que niv_eco cuando lo hace con los otros indicadores socioeconómicos. En consecuencia, ambas fueron extraídas del análisis. De acuerdo a esos resultados, cuanto mayor sea el nivel educativo de los padres, la disponibilidad de libros (‘capital cultural objetivado’) o de material didáctico en el hogar, o menor sea el grado de hacinamiento, se deberán esperar mayores rendimientos del alumno en 9º. Además, si el alumno es varón se deberá esperar rendimiento mayor en Matemática e inferior en Lengua. Todas estas variables ‘explican’ principalmente, diferencias de rendimiento promedio entre las escuelas en ambas asignaturas. El grado de ‘segmentación’ institucional en los aspectos medidos (origen socio-económico y cultural, género, material didáctico del alumno) es aún más fuerte que la detectada anteriormente con el logro previo. En Matemática, este modelo produce una caída de apenas 3,9 puntos porcentuales en la variación intra-escuela no-explicada, mientras que, a nivel escuela, este descenso es de 14,3 puntos. En Lengua, estos descensos son un poco superiores, especialmente a nivel intra-escuela –6,8 puntos-, reflejando la mayor incidencia de las características familiares comparado con Matemática. De cualquier forma, la principal diferencia de este modelo con el Modelo A en ambas disciplinas, es su inferior poder explicativo respecto de la variación del logro entre los alumnos dentro de la escuela. En el Modelo C se permite que el rendimiento previo y todas las variables individuales del alumno actúen conjuntamente. En primer lugar, se constata que las variables individuales del alumno aportan una parte estadísticamente significativa de la variación inexplicada (‘residuo’), aún después de haber controlado el efecto del logro previo. Esta conclusión es válida para ambas asignaturas. Cuando actúa solo, el logro previo ocasiona una caída de 24,9% en la variación total de matematica_9 y de 36,2% en lengua_9. Ahora, esos descensos relativos son del 34,2 y 43,2%, respectivamente. En segundo lugar, se observa que el mayor efecto relativo de las variables individuales del alumno es a nivel ‘escuela’. De la variación inter-escuela de matematica_9, este modelo ha explicado el 71,3%; para Lengua, el modelo es aún más eficaz – 75,7%. Ambos descensos eran marcadamente menores en el Modelo A - 45,4 y 61,7%, respectivamente. Entonces, la variación inter-escuela que debía ser explicada inicialmente en Matemática (28,2%) ha descendido a 8,1%, o sea, 20,1 puntos porcentuales. Este descenso es aún más pronunciado en Lengua, donde el modelo ocasiona una caída de 23,7 puntos respecto de la variación inter-escuela inicial (31,3%). A nivel alumno, en cambio, la inclusión de las variables individuales ocasiona un descenso de sólo 2 puntos porcentuales respecto del Modelo A en Matemática (de 59,7% a 57,7%) y de 2,6 en Lengua. En resumen, el logro previo no 'captura' todo el efecto de las características individuales del alumno. Si se adopta el efecto de matema_7 como referencia, las características del alumno ('factores extraescolares') explican 7,3 y 2 puntos porcentuales de la variación inter-escuela e intra-escuela, respectivamente. Cuando la referencia es lengua_7, esos valores son 4,4 y 2,6, respectivamente. Dado que el logro previo está bajo 'control', estos resultados indican que las tasas de progreso del aprendizaje de las escuelas (promedio) y de los alumnos dentro de la escuela, aumenta a medida que el origen social del alumno es más ventajoso o el alumno es varón (en Matemático) o mujer (en Lengua). Tanto desde el punto de vista metodológico como sustantivo, se infiere que es conveniente incluir informaciones sobre factores extra-escolares, si se desea poseer una imagen correcta de la realidad a través del análisis del valor agregado. No obstante, si se adoptasen exclusivamente estos modelos como criterios suficientes para determinar la existencia de diferencias de ‘eficacia institucional’, debería concluirse que hay escuelas más efectivas que otras, aunque la magnitud promedio de tales diferencias es más bien leve (en torno del 8%). Es decir, existirían escuelas más efectivas donde los alumnos consiguen mayor progreso que el obtenido por alumnos similares respecto de las variables de entrada consideradas, pero en escuelas menos eficaces. 'Aleatorización' de los efectos a nivel escuela. En el Modelo D (Cuadro 2) se presentan los resultados del ajuste los coeficientes aleatorios de las varianzas de cada una de las variables individuales del alumno a nivel escuela, asumiendo que las covarianzas (intecepto X coeficiente) son iguales a 0 (cero). El test de máxima verosimilitud arrojó significación estadística en el ajuste del rendimiento previo y masculino{9}, aún cuando ambas se estiman simultáneamente, tanto en Matemática y Lengua. En ésta última también resultó significativa la variación del efecto de educación_flia. De acuerdo a estos resultados, los efectos del logro previo, del género y del nivel educativo de los padres, este último sólo para el caso de Lengua, varían significativamente de escuela en escuela. Existen escuelas donde la distancia entre hombres y mujeres respecto del progreso promedio  de aprendizaje es mayor (o menor) que en otras escuela, es decir, el grado de equidad por género varía significativamente entre las escuelas. Hay escuelas donde el origen sociocultural del alumno incide más (o menos) sobre el logro de Lengua que en otras escuelas. Al mismo tiempo, existen escuelas donde el efecto del nivel de logro previo sobre el logro actual (matematica_9) es mayor (o menor) que en otras. Efecto del contexto académico de entrada. Al Modelo D se le adicionan, una por vez, las variables de contexto académico de entrada. En la columna (2) de los Cuadros 2a y 2b, se exponen los coeficientes de cada variable de ‘composición’ analizada individualmente. Todas las mediciones son estadísticamente significativas cuando actúan separadamente. Para obtener el Modelo D estas variables se introdujeron una por una y de acuerdo a su eficacia predictiva, según el test de máxima verosimilitud. En Matemática, el test de máxima verosimilitud indicó que la variable con mayor efecto es matema_prom. De las restante, sólo dispersión y %no_repite se mantienen significativas cuando actúan conjuntamente con matema_prom. En Lengua, la variable con mayor efecto es la proporción de alumnos en la escuela ubicados en el tercil superior de la distribución general del rendimiento previo (%leng_alto). Ninguna de las restantes agrega explicación a esta variable. El Modelo E muestra las estimaciones resultantes cuando estas variables se incluyen simultáneamente en el Modelo D. En primer lugar, se observa que la varianza no-explicada en el nivel escuela ha caído abruptamente en ambas disciplinas. De hecho, el residual del nivel escuela en Matemática constituye ahora menos del 1% de la varianza total inicial (=3,43/478,289), valor estadísticamente no-significativo, y 2,3% en Lengua, muy próximo a la perdida de esa significación. Por tanto, el contexto académico de entrada (logro previo promedio o concentración de altos rendimientos) tiene un efecto muy fuerte sobre el progreso promedio de aprendizaje. Las diferencias entre las escuelas respecto de este progreso están fuertemente asociadas al ‘nivel académico de entrada’ de los alumnos en la escuela. Cuanto mayor sea el promedio del nivel de logro de entrada de los alumnos, mayor será el progreso promedio obtenido por los alumnos, aún después de haber considerado sus características individuales. Es decir, el mayor promedio de entrada favorece a todos los alumnos en cuanto a su progreso de aprendizaje. De la misma forma, la mayor proporción de alumnos no repitientes promueve progresos más acelerados y ello favorece a todos lo alumnos en la escuela. En segundo lugar, algunos coeficientes de las variables individuales del alumno experimentan una caída, reflejando su superposición con los indicadores de ‘composición’, reflejo del alto nivel de segmentación institucional. Finalmente, los términos aleatorios matema_7 y lengua_7 pierden significación, indicando que la variabilidad de esos efectos está asociada a las características de la ‘composición’ académica de la escuela. Contexto socioeconómico y de ‘género’. Se investiga ahora la posible existencia de efectos contextuales de la ‘composición’ socioeconómica, cultural y de género de la escuela. En la columna (4), Cuadro 2, se exponen los coeficientes de las mediciones agregadas cuando cada una es incluida individualmente en el Modelo D (variables individuales del alumno, con aleatorización). Con excepción de la proporción de hombres en la escuela, todos los indicadores resultan estadísticamente significativos en ambas materias. En principio, entonces, todos ellos explican una porción significativa de la variación inter-escuela dejada sin explicar por las variables individuales. De todos ellos, educación_prom resulta el más fuertemente relacionado con el progreso de aprendizaje en Matemática y en Lengua. Este efecto se adopta como criterio de referencia para evaluar la significación de las restantes variables de ‘composición’. La única que realiza un aporte significativo a la explicación de la varianza en el nivel escuela, una vez que el efecto de educación_prom ha sido controlado, es didacticos_prom en Matemática. En el Modelo F se exponen los coeficientes recalculados al incluir estas variables en el Modelo D. De acuerdo a estos resultados, cuanto mayor sea el nivel educativo promedio de los padres, más acelerado será el progreso de aprendizaje en Matemática y en Lengua, y ello favorece a todos lo alumnos en la escuela. Además, la proporción de alumnos con todos los recursos didácticos solicitados por la escuela afecta la tasa de progreso en Matemática. Este modelo, al igual que el anterior, ha causado una notable caída de la varianza inter-escuela no explicada (‘residuo’ del nivel escuela), representando ahora, apenas el 1,3% y 2,3% de la varianza total inicial en Matemática (=6,27/478,289) y en Lengua (=9,6/419,495), respectivamente. Efecto total de ‘composición’. Tanto la ‘composición’ académica de entrada como la ‘composición’ socioeconómico y cultural de la escuela han mostrado ser fuertes predictores del progreso en el aprendizaje. En este paso se investiga si ambos tipos de variables agregadas se superponen o si, por el contrario, tienen efectos propios, es decir,  aportan a la explicación de la variación en el nivel escuela, aún cuando sus efectos  estén mutuamente controlados. Para ello, se permite que los indicadores que resultaron significativos en los Modelos E y F actúen conjuntamente. Los resultados se muestran como Modelo G. En ambas materias, los coeficientes estimados para las variables de ‘composición’ académica y socioeconómica han caído abruptamente, lo cual refleja una gran superposición entre los efectos de la selectividad del alumnado en ambas dimensiones del entramado institucional. En Matemática, el rendimiento promedio de entrada (matema_prom), el porcentaje de alumnos no remitentes (%no_repite) y el porcentaje de alumnos con ‘todos los materiales solicitados por la escuela’ (%didacticos) pierden significación estadística. En realidad, matema_prom pierde significación cuando actúa conjuntamente con educación_prom, dado la alta correlación entre la ‘composición’ socioeconómica y académica. Entonces, el efecto de los dos aspectos de la composición del alumnado, es expresado sintéticamente por el nivel educativo promedio de los padres y la dispersión (heterogeneidad) de los rendimientos dentro de la escuela. Este mismo resultado es obtenido con Lengua. Desde el punto de vista práctico, sin embargo, la contribución adicional de este modelo no es importante. Si se comparan sus ‘residuos’ a nivel escuela con los del Modelo E se constata que tal contribución es prácticamente inexistente en Matemática y apenas del 0,5 punto porcentual en Lengua (de 2,29 a 1,80%). De cualquier forma, la variación inter-escuela en Matemática ha sido totalmente explicada por este modelo, al igual que lo fuera en el Modelo E; en el mismo sentido, la magnitud del ‘residuo’ que permanece en Lengua está próximo a ser estadísticamente no-significativo. Evaluación del logro previo como predictor. El Modelo H resulta de extraer del Modelo G a todas las variables construidas con base en el logro previo y recalcular las estimaciones con el resto de las variables. Ahora los coeficientes se refieren al efecto sobre el logro en 9º y no sobre la tasa de progreso. De la misma forma, los ‘residuos’ en la Parte Aleatoria ahora se refieren al logro promedio en 9º y no a la variación inexplicada de la ‘efectividad’ escolar. Todos los coeficientes de las variables individuales (Parte Fija), excepto masculino, suben de valor. Este cambio era previsible dado la superposición parcial del logro previo con esos indicadores. Este mismo comportamiento se verifica con las variables de ‘composición’. El ‘residuo’ de la variación inter-escuela asciende a 2,7% en Matemática y a 3,9% en Lengua, respecto de la variación total del logro del alumno en 9º año. Pero, el cambio más abrupto y notorio se verifica en la variación ‘inter-alumno’ dentro de la escuela.  Cuando no se considera el logro previo del alumno, es decir, cuando se trata del nivel de rendimiento y no del valor agregado, el porcentaje de la varianza total correspondiente a la variación intra-escuela no explicada asciende de 57,1 a 68% en Matemática y de 48 a 62% en Lengua. En el caso estudiado, por tanto, la inclusión del efecto del logro previo en el análisis implica un cambio notable particularmente en la capacidad explicativa de las diferencias de rendimiento de los alumnos dentro de la  escuela (intra-escuela).   5. DISCUSÓN Y CONCLUSIONES En este estudio se han analizado datos provenientes de evaluaciones de Matemática y Lengua aplicadas por la Dirección de Evaluación de la Calidad Educativa a una cohorte de alumnos en el 7º año (2001) y en 9º año (2003) de la Educación General Básica de algunos distritos de la Provincia de Buenos Aires. Se ha aplicado la técnica de análisis estadístico multinivel a modelos de ‘valor agregado’. La variación de los rendimientos promedios de las escuelas en torno del rendimiento medio global representa alrededor del 30% de la variación total del rendimiento de los alumnos en 9º año en ambas disciplinas. Esta alta variación ‘inter-escuela’ justifica plenamente el uso del análisis multinivel, aunque es claramente inferior a las estimadas en estudios anteriores (Cervini,2002a; 2002b) para el 7º año de la EGB y para el último año del secundario. La explicación más plausible es que, mientras estas últimas provienen de muestras representativas de todo el país, la primera se refiere a 44 distritos de la provincia de Buenos Aires. El logro previo del alumno (7º) es un fuerte predictor del rendimiento actual (9º) en ambas disciplinas, indicando la pertinencia del abordaje de “valor agregado”. Sin embargo, la magnitud explicativa alcanza niveles medios (25% Matemática y 36% en Lengua), cuando se los compara con valores extremos reportados por algunas investigaciones en países desarrollados (hasta 50%). Al  contrario de lo teóricamente esperado, el logro previo no sólo posee capacidad explicativa a nivel alumno (variación ‘intra-escuela’) y escuela (variación ‘inter-escuela’), sino que además, ésta última es proporcionalmente mayor que la primera, reflejando una fuerte segmentación académica en la red institucional. Estudios anteriores habían mostrado la incidencia de factores extra-escolares sobre el rendimiento del alumno en la escuela primaria (Cervini,2002a) y al final de la secundaria (Cervini,2002b) de Argentina. En el presente trabajo se ha constatado que tales factores inciden también sobre el ‘progreso’, resultado convergente con la mayoría de las investigaciones internacionales de valor agregado revisadas. Así, los alumnos que provienen de un medio familiar económica y culturalmente más desfavorecido, progresan menos que sus compañeros más favorecidos, es decir, la distancia de logro entre los alumnos de diferentes niveles socioeconómicos, aumenta a medida que se avanza en el recorrido escolar. La magnitud del efecto de estos factores no difiere significativamente entre ambas materias. De la misma forma, los varones no sólo logran más altos rendimiento en Matemática que las mujeres, sino que además, consiguen progresar más aceleradamente, aumentando la distancia entre géneros. Con Lengua sucede lo inverso y de forma aún más intensa. Además, se ha determinado que el efecto de tales factores individuales sobre el progreso se verifica más intensamente a nivel escuela que de alumno, reflejando una fuerte segmentación social de la red institucional. En resumen entonces, parece inadecuado prescindir de este tipo de informaciones en los análisis futuros de “valor agregado”. Después de haber ‘controlado’ por el logro previo y las características personales del alumno, persiste una variación inter-escuela (‘residuo’) importante (alrededor del 8%). Hasta este punto, entonces, existirían niveles diferentes de efectividad entre las escuelas respecto del ‘progreso’ de aprendizaje de los alumnos. Algunas escuelas conseguirían rendimientos promedios superiores (o inferiores) a los ‘esperados’ con base al nivel de entrada de sus alumnos. Sin embargo, esta tesis debe ser contrastada también respecto de la ‘composición’ del alumnado de la escuela. Investigaciones anteriores (Cervini,2002a;2005) habían determinado la importancia del efecto de la ‘composición’ socioeconómica y cultural del grupo de alumno sobre el nivel de rendimiento del alumno en Argentina. El presente estudio ahora ha demostrado que ese efecto también se ejerce sobre el progreso del alumno. Cuanto mayor sea el nivel educativo promedio de los padres, mayor será el progreso promedio de los alumnos, es decir, el contexto afecta al progreso de aprendizaje. Desde el punto de vista metodológico, esta conclusión parece difícil de ser objetada. Por el contrario, dado que nuestra especificación del modelo en cuanto a variables de antecedentes individuales, es bastante robusta, no cabe la duda de que el efecto contextual sea simplemente producto de una sub-especificación de variables a nivel individual  (Hauser, 1970). Se han considerado también indicadores de la ‘composición’ académica de entrada (7º) del grupo de alumnos. La mayor dispersión (heterogeneidad) del logro previo en Matemática entre los alumnos de cada escuela conduce a tasas de progreso mayores; en Lengua, este efecto lo produce la mayor concentración de altos rendimientos. Los resultados indicaron que este tipo de indicadores mantienen su efecto aún cuando se controla el efecto de las variables individuales y de la ‘composición’ socioeconómica. Sin embargo, se verificó que los efectos de ambas selectividades se superponen fuertemente. En términos generales, entonces, es razonable pensar que el efecto contextual es el resultado de la acción simultánea de mecanismos sociales y académicos (Hutchison,2003). Existe una variación significativa entre las escuelas no sólo respecto de la tasa de “progreso de aprendizaje”, sino también respecto de los efectos del género y del origen social del alumno, con excepción de Matemática en este último aspecto. Es decir, la diferencia entre hombres y mujeres en cuanto a la tasa de progreso, varía entre las escuelas; la intensidad con que el origen social del alumno afecta al progreso en Lengua también varía entre las escuelas. Estas variaciones en ambas asignaturas están asociadas a la ‘composición’ académica de la escuela, mientras que con la composición socioeconómica sólo se asocia el progreso en Matemática. Los efectos de la educación de los padres y del género sobre la ‘tasa de progreso’, en cambio, no están relacionados con la composición académica ni con la socioeconómica. Los factores individuales y de ‘composición’ han reducido drásticamente la varianza ‘inter-escuela’ no explicada. El residuo de esta variación en matemática se tornó no significativo y por tanto, se concluye que no existen diferencias de efectividad entre las escuelas cuando, para su definición, se tienen en cuenta no sólo el logro previo, sino también los factores extra-escolares, definidos a nivel alumno y escuela (contexto). En Lengua, el residuo remanente representa el 1,8% de la variación total del logro en 9º año, valor muy próximo a la perdida de significación estadística. Estas constataciones empíricas aconsejan discursos más moderados acerca de la efectividad diferencial de la escuela, aspecto que no se torna evidente hasta que no se formalizan modelos de análisis completos. La idea  de que cuando se tienen buenas mediciones de logro previo, el efecto contextual es prácticamente indetectable (Gray y otros,1990), no es aplicable al caso estudiado. La ‘composición’ adiciona capacidad explicativa altamente significativa de las diferencias entre las escuelas y por tanto, debería considerarse en los análisis de valor agregado. Sin dudas, el aporte más relevante del enfoque de valor agregado es haber posibilitado modelar la variación intra-escuela de forma más ajustada. El logro previo del alumno tiene una capacidad explicativa de la variación ‘intra-escuela’ mucho mayor que la de otras variables individuales. De hecho, si el objetivo fuese solamente ‘ajustar’ los valores promedio a nivel escuela, podría prescindirse del logro previo del alumno, siempre que se cuente con buenas mediciones acerca de las características personales y familiares del alumno. Pero, si se desea profundizar el conocimiento de la variación ‘intra-escuela’, la medición del logro previo y la estrategia de ‘progreso de aprendizaje’ parece ineludible.   Referencias bibliográficas Aitking, M. y Longford, N. (1986). Statistical modeling issues in school effectiveness. Journal of the Royal Statistical Society A, 149, pp. 1-42. Ballou, D., Sanders, W. y Wright, P. (2004). Controlling for students background in value assessment of teachers. Journal of Educational and Behavioral Statistics, 29(1), pp.37-66. Bondi, L. (1991). Attainment at primary schools: an analysis of variation between schools. British Educational Research Journal, 17(3), pp.- 203-217. Bosker, R.J. y Witziers, B. (1996). The magnitude of school effects or does it really matter which school a student attend?. Trabajo presentado en el Annual Meeting of the American Educational Research Association, New York. Bransma, H.P. y Knuver, W. M. (1989). Effects of school and classroom characteristics on pupil progress in language and arithmetic, International Journal of educational Research, 12(7), pp. 777-788. Bryk, A. y Raudenbush (1992). Hierarchical Linear Models for Social and Behavioral Research: Applications and Data Analysis Methods. Newbury Park:Sage. Caldas, S. y Bankston, C. (1997). Effect of school population socioeconomic status on individual academic achievement. Journal of Educational Research, 90, pp. 269-277. Carvallo Ponton, M. (2005). Análisis de los resultados obtenidos en estudios de eficacia escolar en México, comparados con otros países. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 3(2), pp.88-108. http://www.rinace.net/arts/vol3num2/art6.htm Consultado el  10 Febrero 2006. Cervini, R. (1999). Calidad y Equidad en la Educación Básica de Argentina", Serie: Factores Asociados al Logro Escolar, 5. Buenos Aires: Ministerio de Cultura y Educación de la Nación. http://diniece.me.gov.ar/index.php?m=1&i=27 Consultado 10 Mayo 2006. Cervini, R. (2002a). Desigualdades en el Logro Académico y Reproducción Cultural en la Educación Primaria de Argentina - Un modelo de tres niveles. Revista Mexicana de Investigación Educativa, 7(16), pp. 445-500 http://www.comie.org.mx/revista/Pdfs/Carpeta16/16investTem2.pdf Consultado en  10 Febrero 2006. Cervini, R. (2002b) Desigualdades Socioculturales en el Aprendizaje de Matemática y Lengua de la Educación Secundaria en Argentina: Un modelo de tres niveles. Revista Electrónica de Investigación y Evaluación Educativa, 8(2), pp. 1-25. http://www.uv.es/RELIEVE/v8n1/RELIEVEv8n2_1.htm Consultado en  10 Febrero 2006. Cervini, R. (2005). The relationship between school composition, school process and mathematics achievement in secondary education in Argentina. International Review of Education, 51(2) pp. 173-200. Creemers, B. P.M. (1994). The effective classroom. London:Casell. Cunningham, G.K. y Stone, J.E. (2005). Value-added assessment of teacher quality as an alternative to the National Board for Professional Teaching Standards: What recent studies say. En: Lissitz R. (Ed.). Value added models in education: Theory and applications. Maple Grove, MN: JAM Press. D’Agostino, J. V. (2000). Instructional and school effects on students’ longitudinal reading and mathematics achievements. School Effectiveness and School Improvement, 11(2), pp.197-235. De Jong, R., Westerhof, K.J. y Kruiter, J.H. (2004). Empirical evidence of a comprehensive model of school effectiveness: A multilevel study inn Mathematics in the 1st year of junior general education in The Netherlands. School Effectiveness and School Improvement, 15(1), pp.3-31. Duri-Bellat, M. y Mengat, A. (1998). Importance of ability grouping in French ‘colleges’ and its impact upon pupils’ academic achievement. Educational Research and Evaluation, 4, pp. 348-368. Felgate, R., Minnis, M. y Schagen, I. (2000) Some results fro the analysis of data from the National Numeracy Project, Research Papers in Education, 15, pp.163-184. Fitz_Gibbon, C.T. (1996). Monitoring Education: indicators, quality and effectiveness. London :Casell. Gibson, A. y Asthana, S. (1998). School performance, school effectiveness and the 1997 White Paper.  Oxford Review of Education, 24 (2), pp. 195-210. Goldstein, H. (1995). Multilevel statistical models. Londres: Edward Arnold. Goldstein, H. (1998). A response to Gibson and Asthana. Oxford Review of education, 24(4), pp. 521-523. Goldstein, H., Rasbash, J., Plawis, I., Draper, D., Browne, W., Yang, M., Woodhouse, G. y Healy, M. (1998). A user Guide to MlwinN. Londres: University of London. Gray, J., Jesson, D. y Sime, N. (1990). Estimating difference in the examination performance of secondary schools in six LEA’s: a multilevel approach to school effectiveness. Oxford Review of Education, 16, pp. 137-158. Gray, J., Goldstein, H. y Jesson, D. (1996). Changes and improvement in schools' effectiveness: Trends over five years. Research Papers in Education, 11(1), pp. 35-51. Gray, J., Goldstein, H y Thomas, S. (2001). Predicting the future: the role of past performance in determining trends in institutional effectiveness at A level. British Educational Research  Journal, 27(4), pp. 391-402. Hauser,  R.M. (1970) Contex and consex: a cautionary tale, American Journal of Sociology, 75, pp.645-664. Hill, P.W. y Rowe, K.L. (1996). Multilevel modelling in school effectiveness research. School Effectiveness and School Improvement, 7(1), pp.1-24. Hill, P.W. y Rowe, K.L. (1998). Modelling student progress in studies of educational effectiveness, School Effectiveness and School Improvement, 9(3), pp. 310-333. Hofman, R., Hofman, W. y Guldemond, H. (2003). Effective families, peers, and schools, Educational Research and Evaluation, 9(3), pp. 213-237. Hutchison, D. (2003). The effect of group-level influences on pupils’ progress in reading, British Educational Research Journal, 1(1), pp. 25-40. Jesson, D. (2000). The comparative evaluation of GCSE value-added performance by type of school and LEA. Discussion Papers in Economics, Nº. 2000/52, Centre for Performance Evaluation and Resource Management, Department of Economics, University of York.  http://www.york.ac.uk/depts/econ/dp/0052.pdf.  Consultado 6 de Abril 2006. Kyriakides, L. (2004). Differential school effectiveness in relation to sex and social class: Some implications for policy evaluation, Educational Research and Evaluation, 10(2), pp.141-161. Laboratorio Latinoamericano de la Evaluación de la Calidad de la Educación / LLECE (2000). Primer Estudio Internacional Comparativo – Segundo Informe. OREALC/UNESCO, Santiago. Lamb, S. y Fullarton, S. (2002). Classroom and school factors affecting mathematics achievement: A comparative study of Australia and the United State using TIMSS. Australian Journal of education, 46(2), pp. 154-171. Levine, D.U. y Lezotte, L.W. (1990). Unusually effective schools; a review and análisis of research and practice. Madison: National Center for School Research and Development. Leiter, J. (1983) Classroom composition and achievement gains. Sociology of Education, 56(3), pp.126-132. Luyten, H. (1998). School effectiveness and student achievement, consistent across subjects? Evidence fro Dutch elementary and secondary education. School Effectiveness and School Improvement, 4(4), pp. 281-306. McCaffrey, D.F., Koretz, D., Lockwood, J.R. y Hamilton, L.  (2003). Evaluating Value-Added Models for Teacher Accountability. Series: Monographs, Document Number: MG-158-EDU. Santa Mónica: RAND Corporation. McCaffrey, D.F., Lockwood, J.R., Koretz, D., J.R., Louis, T.A. y Hamilton, L.  (2004). Models for Value-Added Modelling of Teacher Effects. Journal of Educational and Behavioral Statistics, 29(1), pp. 67-101 Mortimore, P., Sammons, P. and Thomas, S. (1994) School effectiveness and value added measures. Assessment in Education, 1, pp. 315-332. Muijs, D. y Reynolds, D. (2000). School effectiveness and teacher effectiveness in Mathematics: Some preliminary finding fro evaluation of Mathematics Enhancement Programme (Primary), School Effectiveness and School Improvement, 11(3), pp. 273-303. Muijs, D. y Reynolds, D. (2003). Student background and teacher effects on achievement and attainment in mathematics: A longitudinal study. Educational Research and Evaluation, 9(3), pp. 289-314. Mortimore, P., Sammonds, P., Stoll, L., Lewis, D. y Ecob, R. (1988). School Matters: The Junior Years. London: Open Books. Nuttall, D., Goldstein, H., Prosser, R. y Rasbash, J. (1989). Differential school effectiveness. International Journal of Educational Research, 13(7), pp.769-776. Opdenakker, M. y Van Damme, J. (2001). Relationship between school composition and characteristics of school process and their effect on mathematics achievement. British Educational Research Journal, 27(4), pp. 407-432. Opdenaker, M., Van Damme, J., De Fraine, B., Van Landeghem, G. y Onghena, P. (2002). The effect of schools and classes on Mathematics achievement. School Effectiveness and School Improvement, 13(4), pp. 399-427. Resh, N. y Dar, Y. (1992). Learning segregation in junior high-school in Israel: causes and consequences. School Effectiveness and School Improvement, 3(3), pp.272-292. Reynolds, D. (1992).  School effectiveness and school improvement in the 1990s. En Reynolds, D. y Cuttance, P. (1992). School effectiveness: research, policy and practice. London: Cassell. Reynolds, D. (2000). School effectiveness: the international dimension. En: Teddlie, C. y Reynolds, D. International Handbook of School Effectiveness Research. London: Falmer Press. Riddell, A. (1997). Assessing designs school effectiveness research and school improvement in developing countries. Comparative Education Review, 41(2), pp. 178-204. Sammons, P. (1995). Gender, Ethnic and socio-economic differences in attainment and progress: a longitudinal analysis of student achievement over 9 years. British Educational Research Journal, 21(4), pp. 465-485. Sammons, P. y Nutall, D. (1993). Differential school effectiveness: Results from a reanalysis of the inner London Education Authority’s Junior School Project data. British Educational Research Journal, 19(4), pp. 381-392. Sammons, P., Hillman, J. y Mortimore, P. (1995). Key Characteristics of Effective Schools: a review of school effectiveness research. London: Office for Standards in Education. Sammons, P., Thomas, S. y Mortimore, P. (1997). Forging Link: Effective Schools and Effective Departments. Londres: Paul Chapman Publishing. Sammons, P. y West, A. (1997). Accounting for variation in pupil attainment al the end of Key Stage 1, British Educational Research Journal, 23(4), pp. 489-511. Sanders, W.L. y Horn, S.P. (1994). The Tennessee valued-added assessment system (TVAAS): Mixed-model methodology in educational assessment. Journal of Personnel Evaluation in Education, 8, pp. 299-311. Schagen, I. (1994). Multilevel analysis of Key Stage I National Curriculum assessment data in 1991 and 1992. Oxford Review of Education, 20, pp.163-171. Schagen, I. y Sainsbury, M. (1996). Multilevel analysis of Key Stage I National Curriculum assessment data in 1995. Oxford Review of Education, 22, pp.265-272. Schagen, I. y Morrison, J. (1999). A methodology for judging departmental performance within schools, Educational Research, 41, pp. 3-10. Schagen, I. y Schagen, S. (2003). Analysis of national value-added datasets to asses the impact of selection on pupil performance, British Educational Research Journal, 29(4), pp. 561-582. Schagen, I. y Schagen, S. (2001) The impact of selection on pupil performance, National Foundation for educational Research Council of Members Meeting, One Great George Street Conference Centre, London. http://www.nfer.ac.uk/research/papers/Is&Ss.doc Consultado 10 Feb, 2006. Schagen, I. y Hutchison, D. (2003). Adding Value in Educational Research – the marriage of data and analytical power. British Educational Research Journal, 29(5), pp. 749-765. Scheerens, J. y Bosker, R. (1997). The Foundation of Educational Effectiveness. Oxford:Pergamon. Slee, R. Weiner, G. y Tomlinson, S. (Eds.) (1998). School Effectiveness for Whom? London: Falmer Press. Smythe, E. (1999). Pupil performance, absenteeism and school drop-out: a multidimensional analysis, School Effectiveness and School Improvement, 10,  pp. 480-502 Stone, J.E. (2003). Value-Added Assessment: an accountability revolution. Website http://www.edexcellence.net/better/tchrs/16.htm Consultado 28 de Marzo 2006. Stone, J.E. (2002, May 1). The value-added achievement gains of NBPTS-certified teachers in Tennessee: A brief report. College of Education, East Tennessee State University. http://www.education-consumers.com/brief/stonNBPTS.shtm Consultado 28 de Marzo 2006 de Education Consumers ClearingHouse. Strand, S. (!997). Pupil progress during Key Stage I: a value added analysis of school effects. British Educational Research Journal, 23, pp.471-487. Strand, S. (1999). Ethnic group, sex and economic disadvantage: association with pupils’ educational progress from baseline to the end of Key Stage I, British Educational Research Journal, 25, pp.179-202. Teddlie, C. y Reynolds, D. (2000). International Handbook of School Effectiveness Research. London: Falmer Press. Teddlie, C. y Reynolds, D. (2001). Countering the critics: Responses to recent criticism for school effectiveness research. School Effectiveness and School Improvement, 12(1), pp. 41-82. Thomas, S. (1995) Considering primary school effectiveness: an analysis of 1992 Key Stage 1 results. The Curriculum Journal, 6, pp.279-295. Thomas, S. (2001). Dimensions of Secondary School Effectiveness: Comparative Analyses Across Regions. School Effectiveness and School Improvement, 12(3), pp. 285-322. Thum, Y.M. (2002). Measuring student and school progress with the California API: CSE Technical Report 578. Los Angeles: University of California.. http://www.cse.ucl.a.edu/CRESST/Summary/578.htm Consultado 28 de Marzo 2006. Thrupp, M. (2001a). Sociological and political concerns about school effectiveness research: Time for a new research agenda. School Effectiveness and Scholl Improvement, 12(1), pp.7-40. Thrupp, M. (2001b). Recent school effectiveness counter-critiques: problems and possibilities. British Educational Reseach Journal, 27(4), pp. 443-457. Tymms, P. (2001). A test of the big fish in a little pond hypothesis: an investigation into the feeling of seven-year-old pupils in school. School Effectiveness and School Improvement, 12(1), pp.161-181. Veenstra, R. y Kuyper, H. (2004). Effective students and families: The importance of individual characteristics for achievement in High School. Educational Research and Evaluation, 10(1), pp. 41-70. Yang, M. y Woodhouse, G. (2001). Progress from GCSE to A and AS level: institutional and gender difference, and trends over time. British Educational Research Journal, 27(3), pp. 245-267. Yasumoto, J., Uekawa, K. y Bidwell, C. (2001). The collegial focus and high school students’ achievement. Sociology of Education, 74(3), pp. 181-209. Willms, D. y Somers, M.A. (2001). Family, classroom, and school effects on children’s educational outcomes in Latin America. School Effectiveness and School Improvement, 12(4), pp. 409-445. Willms, J.D. y Raudenbush, S.H. (1989). A longitudinal hierarchical linear model for estimating school effects and their stability. Journal of Educational Measurement, 26, pp. 209-232.   Recibido: 11 de mayo de 2006 Aceptado: 12 de junio de 2006       {1} El ‘progreso de aprendizaje’ (o valor agregado) es la diferencia entre el puntaje predicho por el resultado en un test precedente y el puntaje obtenido en un segundo test. El valor predicho se infiere de la estimación de la línea que describe la asociación entre los puntajes de ambos tests (línea de regresión), es decir, es el valor promedio esperado para cada "punto de partida" (primera prueba), de acuerdo con el comportamiento observado en la totalidad de los datos analizados. Entonces, el valor agregado indica el cambio relativo en el nivel de logro de un alumno (o de una escuela) respecto del cambio experimentado por otros alumnos (u otras escuelas), durante un determinado período de tiempo (progreso relativo del alumno en un período de tiempo). Se requieren dos mediciones: una al principio y otra al final del período. Desde el enfoque de ‘efectividad escolar’, refiere al valor extra que es adicionado por la escuela al logro del alumno, arriba o abajo del progreso que se espera, y por tanto, establece si los alumnos en una escuela progresan más o menos que los de otras escuelas en un período de tiempo. Son más efectivas las escuelas que superan las expectativas. {2} Otro análisis que debería ser tenido en cuenta es el del efecto diferencial de la escuela respecto de los diferentes grupos sociales. Diversos estudios han demostrado que las escuelas pueden ser más efectivas para los grupos socialmente privilegiados y de logro previo más elevado (Scheerens y Bosker,1997). Este aspecto sin embargo, está fuera del foco de interés del presente trabajo. {3} El procedimiento propuesto por Goldstein (1998) para evaluar empíricamente el problema del peso relativo de ambos tipos de factores es el siguiente: (1) considerar solamente los indicadores de nse individual y contextual; (2) adicionar el logro previo; (3) considerar exclusivamente las mediciones de logro previo; (4) Comparar las caídas de la varianza inter-escuela en los tres modelos. {4} En general, se espera que las variables afecten principalmente a la varianza del nivel en el que están definidas. Así, por ejemplo, las variables individuales del alumno deberían afectar principalmente a la varianza del nivel alumno. Sin embargo, cuando la composición de los grupos (escuela) respecto a las variables explicativas individuales no es igual para todos ellos, se producirá también una caída de la varianza a nivel de esos grupos. Entonces, las variables explicativas del nivel individual (alumno) explicarán parte de la varianza individual y parte de la grupal. {5} La ‘composición’ es un agregado, a nivel de escuela o de aula, de alguna característica del alumno individual. El ‘efecto composición’ supone “controlar” previamente el efecto de la variable correspondiente a nivel del alumno.  {6} Ver el vol. 37 del International Journal of Educational Research dedicado exclusivamente al efecto composición (agregado de aptitud, estatus socioeconómico, género y etnia de los alumnos), y su distinción y relaciones con  los ‘efectos de los compañeros’ (peer effects). {7} El grado de ajuste (probabilidad) de un modelo se estima con base en la diferencia entre  los valores de la razón de máxima verosimilitud  del  modelo que se está analizando y del modelo antecedente, diferencia que puede ser referida a la distribución de chi-cuadrado y cuyos grados de libertad quedan definidos por la cantidad de nuevos parámetros ajustados en el modelo que se está analizando. {8} Para simplificar, el conjunto de indicadores se denotan con ‘nse’, aún cuando estén incluidos el género del alumno y la tenencia de material didáctico escolar. {9} no-repite  es significativo al 4,6%, pero cuando actúa conjuntamente con matematica_7 pierde significación.