REICE Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación

FACTORES INSTITUCIONALES DEL LOGRO EN LA EDUCACIÓN MEDIA DE ARGENTINA,
1998-2007, UNA ACTUALIZACIÓN

Ruben Cervini, Nora Dari y Silvia Quiroz

 

En un extenso artículo publicado en esta revista (Cervini, 2004), se informaba acerca del grado de asociación entre el desempeño de alumnos en una prueba de Matemática del último año del nivel secundario y numerosos indicadores de “composición” y de proceso escolar. La base de datos analizada se refería al Censo Nacional de Finalización del Nivel Secundario, realizado por el Ministerio de Educación de Argentina a finales del año lectivo de 1998, y contenía mediciones basadas en las respuestas dadas por los directores de los establecimientos educativos y los alumnos evaluados a sendos cuestionarios. 

Durante el Operativo Nacional de Evaluación del año 2007 (ONE/2007), se evaluó nuevamente a los alumnos del último año del nivel secundario con una muestra nacional. También se aplicaron cuestionarios al director del centro educativo y a los alumnos, respectivamente. El primero de estos instrumentos permitió construir asimismo algunos indicadores de proceso institucional. Algunos resultados surgidos del análisis de estos datos fueron recientemente publicados (Cervini y Cayssials, 2010). Por otra parte, los datos del Censo Nacional de Finalización del Nivel Secundario de 1998 fueron reanalizados con modelos multinivel en los que se especificó el nivel ‘aula’ (Cervini, 2006), ausente de los modelos utilizados en trabajos anteriores.

En este artículo se confrontan los resultados informados en la primera publicación con los obtenidos en las dos últimas publicaciones mencionadas. En la Parte A se expone íntegramente el primero de los trabajos señalados (Cervini, 2004). A continuación (Parte B), se resumen los hallazgos pertinentes surgidos del análisis de los datos del ONE/2007 (Cervini y Cayssials, 2010) y, finalmente, en la Parte C se discuten las derivaciones que surgen de las constataciones empíricas relacionadas con las alteraciones en la especificación de niveles de agregación en los modelos multinivel (Cervini, 2006).     

1. IINFLUENCIA DE LOS FACTORES INSTITUCIONALES SOBRE EL LOGRO EN MATEMÁTCIA DE LOS ESTUDIANTES EN EL ÚLTIMO AÑO DE LA EDUCACIÓN MEDIA DE ARGENTINA

El principal desafío del paradigma de la “efectividad escolar” es demostrar empíricamente que las características de la estructura o de los procesos de la institución escuela (por ejemplo, “clima” o “cultura” institucionales) o de la práctica pedagógica implementada en sus aulas tienen un efecto propio sobre el nivel de aprendizaje de sus estudiantes, más allá de la incidencia de los factores extraescolares, como el origen social del alumno o la composición social de la escuela.

En Argentina, trabajos anteriores sobre la escuela secundaria (Cervini, 2002; 2003a; 2003b) han analizado los efectos de la composición socioeconómica de la escuela y de ciertos procesos institucionales, medidos ambos a través de la agregación de  informaciones proporcionadas por alumnos, sobre el logro en Matemática de los alumnos del último año de la escuela secundaria, según los resultados del Censo Nacional de Finalización del Nivel Secundario de 1998 realizado por el Ministerio de Cultura y Educación de la Nación. Una de las conclusiones de tales estudios fue que “ciertas características del proceso escolar tienen un efecto específico, propio; es decir, no todo es atribuible al efecto directo e indirecto” de los factores individuales del alumno o de la composición social de la escuela, aunque “la magnitud de tal efecto es bastante más reducida que las expectativas optimistas de algunos discursos sobre efectividad escolar” (Cervini, 2003b: 92).

En esos estudios, sin embargo, todas las variables agregadas de alumnos y no referidas a la composición de la escuela fueron analizadas conjuntamente, sin atender a su diversidad de significados. Además, no se incluyeron indicadores sobre la “vida escolar” provenientes del cuestionario del director, ahora disponibles. El presente trabajo intenta subsanar esas carencias. Se distinguen dos conjuntos diferentes de mediciones generadas por la adición de las respuestas individuales de los alumnos: uno, referido a los procesos institucionales en la escuela (“clima escolar”) y el otro, a las autopercepciones y actitudes de los alumnos (“ethos escolar”). Además, se incorporan al análisis algunas informaciones y percepciones del director respecto de diferentes aspectos institucionales, extraídas del cuestionario correspondiente.

El objetivo es investigar los efectos del ethos estudiantil y del clima en la escuela (según los alumnos), y diferentes aspectos del proceso institucional (según el director) sobre el logro en Matemática de los estudiantes del último año del nivel secundario en Argentina, teniendo en cuenta previamente los antecedentes individuales de los alumnos (género, origen social y antecedente académico) y la composición estudiantil de la escuela.

En primer lugar, se revisan algunos argumentos de investigaciones relevantes para el presente estudio. A continuación, se explicitan los objetivos y la metodología utilizada en el trabajo y se presentan los resultados obtenidos. Finalmente, se extraen y discuten algunas conclusiones.    

1.1. Antecedentes

Enfoques sobre el clima escolar. La hipótesis que relaciona el clima escolar con resultados educativos tiene una larga trayectoria (Scheerens y Bosker, 1997). Una gran cantidad de investigaciones se ha concentrado en los efectos del clima social del aula sobre el desarrollo cognitivo y afectivo de los alumnos (Angell, 1991; Dunn y Harris, 1998; Fraser, 1989; Wazman y Ellett, 1992), mientras que otra, no menos numerosa, se ha abocado a los efectos del clima o la cultura en más amplio nivel de la institución (Anderson, 1982; Purkey y Smith, 1983).
Subyacentemente a estos hallazgos, sin embargo, existe el interrogante acerca del origen de las características institucionales o pedagógicas efectivas. En relación con el clima escolar efectivo, por ejemplo, Kreft (1993) ha puntualizado la existencia de dos enfoques teóricos alternativos. El primero afirma que el clima resulta de la organización y de las políticas de la institución (tipo de escuela), y a su vez, moldea el comportamiento y las expectativas y actitudes (ethos escolar) del alumno, ambos condicionantes inmediatos de su nivel de logro escolar (“hipótesis del clima escolar”). Para el segundo enfoque, en cambio, el clima escolar, como otras variables institucionales, es más bien el resultado de la composición del alumnado en la escuela, producto de la selectividad institucional (“hipótesis de la composición escolar”). Las actitudes y los comportamientos individuales de los estudiantes dependen del tipo de alumno atraído o seleccionado por la escuela, lo cual moldea su composición, determinante cercano del clima escolar observado; entonces, mayores expectativas hacia el logro y ambientes de aprendizaje más ordenados son resultado de la composición estudiantil de la escuela y no de políticas o intervenciones institucionales direccionadas. En resumen, mientras que un enfoque afirma que el clima moldea las actitudes y el comportamiento (ethos) del estudiante, el otro lo considera consecuencia de estas dos últimas variables y de la composición estudiantil: los alumnos crean su propio clima escolar.

El mismo razonamiento es aplicable en el nivel del aula y su componente específico, la práctica de enseñanza del maestro. Según la primera perspectiva, “escuelas efectivas son las que pueden lograr aulas efectivas” (Creemers, 1994: 201) y en última instancia, “los maestros son el factor crucial de la educación en el aula” (203). A través de su práctica pedagógica, el docente puede generar una “atmósfera tranquila, ordenada y orientada al aprendizaje” (203.). La revisión de varias investigaciones permite concluir que, a través de diversos mecanismos, los “maestros en escuelas más efectivas conducen el aula con un clima más positivo y con más altas expectativas para el aprendizaje que los maestros en escuelas menos efectivas” (Teddlie, 1994: 128). En el enfoque alternativo, por el contrario, la composición estudiantil del aula condiciona la práctica docente, sea porque la enseñanza (cantidad y calidad) que el maestro proporciona varía de acuerdo con su expectativa sobre la capacidad de aprendizaje del grupo ―condicionada a su vez por la composición aptitudinal del mismo (Barr y Dreben, 1983; Gamoran, 1987)―sea a causa de los “procesos de referencia grupal” o por ambos factores a la vez  (Hallinan, 1988).

Diversos trabajos han cuestionado la validez de las conclusiones de una gran parte de las investigaciones sobre efectividad escolar (Angus, 1993; Coe y Talor, 1998; Gerwitz, 1998; Hatcher, 1998; Slee, Weiner y With Tomlinson, 1998; Thrupp, 2001a; 2001b), generando a su vez, respuestas de algunos de sus defensores más visibles (Daly y Ainley, 2000; Goldstein, 1998; Teddlie y Reynolds, 2001). Una de las principales críticas a la tradición de estudios de efectividad escolar es que no ha prestado suficiente atención al efecto del contexto social de la escuela, efecto que se supondría pequeño y transmitiría la impresión de que la escuela actúa independientemente de tal determinación (Slee, Weiner y With Tomlinson, 1998; Thrupp, 2001a).

Una segunda crítica se refiere a que las investigaciones sobre efectividad escolar tienden a usar “nociones de cultura de la escuela que enfatizan las dimensiones organizacionales, administrativas (gestión) e instruccionales de la escuela a expensas de la cultura de los estudiantes y la comunidad”, cuando en realidad debería visualizarse una “negociación con los estudiantes sobre la base de niveles de docilidad, motivación y aptitud según la clase social, que a su vez se relaciona con la visión del estudiante sobre la escuela y el probable futuro ocupacional” (Thrupp, 2001a: 26).

La recomendación de incluir las distintas “voces” no tiene solamente un valor teórico, sino también metodológico. Haroun y O’Hanlon (1997) han mostrado cómo  la concepción de disciplina del estudiante a medida que su edad avanza se distancia de la del docente. Por otra parte, Stringfield (1994) constató que las mediciones del clima escolar basadas en las percepciones de maestros y directores están más estrechamente asociadas con el estatus socioeconómico que con el rendimiento de los estudiantes, mientras que las mediciones basadas en la percepción de los alumnos se muestran más independientes del nivel socioeconómico, lo que le permitió concluir que “los futuros estudios a gran escala sobre los efectos escolares” deberían dejar de preguntarles a los docentes o directores para “directamente preguntarles a los estudiantes acerca del clima de sus escuelas” (Stringfield, 1994: 68).

Mediciones por agregación de respuestas individuales. Del entrecruzamiento de estos dos aspectos, sin embargo, resurge la preocupación planteada por Kreft (1993). Si las mediciones de composición se reducen a aspectos tradicionales, como la inteligencia, la aptitud académica y el origen social de los alumnos (composición académica y socioeconómica de la escuela), su interpretación no parece problemática. Pero, si se refieren a ítems de percepciones, actitudes y valoraciones de los alumnos respecto de sí mismos o de diferentes aspectos o dimensiones escolares de la escuela o el aula dirimir su significado es menos simple.

Nash (2002), con motivo de un análisis crítico de dos informes de investigación (Wilkinson et al., 2000; Marks, McMillan y Hillman, 2001) y con base en los resultados de una investigación propia (Nash y Harker, 1998), ha criticado el uso frecuente de la agregación de respuesta de los alumnos a este último tipo de ítems como indicador de propiedades institucionales. Sostiene que es incorrecto pretender medir a priori propiedades institucionales (e. g., clima en la escuela) a través de la agregación de esas características de los alumnos: “las propiedades institucionales no son la suma de las propiedades individuales” (Nash y Harker, 1998: 7). Más allá de la insinuada relación con antiguos debates epistemológicos o la exigencia de una fundamentación teórica, Nash (2002) propone un criterio operacional para fundamentar la interpretación: será una propiedad de la institución si se demuestra que “los estudiantes adquieren esas disposiciones en la escuela” (11), es decir, cuando la institución sea la causa. Y esto es materia de investigación.

Entonces, las relaciones positivas entre aprendizaje, por un lado, y disposición hacia la escuela, aspiraciones y autoconcepto académico de los alumnos, por el otro, lejos de indicar el efecto del clima o el ethos de las escuelas efectivas (Marks, McMillan y Hillman, 2001), “son frecuentemente la expresión de modos distintivos de adaptación a la escuela mediados por presiones extrainstitucionales” (Nash, 2002: 15), es decir, reflejan el efecto de los factores extraescolares contextuales, hasta tanto no se demuestre que estas actitudes han sido desarrolladas por la escuela.

“Efecto escuela” y tipos de mediciones agregadas. En los estudios correlacionales, esas asociaciones positivas se detectan por la caída significativa de la varianza inter-escuela del logro de los alumnos cuando se incluyen las variables referidas, previo control estadístico del efecto producido por los otros factores extraescolares. Ahora bien, en ese tipo de estudios no es posible inferir inmediatamente una relación causa-efecto a partir de una asociación. Para que ello sea posible ha de existir una nítida secuencia temporal (antes-después) entre los factores o una teoría fuerte que la avale. De lo contrario, la explicación sólo se obtiene observando e identificando in situ cómo determinados procesos producen la asociación constatada.
La discusión anterior sugiere que es necesario distinguir cuidadosamente las mediciones utilizadas. De la agregación de respuestas de alumnos individuales pueden construirse diferentes tipos de mediciones, cuyos significados dependerán del contenido de las variables originales incluidas. Pero además puede hipotetizarse razonablemente la mayor o menor probabilidad relativa del efecto escuela en cada tipo de indicador.

Para ilustrar esta idea con los datos disponibles, a continuación se propone una tipología de mediciones agregadas, basada dos criterios relevantes: 1) el objeto de referencia: ¿los ítems se refieren a la escuela o al propio alumno? y 2) la naturaleza del ítem: ¿es descriptivo (objetivo) o es evaluativo (subjetivo)? Al entrecruzar ambos criterios se obtienen los siguientes tipos:

En el Tipo I se ubican, por ejemplo, las mediciones relativas al origen social o a la aptitud académica; se refieren a la composición (o selectividad) socioeconómica y académica de la escuela en sentido estricto. Por tanto, no cabe duda de que su efecto debe interpretarse como extraescolar. Los restantes tipos pueden reflejar, en grados diferentes, algún efecto escuela. El Tipo II incluye mediciones subjetivas, como el sentido de autoeficacia, las expectativas de éxito, las aspiraciones educativas, la motivación, etc. Es razonable pensar que aquí la familia es el factor más determinante, aunque la escuela puede incidir también en algún grado. En el Tipo III –actitudes y valoraciones de los alumnos respecto de la escuela– se puede esperar una determinación más equilibrada entre el “efecto familia” y el efecto escuela. Si bien la familia es el espacio primario de valorización de la escuela, las prácticas escolares pueden incidir más fuertemente que en el tipo anterior. La escuela pasaría a ser la principal causante en el Tipo IV, con indicadores objetivos (descripciones, informaciones) referidos a diferentes aspectos del centro o del aula (e. g., infraestructura edilicia, recursos didácticos; (in)disciplina, relaciones con el profesor, etc.). De todas maneras, es razonable pensar que, en alguna medida, el origen individual y el contexto socioeconómico pueden asociarse a las respuestas dadas. Así, por ejemplo, qué se entiende por “disciplina” puede cambiar de acuerdo con el estrato social del alumno y ello, por cierto, incide en el comportamiento de este tipo de medición.

En el presente trabajo, el término “composición” se reserva exclusivamente para las mediciones del Tipo I. A las restantes se las considera indicadores de “proceso”, no porque sean necesariamente consecuencias de algún efecto escuela ni porque reflejen directamente la existencia de procesos y mecanismos de aprendizaje, sino más bien porque son indicativas de las características de contextos y procesos más cercanos a los procesos y mecanismos específicos de aprendizaje, y por tanto, mediadoras del efecto de la composición escolar sobre el logro del alumno. La idea de ethos estudiantil refiere tanto al Tipo II  como al Tipo III.   

En resumen, en los estudios de efectividad escolar es creciente el consenso en torno a la necesidad de incluir variables obtenidas por agregación de mediciones en el nivel del alumno individual. Dada la limitación para identificar los vínculos causa-efecto en los estudios correlacionales, es especialmente relevante incluir, distinguir adecuadamente y contraponer diferentes tipos de tales mediciones (de composición a procesos), cuyas probabilidades de reflejar el efecto escuela son diferentes. Además, es aconsejable incluir y contraponer informaciones provenientes de otros actores singulares de las escuelas (e.g., director), dadas sus posibles diferencias con las obtenidas de los alumnos.

1.2. Objetivos y metodología

Objetivos. Se investigan las relaciones entre el logro en Matemática de los alumnos del último año del nivel secundario en Argentina, con  a) la composición estudiantil de la escuela; b) el ethos estudiantil y el clima en la escuela, según percepciones de esos alumnos y c) diferentes aspectos del proceso institucional, según percepciones del director. Se trata de establecer si determinados aspectos de la cultura escolar y el clima social de la escuela (proceso escolar) según la percepción de los alumnos y del director, tienen un efecto propio sobre el rendimiento en Matemática, después de controlar el efecto de variables relativas al origen socioeconómico y cultural, al género y a los antecedentes académicos de los alumnos, consideradas en el nivel del alumno y de la escuela (composición escolar). El estudio permitirá también extraer conclusiones acerca de diferencias de comportamiento entre percepciones de los alumnos y del director del centro educativo.

Datos. Se analizan datos que provienen de a) la prueba de Matemática, b) el cuestionario del estudiante y c) el cuestionario del director, aplicados en el Censo Nacional de Finalización del Nivel Secundario, realizado a finales del año lectivo de 1998{1} por el Ministerio de Cultura y Educación de la Nación. Todos los instrumentos fueron autoaplicados. En el análisis se incluyen solamente a los estudiantes de las modalidades bachillerato y comercial{2}que respondieron a la prueba de Matemática y el cuestionario del estudiante y cuyo director también ha respondido el cuestionario correspondiente. No se considera a los estudiantes pertenecientes a escuelas con información válida para menos de 10 estudiantes. Con estas condiciones, el archivo queda conformado por 134.939 estudiantes en 2.708 escuelas de 25 provincias{3}.

Variables. La variable dependiente o criterio es el puntaje bruto obtenido por el alumno en la prueba estandarizada de Matemática. Las variables independientes son características del alumno individual y de la escuela, y se organizan en 4 bloques: 1) individuales del alumno; 2) composición escolar (Tipo I); 3) proceso escolar según el alumno (Pe_A), con dos subconjuntos: a) ethos estudiantil (Tipo II) y b) clima social (Tipo IV) y  4) proceso escolar, según el director.

• Variables individuales del alumno. Se refieren al capital económico familiar,  al capital cultural familiar, al género, a los antecedentes académicos y a las horas de trabajo diario. Operacionalmente, las variables son designadas y definidas de la siguiente forma:

(bienes): disponibilidad (Sí=1; No=0) de 14 bienes de uso durable y servicios en el hogar;
(educacion): nivel educativo del padre y de la madre (14 puntos);
(libros): disponibilidad de libros en el hogar (5 puntos);
(didacticos): disponibilidad de libros, fichas y apuntes escolares (3 puntos);
(femenino): variable dummy (hombres=0; mujeres=1). Las diferencias de género en el logro de matemática son un tema recurrentemente investigado. En su revisión de un centenar de investigaciones, Friedman (1989) concluye que no hay diferencia entre géneros y, si la hay, es a favor de las mujeres. Para los primeros años de la secundaria, algunas investigaciones informan ventajas para las mujeres (Tsai y Walberg, 1983), otras para los hombres (Hilton y Berglund, 1974) y otras para ninguno (Fennema y Cerpenter, 1981). Para el final del nivel secundario, sin embargo, la gran mayoría de las investigaciones reporta ventajas para los hombres (Friedman, 1989).
(repitente): variable dummy (1=alumnos que repitieron al menos una vez en la secundaria); variable base (0=alumnos que no repitieron ningún año). Este es el único indicador (proxy) disponible sobre antecedentes académicos del alumno;
(hs_trabajo): cantidad de horas por día que el estudiante dedica a trabajar (5 puntos). Más allá de algunas inconsistencias (Quirk, Keith y Quirk, 2002), la investigación en esta área ha coincidido en que el efecto del trabajo sobre el desempeño académico depende de las horas de trabajo. En general, se detectan efectos negativos cuando la dedicación al trabajo supera 15-20 horas semanales (Cooper, Valentine, Nye y Lindsay, 1999; Kablaoui y Pautler, 1991; Marsh, 1991; Steinberg y Kaufman, 1995; Steinberg y Dornbush, 1991). Algunos estudios longitudinales han sido también convergentes con esa conclusión (Mortimer et al.,1996; Quirk, Keith y Quirk, 2002; Singh, 1998). La interpretación más plausible es que a medida que aumentan las horas de trabajo, disminuye la oportunidad de aprender (Carroll, 1963), uno de los principales condicionantes del nivel de rendimiento. Este razonamiento, sin embargo, debería matizarse. Una revisión de investigaciones muestra que los alumnos involucrados en actividades extracurriculares como los deportes tienen logros más altos (Holland y Andre, 1987), conclusión confirmada por investigaciones más recientes (March, 1992; Gerber, 1996).

• Variables de composición escolar (Ce).  Son los promedios escolares de cada variable individual del estudiante, excepto el género y la repitencia (dummies), para las cuales se usan los porcentajes de la escuela. Se denominan con las mismas siglas que las individuales, pero agregándoles la terminación (_e). Así por ejemplo, (libro_e) es el promedio de (libros) en la escuela. Dentro del concepto de “composición escuela” se incluyen, además, indicadores de recursos escolares y el medioambiente físico de la escuela (Tagiuri, 1968; Moos, 1979), ambas provenientes del cuestionario del director de la escuela:

 (infra_e): suma del estado (1=malo; 3=bueno) de 6 ítems de la infraestructura;
(recursos): suma de la disponibilidad (Sí=1; No=0) de 21 recursos didácticos.
Revisiones de la literatura dan cuenta de la amplitud con que ha sido estudiado el efecto de los recursos institucionales sobre el logro (Greenwald, Hedges y Laine,1996; Hanushek,1989). Mientras que Hanushek (1989) concluye que no existen relaciones consistentes entre recursos de la escuela y desempeño del alumno, Greenwald, Hedges y Laine (1996), sobre la base de un meta-análisis de las mismas 377 investigaciones consideradas por Hanushek y otras más recientes, concluyen que los recursos sí tienen una influencia sobre el logro.

• Variables de proceso escolar, según el alumno (Pe_A). Resultan de la agregación (nivel de escuela) de respuestas al cuestionario del alumno. La mayoría de las preguntas presentan una escala de 4 puntos como opción de respuesta (tipo Lickert). Para reducir el número de variables se usa el análisis de la componente principal con rotación varimax. Cuando intervienen varios ítems, la medición consiste en la sumatoria simple de los puntajes de cada pregunta, previa inversión del sentido cuando fuere necesario. Se distinguen dos subgrupos de variables:

a) Ethos estudiantil:
(exito): expectativa de éxito futuro debido a la escuela, con 6 ítems; e.g., “De acuerdo a lo aprendido en la escuela, ¿qué grado de éxito piensas que tendrás en los estudios universitarios?”;
(motivacion): motivación para la Matemática, con 6 ítem; e.g., “Matemática es la materia que más me interesa”; 
(valoracion): importancia dada al conocimiento de la Matemática, con 3 ítem; e.g., “Los temas que aprendí en Matemática los puedo utilizar en mi vida cotidiana”;
(esfuerzo): pregunta única con 4 puntos: “¿Presentas los trabajos en término?; (escala de “casi nunca” a “siempre”).
b) Clima social:
(indisciplina): pregunta única con 5 puntos: “En tu escuela ¿existen problemas de indisciplina; escala de “No” a “Muy graves”;
(violencia):  pregunta única con 5 puntos: “En tu escuela ¿existen problemas de violencia; escala de “No” a “Muy graves”;
(abandono): pregunta única con 5 puntos: “En tu escuela ¿existen problemas de alumnos que abandonan?; “No” a “Muy graves”;
(profesor): percepción del alumno sobre las relaciones interpersonales  profesor/alumno en el aula y la práctica docente, con 3 ítems; e.g., “¿Cuántos de tus profesores están dispuestos a escuchar tus inquietudes?”.

• Variables de proceso escolar según el director. Provienen del cuestionario correspondiente y consisten en la percepción del director acerca de diversos aspectos de la institución que dirige. Algunas de ellas son preguntas singulares, mientras que otras resultan de la suma de ítems seleccionados sobre la base de los resultados obtenidos con el análisis de la componente principal (rotación varimax) de dos conjuntos de ítems.  El primer conjunto (22 ítems; preguntas 33 y 37 del cuestionario) se refiere a características de la vida institucional de la escuela y  ofrece una escala de 6 puntos (tipo Lickert) para responder. El análisis factorial permitió identificar 4 constructos, pero uno de ellos no es incluido en este análisis:

(evaluacion): importancia dada a la evaluación (primer componente con 7 ítems; e.g., “La mayoría de los maestros hace de la evaluación una práctica constante”); 
(clima): relaciones interpersonales (segundo componente con 7 ítems; e.g., “La comunicación entre los miembros es fluida”);
(fines): definición de fines y orientación al aprendizaje (tercer componente con 6 ítems;  e.g. “Los fines y la prioridades están claramente definidos”).
El segundo conjunto (13 ítems) proviene de varias preguntas: una pregunta (la 24), solicita que el director evalúe la escuela en diferentes aspectos (4 ítems con una escala de 5 puntos); otra pregunta (la 25) se refiere a los motivos por los cuales los padres envían sus hijos a esa escuela (7 ítems con una escala de 4 puntos); otros 2 ítems, sobre disciplina, fueron extraídos de las preguntas 23 y 33. Todas las escalas fueron situadas en 4 puntos. El análisis factorial permitió identificar 4 constructos, aunque sólo dos son incluidos en el análisis:
(prestigio): percepción del prestigio académico de la escuela ante los padres (primer componente con 5 ítems; e.g., “Es exigente”)
 (disciplina): percepción del grado de disciplina en la escuela (tercer componente; e.g., “La disciplina (en la escuela) favorece el logro de los objetivos institucionales”).
Se incluyen además algunas mediciones singulares:
 (pedagógico): pregunta singular con 10 puntos (“¿Qué porcentaje de  tiempo dedican los profesores de esta escuela a las actividades específicamente pedagógicas?);
(guias): pregunta singular con 4 puntos (“¿Cuántos docentes de la escuela elaboran guías o fichas de trabajo para entregar a los alumnos?”; escala de “Casi ninguno” a “Todos”);
(expectativa): pregunta singular con 10 puntos (¿Qué porcentaje de los alumnos estima que responderán correctamente por lo menos el 60% de los ítems de la prueba?”).
En general, las variables de director y alumno consideradas cubren las dos dimensiones del medioambiente de la escuela o del aula apuntadas por la literatura sobre clima escolar (Fraser, 1989; Moos, 1980): los aspectos físicos contextuales y los aspectos sociodinámicos. Los primeros (composición) se refieren a las características del grupo de alumnos (origen social, género, aptitud académica), configurado por el tipo de alumno que asiste a la escuela o es atraído por ella (determinación extraescolar), y a los recursos escolares disponibles en la escuela. Los segundos (proceso) son mediciones de los aspectos sociodinámicos, próximos a la idea de “clima social” (Moos, 1979) y de “cultura escolar” (Tagiuri, 1968) y provienen de los cuestionarios del alumno y del director. Las mediciones se refieren a ciertas características que la investigación sobre efectividad escolar ha estudiado asiduamente (Scheerens y Bosker, 1997), tales como:

• una “atmósfera ordenada” en la escuela (Scheerens y Bosker, 1997: 112), “clima académico positivo” (Stringfield, 1994: 57), expectativas normativas respecto al comportamiento de los alumnos (Power, Higgins y Kohlberg, 1989), realización de actos de violencia (Everett y Price, 1995); alumnos: (indisciplina), (violencia), (abandono); director: (disciplina), (clima);
• “tiempo efectivo de aprendizaje” (Scheerens y Bosker, 1997: 125), cordialidad y disponibilidad que el docente muestra al estudiante (Moos, 1987), calidad de las relaciones estudiante/profesor (Power, Higgins y Kohlberg, 1989) y “enseñanza correctiva” (Creemers, 1994:1 94); alumnos: (profesor); director: (pedagogico), (guia);
• “consenso entre maestros” (Scheerens y Bosker, 1997: 108), con énfasis en la evaluación u “orientación al logro” (Scheerens y Bosker, 1997: 101) y compromiso del docente con el mejoramiento (Brookover et al., 1979); director: (evaluacion);
• “objetivos/metas claras”, “fines universalmente comprendidos” (Stringfield, 1994:1 63) y consistencia entre maestros (Mortimore et al.,1986); director: (fines); 
• evaluación (del director y los padres) de la calidad presente de la escuela (Brookover et al., 1979); director: (prestigio);
• evaluación y expectativas del director sobre los estudiantes (Brookover et al., 1979); director: (expectativas).

Se incluyen, además, mediciones del ethos estudiantil, un simbiosis de actitudes frente al conocimiento matemático ―(motivacion), (valoracion) ―, de evaluación de la experiencia escolar o de percepción de las oportunidades educativas otorgadas por la escuela (Power, Higgins y Kohlberg, 1989) ―(exito)―, y de comportamiento escolar ―(esfuerzo).

Técnica y estrategia de análisis. Para el análisis de las relaciones entre el rendimiento y las diferentes variables, se utiliza el programa MLwiN (Goldstein, 1987), basado en el método de análisis estadístico por niveles múltiples o modelos jerárquicos lineales (Aitkin y Longford, 1986; Bryk y Raudenbush, 1992; Goldstein, 1987). La determinación de la probabilidad del efecto de las variables se basa en el test de la razón de máxima verosimilitud{4}. La secuencia del análisis adoptada es la siguiente:

• correlaciones de las características del proceso escolar según el alumno (Pe_A) y según el director (Pe_D), entre sí y con las características de la composición escolar (Pe);
• modelo “nulo” (sin ningún predictor) y efecto de cada indicador de (Pe), lo cual permite establecer la relevancia inicial de cada una de esas mediciones;
• estimación de dos modelos: uno con todas las variables de (Pe_A) y otro con todas las variables de (Pe_D), con el objetivo de comparar la magnitud del efecto sobre el rendimiento en Matemática de ambos conjuntos de variables;
• estimaciones del modelo de composición escolar o modelo “control”, con base en el cual se evalúa la existencia de efectos netos de las variables (Pe_A) y (Pe_D);
• incorporación separada de los dos sub-conjuntos de variables de (Pe_A) en el modelo anterior. El objetivo es determinar y comparar el efecto de ambos subconjuntos ―ethos y clima―;
• incorporación simultánea de los dos sub-conjuntos de variables de (Pe_A) en el modelo control, con el objetivo de determinar el efecto de todas las mediciones de (Pe_A);
• incorporación simultánea de todas las variables de (Pe_D) en el modelo control, con el objetivo de determinar el efecto de este grupo de variables y compararlo con el producido por las variables agregadas del alumno (Pe_A);
• Finalmente, modelado de todas las variables de proceso escolar que resultaron significativas en los modelos anteriores.

1.3. Resultados

1.3.1. Variables de composición y variables de proceso

Las relaciones entre las variables de composición escolar (Ce) y de proceso escolar (Pe) se exploran a través del coeficiente de correlación (Cuadro 1, parte superior). Se observa un patrón nítido de comportamiento. Dos variables de (Pe_A) ―(exito) y (abandono)­― y dos de (Pe_D) ― (prestigio) y (expectativa)― mantienen correlaciones importantes con casi todas las mediciones de (Ce). En general, entonces, los alumnos de las escuelas de más alto nivel socioeconómico y cultural familiar, con menor proporción de repitentes y con más recursos educativos institucionales disponibles poseen un promedio alto de expectativa de éxito futuro debido a la escuela y una menor incidencia de (la percepción de) abandono escolar. Además, los directores de esas escuelas adjudican un alto nivel académico a la institución y poseen expectativas de alto rendimiento respecto de sus alumnos. Aunque menos intensamente, (esfuerzo) se comporta de la misma manera. Por otro lado, es interesante observar que la composición por género no se asocia con ninguna de las variables de proceso, excepto con (esfuerzo), o sea, cuanto mayor es el porcentaje de mujeres en la escuela, mayor es el cumplimiento promedio de tareas.

El resto de las variables mantiene correlaciones muy bajas o erráticas con las variables de composición escolar. Las actitudes hacia Matemática ―(motivacion) y (valoración)― se muestran independientes de la composición socioeconómica, probablemente como consecuencia de cierto efecto escuela, dado que Matemática es un conocimiento típicamente escolar. Con excepción de (abandono), no se detecta tampoco correlación elevada entre composición socioeconómica y las percepciones de los alumnos sobre el clima escolar, constatación informada también por algunos estudios internacionales (Stringfield, 1994). La investigación en Sociología de la educación tradicionalmente ha asumido que el nivel “objetivo” de indisciplina aumenta a medida que disminuye el nivel socioeconómico del estudiantado. Sin embargo, esta hipótesis aparentemente no se sostiene cuando se trata de la percepción de los actores involucrados. Una explicación posible sería en la variabilidad del significado atribuido por el alumno al término “disciplina”, a medida que cambia la composición social de la escuela. El mismo comportamiento se observa con (profesor) y cabe preguntarse si el argumento anterior también sería aplicable a esta variable.

Cuadro 1. Coeficientes de correlación* entre variables de proceso y de composición escolar

Ninguna de las mediciones provenientes del director y descriptivas de la vida institucional de la escuela se asocia con la (Ce). Sólo lo hacen las que enjuician la calidad de la institución y de los aprendizajes de sus alumnos. Por lo tanto, la hipótesis de una mayor correlación de las percepciones del director con la (Ce), comparada con la de los alumnos, no parece confirmarse, al menos con los datos analizados.    

Las variables de (Pe) que se correlacionaron con los indicadores de (Ce) están, a su vez, correlacionadas entre sí (Cuadro 1, parte inferior). A medida que el director adjudica alto prestigio a su escuela y espera altos rendimientos de sus alumnos, aumenta la  expectativa de éxito futuro debido a la escuela entre los alumnos y disminuye el abandono escolar. Además, se constata una asociación importante entre las percepciones del director y de los alumnos respecto del grado de indisciplina en la escuela. Entonces, en cuanto al clima social, alumnos y directivos parecen coincidir.

1.3.2. Modelo nulo y cada variable de proceso escolar

El modelo nulo (Cuadro 2, extremo inferior izquierdo) presenta la partición inicial de la varianza del rendimiento en los niveles (provincia, escuela y alumno){5}. Existen diferencias significativas entre los rendimientos medios de las provincias (13,1%) y de las escuelas (34,1%), aunque la diferencia entre-alumno (intra-escuela) es muy superior a ambas (56,5%).{6}

Cuadro 2. Resultados del análisis multinivel. Rendimiento en Matemática: Modelos nulo y con variables de proceso, según director y alumnos (agregadas).

A continuación, cada una de las variables del director (Pe_D) se evalúa aisladamente en el modelo nulo. En principio y sin ningún ajuste, las estimaciones de todas las mediciones resultan significativas, es decir, los alumnos obtienen altos rendimientos cuando el director de la escuela tiene expectativas de altos logros o cuando le adjudica a la escuela alto prestigio académico, buenas relaciones interpersonales, disciplina o definición clara de fines, o cuando sus profesores enfatizan las tareas de enseñanza y aprendizaje o valorizan la práctica de evaluación. En un trabajo anterior (Cervini, 2003b) se había demostrado algo similar con las variables del alumno (Pe_A).   Cuanto más intensas son la indisciplina, la violencia o el abandono en la escuela, según la percepción de los estudiantes, menor será el rendimiento en Matemática. Por el contrario, cuanto más intensos sean la motivación y la valoración de la Matemática, la expectativa de éxito (imputado a lo aprendido en la escuela) y el cumplimiento de las tareas escolares, más alto será el rendimiento. Finalmente, cuanto más positiva sea la imagen del estudiante acerca de la calidad de la interacción con los docentes y la eficacia de la práctica de estos, más alto será el rendimiento. En principio, entonces, ambos conjuntos de mediciones (Pe_D) y (Pe_A), sin ningún ajuste, se comportan de acuerdo con lo esperado y de forma consistente con la literatura internacional.

1.3.3. El efecto conjunto del proceso escolar

En este paso se estiman dos modelos multinivel: uno con todas las variables de (Pe_D) (Modelo 1) y otro con todas las variables de (Pe_A) (Modelo 2). El objetivo es evaluar y comparar el efecto global de ambos conjuntos de indicadores sobre las variaciones del rendimiento. La constatación más relevante es la notable diferencia de eficacia de ambos modelos. Mientras que las variables del alumno consiguen explicar 50% de la variación inter-provincia y de la variación inter-escuela, las del director reducen sólo 20% en la primera (de .131 a .105) y 15% en la segunda (de .341 a .290). De cualquier manera, todas estas reducciones son estadísticamente significativas.

La mayoría de las mediciones de alumno (Modelo 2) mantienen su significación, es decir, un efecto propio, neto, sobre el rendimiento, aun después de considerar el efecto de las otras variables de ese conjunto. Las estimaciones (violencia) e (indisciplina) son muy bajas por problemas de “colinealidad” entre ambas, lo cual obligará a elegir una de ellas en el paso subsiguiente. Las variables del director (Modelo 1), referidas a las relaciones interpersonales (clima), a la definición de fines y orientación del aprendizaje (fines), a la disciplina en la escuela (disciplina) y a la  importancia dada a la evaluación (evaluacion), se tornan prescindibles. De las cuatro variables significativas, (prestigio) y (expectativa) son las que mantienen una asociación más estrecha con el rendimiento. Es decir, las valoraciones de la escuela son mejores predictores que las descripciones de procesos.

1.3.4. Modelo de composición escolar (o modelo de control){7}

El Modelo 3 (Cuadro 3) presenta las estimaciones de todos los indicadores de (Ce). El grado de ajuste y eficacia de este modelo ya ha sido discutido en otro trabajo (Cervini, 2003b). Se compone con las variables individuales y las grupales (promedio por escuela) referidas al nivel socioeconómico y cultural, a la repitencia, al género del alumno y a la disponibilidad de recursos en la institución. En el presente trabajo este modelo tiene un carácter meramente instrumental.{8} Nótese que el efecto del conjunto de estas variables es levemente superior al registrado por (Pe_A) (Modelo 2) (Cervini, 2003b). Ambos modelos explican aproximadamente la mitad de la variación inter-escuela y de la variación geográfica.

1.3.5. Proceso escolar según el alumno con control de la composición escolar

Ahora, las variables de proceso escolar según el alumno (Pe_A) se incorporan al modelo de (Ce). En un trabajo anterior (Cervini, 2003) se ha analizado el comportamiento del conjunto completo de las mediciones de (Pe_A). Aquí, en cambio, se distinguen dos subconjuntos. En el Modelo 4 se presentan las estimaciones del subconjunto de las mediciones del ethos estudiantil, mientras que en el Modelo 5 las estimaciones se refieren a las variables de clima social.

En general, tanto las estimaciones de (Ce) como de (Pe_A) descienden, indicando la intermediación de los efectos de ambos tipos de variables. El cambio más notable es el experimentado por (%repitente), posible reflejo de la intermediación más intensa que el ethos estudiantil y el clima escolar juegan en la incidencia de la composición académica de la escuela sobre el logro escolar. Además, las tres mediciones referidas a recursos escolares ―recursos didácticos familiares e institucionales y medio ambiente físico escolar― se tornan prescindibles o poco significativos.

La constatación más relevante es la alta diferencia de eficacia entre ambos modelos. Mientras que el Modelo 4 produce una caída de 2,3 puntos porcentuales en la variación no explicada inter-provincia e inter-escuela del Modelo 3 (control), en el Modelo 5 tal cambio es prácticamente imperceptible. El subconjunto de mediciones más directamente referidas a (clima de) la escuela es menos eficaz que las variables del ethos estudiantil, compuestas por las autopercepciones de los alumnos. Las primeras, sin dudas, están más sujetas al efecto escuela que las segundas.     

A continuación, todas las mediciones de Pe_A son incluidas simultáneamente (Modelo 6). Las variables referidas a recursos escolares perdieron significación y han sido excluidas. Es razonable pensar que el efecto de los recursos escolares se “ejerce” a través de algunos aspectos del ethos y del clima escolar. Por el criterio de mayor parsimonia, violencia ha sido excluida.{9} Las varianzas no explicadas de este modelo son muy próximas a las del Modelo 4. El análisis de los dos subconjuntos de Ce_A por separado ha permitido saber que el mayor responsable de la capacidad predictiva del Modelo 6 es el ethos estudiantil y no la percepción estudiantil del clima institucional.

1.3.6. Proceso escolar según director (Pe_D) con control de composición escolar (Ce)

El Modelo 7 expone las estimaciones obtenidas al incluir, en el Modelo 3 (control), las 4 variables de (Pe_D) que resultaran significativas en el Modelo 1.{10} Ahora, sólo (prestigio) y (expectativa) mantienen un efecto neto significativo, si bien sus estimaciones caen abruptamente respecto de los valores observados en el Modelo 1. Por otro lado, y a diferencia de los modelos anteriores de Pe_A, casi la totalidad de las variables de composición escolar se mantienen significativas y no experimentan cambios abruptos.

Desde el punto de vista de la significación estadística, este modelo es tan bien ajustado como el Modelo 6.{11} Sin embargo, la inclusión del conjunto de variables de (Pe_D) no ha alterado significativamente la proporción de variancia residual de cada uno de los niveles en el modelo de (Ce) (Modelo 3). De hecho, la eficacia predictiva de las percepciones del director sobre diferentes aspectos de la institución escolar es muy próxima a la de los alumnos respecto del clima social (Modelo 5). Las autopercepciones de los alumnos son las que en realidad poseen una capacidad explicativa importante (Modelo 4).

1.3.7. Modelo final

Todas las variables que resultaran significativas en los Modelos 6 y 7 son ahora analizadas conjuntamente (Modelo 8). La única alteración importante es la caída de las estimaciones de (prestigio) y (expectativa) del director. Aun cuando no se verifica una caída importante en el residuo de cada nivel de agregación, el modelo puede considerarse bien ajustado{12}. Este es el modelo más parsimonioso para representar los efectos de la composición y el proceso escolar en base a los datos analizados.

Cuadro 3. Resultados del análisis multinivel. Rendimiento en Matemática con variables de composición y proceso escolar, según alumnos y director.

Variables y Niveles	Modelo 3	Modelo 4	Modelo 5	Modelo 6	Modelo 7	Modelo 8
Composición
(libros_e)	.147***	.126***	.132***	.100***	.143***	.097***
(didactico_e)	.030***	.021*	.015		.022***
(hs_trabajo_e)	-.065***	-.059***	-.051***	-.050***	-.063***	-.048***
(%repitente)	-.100***	-.047***	-.068***	-.029***	-.092***	-.026**
(infra_e)	.028**	.021*	.015		.023*
(recursos_e)	.022*	.011	.022*
Proceso
(motivacion)		.042		063***		.062***
(valoracion)		.009		.020*		.021*
(éxito)		.127		.133***		.128***
(esfuerzo)		.039		.028**		.027***
(indisciplina)			-.030	-.025*		-.023*
(violencia)			-.014
(abandono)			-.072	-.067***		-.060***
(profesor)			.002	.071***		.072***
(prestigio)					.033**	.023*
(expectativa)					.039**	.028**
(pedagogico)					.015
(guias)					.001
Niveles
Provincia	.049	.043	.050	.046	.047	.045
Escuela	.179	.162	.174	.158	.176	.156
Alumno	.544	.544	.544	.544	.544	.544
Test de verosimilitud	307845,5	307609,9	307781,4	307547,3	307806,6	307525,9
*  p ≤ 0.05; * * p ≤ 0.01; ***  p ≤ 0.001.

1.4. Conclusiones y discusión

En esta parte se han explorado las relaciones empíricas entre diferentes aspectos del proceso escolar (Pe), según la percepción de alumnos y directores, y el rendimiento en Matemática de los alumnosdel último año de las escuelas secundarias en Argentina. Las percepciones del alumno fueron incluidas sólo como variables agregadas (promedio en la escuela) y clasificadas en dos categorías: 1) ethos de los alumnos, que incluyó actitudes y autopercepciones (sentido del éxito, valoración y motivación para la matemática y esfuerzo escolar) y 2) clima escolar (indisciplina, violencia, abandono escolar y relaciones con el profesor). Las percepciones del director fueron analizadas como un solo conjunto y se refieren a diferentes aspectos del ethos y el clima institucional.

El análisis confirmó hallazgos anteriores (Cervini, 2003b): inicialmente, todas las mediciones relativas a contextos inmediatos de los procesos de aprendizaje, según la percepción del alumno, mantienen estrecha asociación con el logro en Matemática. Ahora, quedó demostrado también que las percepciones del director del establecimiento se comportan similarmente. A pesar de su diversidad, todas esas mediciones se correlacionaron estrechamente con el rendimiento de los alumnos.

Sin embargo, algunas de esas asociaciones no se mantuvieron cuando fueron controladas por variables referidas al background del estudiante individual ―capital económico y cultural de su familia, género, extensión del tiempo de trabajo y repitencia escolar― y a la composición institucional, generadas por la agregación, en el nivel de la escuela, de esas variables del alumno individual, y por variables referidas al medioambiente físico y la disponibilidad de recursos y medios escolares en la escuela.

El efecto del ethos y del clima institucional según el director, se tornó insignificante, más allá de la significación estadística mantenida por algunas de las mediciones. Este mismo comportamiento se observó con las mediciones de clima institucional según el alumno. En cambio, las actitudes y autopercepciones promedio de los alumnos realizaron una contribución significativa a la explicación de la variación residual inter-provincia e inter-escuela del rendimiento.

El análisis confirmó (Cervini, 2003b) que el efecto composición es muy alto. Entonces, según cuál sea la capacidad o el origen social promedio de los alumnos en la escuela, clase o grupo de alumnos, se deberán esperar niveles de aprendizaje menores o mayores de los que se esperarían sólo con base en las características individuales de los alumnos. Es decir, más allá de los efectos de estas últimas, existen los efectos de las características agregadas del grupo de alumnos.

Pero, por otra parte, la estimación de la mayoría de los indicadores de composición disminuyó notoriamente cuando se consideraron las variables del ethos estudiantil y del clima social según el alumno, lo que pone de manifiesto el papel mediador que estas últimas desempeñan en el efecto composición. Este comportamiento es marcadamente menor con las variables del director.

Discusión. El significado y la magnitud del efecto composición del alumnado y sus relaciones con los factores más próximos al aprendizaje escolar son temas de actualidad en la investigación educativa. Predomina la concepción de la organización escolar como una serie de capas jerárquicamente anidadas (comunidad, escuela, aula, grupos de alumnos, grupos pequeños de alumnos amigos y alumno individual), cada una con su propia composición, que puede ser diferente, aunque relacionada a la capa de superior o inferior (Barr y Dreeben, 1983). Las características de la composición se asocian con probabilidadesde determinados sistemas de esquemas de pensamiento, percepción, evaluación y acción{13} de los miembros de la escuela. Si bien en gran parte estas articulaciones de actitudes, valores y creencias del alumno son el resultado de la socialización primaria en la familia, pueden haber sido afectados también por la escuela. De cualquier forma, es a través de ellos que la composición ejerce gran parte de sus efectos sobre el aprendizaje del alumno. Es decir, son predictores relevantes de la existencia de procesos conducentes a determinados aprendizajes. 

Los factores educacionales actúan dentro de capas o estratos así configurados. Por ejemplo, una composición social aventajada en el nivel escuela influirá en los procesos de gestión y organización: en general, los alumnos serán más dóciles, habrá menos casos de indisciplina, los sistemas de orientación y disciplina serán menos presionantes, habrá menores problemas de recursos, en fin, “una rutina más eficiente y más fácil de implementar” (Thrupp, 2002: 498). Esa misma composición en el nivel del aula, permitirá una enseñanza con alumnos más dóciles y con capacidad de resolver trabajos difíciles; se usarán textos más exigentes; los maestros serán más cualificados y motivados; habrá más actividades extracurriculares y el currículum será más académico.

Las influencias de estos contextos –composición y esquemas o representaciones– sobre el aprendizaje del alumno son indirectas y sólo probables (Hattie, 2002). Están mediadas a través de sucesivos niveles de la organización escolar y sólo cambian la probabilidadde que determinados procesos ocurran o no. Las consecuencias de la composición de los sucesivos niveles moldean los escenarios instruccionales y las influencias de compañeros{14} en niveles más bajos. Los efectos son más intensos a medida que se desciende en el nivel de agregación: del nivel escuela al aula y, más aún, al grupo de compañeros. Al final, los maestros y los alumnos compañeros median los efectos de cada uno de los niveles de la organización sobre el aprendizaje. La gran mayoría de esos efectos son operacionalizados por procesos instruccionales y de compañeros, inmediatamente próximos al aprendizaje efectivo del alumno.

Al respecto, Parr y Towsend (2002) presentan un modelo de dos capas para entender cómo los compañeros de grupo influyen en el aprendizaje. En la capa superior están los “medioambientes de aprendizaje con compañeros” (peer learning environments). Aquí, el aprendizaje resulta de a) interacciones en medios que están “tutorialmente configurados” y b) características del medioambiente circundante. Las primeras son actividades conjuntas iniciadas y estructuradas por el maestro (e.g,. reglas para la participación o secuencias predecibles). Las características del medio ambiente implican la disponibilidad de mensajes implícitos que el alumno podrá observar y tomar, pero en los cuales “no está involucrado directamente como participante, ni existe una intención formal de educarlo” (Parr y Towsend, 2002: 404). Por ejemplo, el valor dado a la lectura en un grupo de compañeros o el apoyo dado por un amigo en actividades de lectura son influencias de ambiente. Obviamente, existe una influencia recíproca entre las interacciones en los medios configurados y los procesos operando en el medio ambiente.

Los grupos “reflejan e influencian comportamientos, interacciones, valores, actitudes y creencias de los alumnos”, con efectos positivos o negativos. Las amistades están basadas no solo en factores extraescolares, como el género o el nivel socioeconómico, sino también en características personales, tales como actitudes, valores, actividades y personalidad. La motivación y el desempeño académico, el compromiso escolar,  las actitudes hacia la escuela, la valorización de la educación y el alto rendimiento, y el abandono potencial son afectados por los grupos de compañeros.” (Parr y Towsend, 2002: 407). Las amistades promueven mayores aprendizajes afectivos a través de la intensificación de la cooperación y el mayor entendimiento de las necesidades y capacidades de los otros en actividades de resolución de problemas. “Todo aprendizaje en la escuela acontece teniendo como telón de fondo las influencias del medio asociadas con la membresía a grupos de pares” (409).

En la capa inferiorse encuentran “los mecanismos y procesos por los cuales los pares influyen en el aprendizaje, en especial, aquellos más asociados con los medios tutorialmente configurados o con el medio ambiente” (Parr y Towsend, 2002: 406). Existiría cierta relación probabilística entre medioambientes, mecanismos y procesos.

En resumen, existen efectos originados en interacciones y asociaciones de pares. Algunos operan principalmente en el medioambiente, mientras que otros ocurren principalmente en las interacciones de aprendizaje tutorialmente configuradas, como el aprendizaje cooperativo y las tutorías estructuradas entre pares. El efecto composicional puede influir el aprendizaje del alumno afectando el ambiente circundante y los medioambientes configurados tutorialmente (Wilkinson et al., 2002: 526). Las composiciones de  escuela y de aula afectan más probablemente al medioambiente (e.g., ayuda, amistad, pares como modelos), mientras que el agrupamiento dentro de la clase probablemente afecta tanto al medioambiente como a las interacciones tutorialmente configuradas.

En el presente estudio, además de la composición (social, académica o de género), se han medido y evaluado condicionantes probabilísticos más próximos al aprendizaje, tales como algunas características del medioambiente circundante –actitudes, valores, creencias– y de procesos a nivel de escuela y aula. Los resultados indicaron no solo un importante efecto de la composición, sino también su intermediación a través del escenario valorativo de la escuela, operacionalizado como promedio de valoraciones y autoconceptos de los alumnos (ethos estudiantil). Pero, al mismo tiempo, se constató que este escenario estudiantil de esquemas de pensamiento, percepción, evaluación y acción también posee efectos propios sobre el logro escolar. El diseño del estudio no permite establecer, sin embargo, cuál es el peso de un probable efecto escuela en la conformación de ese eficaz ethos estudiantil, ni tampoco confirma la idea bastante común entre los investigadores de que “las actitudes, las creencias, los valores y los comportamiento son influidos por contextos naturales de los pares” (Parr y Townsend, 2002: 409).

Por otra parte, las mediciones referidas a procesos de la escuela, tanto en la percepción del alumno como en la del director, aunque estadísticamente significativas, no mostraron una eficacia explicativa importante. Es posible que este sea un caso más que confirma la idea de que en la investigación cuantitativa “es claramente dificultoso encontrar mediciones proxy de los procesos involucrados en la organización curricular y la política institucional” (Thrupp, Lauder y Robinson, 2002: 485). Pero también es posible que, en parte, la mentada “eficacia institucional” consista en ciertas características institucionales fuertemente asociadas a la composición escolar y a sus mediadores culturales (ethos estudiantil) que muy poco le deben a la escuela.

Respecto de los estudios de efectividad escolar, los resultados obtenidos confirman la importancia de incluir indicadores resultantes de la agregación de mediciones individuales del alumno, no sólo de composición sino también del ethos estudiantil. Por otra parte, tanto las mediciones agregadas de alumnos referidas a procesos institucionales (e.g., clima institucional) como las provenientes de otros actores, como el director,  parecen precisar mayor experimentación y especiales cuidados metodológicos, si se desea detectar características de eficacia en modelos que incluyan un conjunto amplio de variables de control.

2. Una actualización del efecto de las variables de proceso institucional

En 2007, el Ministerio de Educación de la Nación realizó un Operativo Nacional de Evaluación (ONE/2007) aplicando pruebas de Matemática y Lengua, un cuestionario al alumno evaluado (AP)  y otro al director de la escuela (DiS). Estos cuestionarios tenían como objetivo identificar factores escolares asociados al nivel de aprendizaje en esas áreas curriculares.

En un trabajo reciente, Cervini y Cayssials (2010) realizaron un examen preliminar de los datos relevados. El DiS contenía preguntas sobre recursos escolares, características personales y profesionales del director y diferentes percepciones de este respecto de la escuela. Entre estas últimas, se le pedía al director que evaluase su escuela respecto de cada uno de los ítems de una planilla, con una escala de respuesta tipo Lickert. El análisis factorial con rotación ortogonal permitió identificar dos factores, con 3 ítems cada uno: prestigio o nivel académico (e.g., “Calidad de la enseñanza que brinda”) y organización institucional (e.g., “Capacidad innovadora”). Además, se incluyó la expectativa del director acerca del resultado esperado de los alumnos en la prueba de Matemática, considerada también como percepción del nivel académico de la escuela. Estas tres mediciones pueden considerarse indicadores del proceso escolar (Pe), similares a algunas de las informadas en la parte I de este artículo{15}.

Por otro lado, el nivel socioeconómico familiar se midió con tres indicadores: bienes y servicios, libros en el hogar y nivel educativo de los padres. La composición socioeconómica de la escuela (contexto) resulta de la agregación (promedio en la escuela) de cada una de esas tres variables. Todos estos indicadores son considerados variables de control y son también similares a los reportados en la primera parte de este artículo.

Los datos se analizaron con modelos multinivel bivariados, definidos como aquellos que contienen dos variables-resultado (Matemática y Lengua) para cada unidad de análisis (alumno){16}. Aquí sólo interesa considerar los resultados relativos a Matemática y los indicadores de proceso escolar. La base de referencia se compuso por  23.467 alumnos evaluados en Matemática y pertenecientes a 1170 escuelas, todas ellas con 10 o más alumnos. Los predictores están centrados en la media global y el puntaje en Matemática ha suido estandarizado.

La estrategia de análisis adoptada se desarrolla en las siguientes etapas: 1) descomposición de la variación total de ambas habilidades con un modelo multinivel bivariado de tres niveles: alumno, escuela y provincia (modelo vacío); 2) evaluación de la asociación entre cada indicador de proceso escolar (director) y los puntajes en la prueba; 3) estimación del efecto total de esos indicadores; 4) determinación del modelo control y 5) estimación del efecto de los indicadores de proceso escolar  ajustados por el modelo control.
Los resultados del análisis son presentados siguiendo esa secuencia {17}.

Modelo vacío y variables del proceso escolar (Pe). Del total de la variación de los puntajes en matemática, el 26,4%se debe a la variación del desempeño promedio de las escuelas, el 10,2% a la variación de los promedios provinciales y el resto (63,4%) a la variación de los puntajes de los alumnos dentro de la escuela de pertenencia (Tabla 4, Modelo 1).  Si bien los dos primeros componentes son un poco inferior a los estimados con los datos censales de 1998 (ver Parte I), persiste totalmente válida la inferencia de que las escuelas se diferencian significativamente entre sí respecto del aprendizaje promediode sus alumnos: pertenecer a una escuela determinada implica una mayor o menor probabilidad de obtener un determinado nivel de rendimiento.

Cada una de las variables del Pe se incorporó al modelo vacío con el objeto de evaluar su grado de asociación con los resultados de las pruebas. Todos los coeficientes resultaron significativos (Modelo 2). Entonces, el desempeño promedio de la escuela en Matemática aumenta a medida que lo hacen también la expectativa de logro que el director tiene acerca del desempeño de los alumnos en la prueba y (las percepciones del director acerca de) el nivel académico y la adecuada organización de la escuela.

Efecto total del Pe. En este paso se evalúa el efecto conjunto de las variables del Pe. Para ello, los tres predictores se incluyen simultáneamente en el modelo y se re-estiman los coeficientes (Modelo 3). En primer lugar, se constata que el indicador referido a la organización de la escuela pierde significación y por tanto, es prescindible. Los otros dos se mantienen significativos, aun cuando estén mutuamente controlados. En segundo lugar, se observó que este modelo produce una disminución de 3,4 puntos porcentuales en la variación inter-escuela, es decir, la variación inter-escuela estimada en el modelo vacío ha disminuido 13,0% (de 26,4% a 23,0%), porcentaje muy similar al observado en el análisis de los datos del Censo de 1998 (ver Parte A).

Modelo control. Todas las variables socioeconómicas del alumno y sus agregaciones en la escuela (promedios) son incluidas en el modelo vacío. Para simplificar, en el Cuadro 4 se incluyen solo los coeficientes correspondientes a las tres variables de composición. Todos los indicadores son significativos y explican 47,3% de la variación inter-escuela y 50,9% de la variación inter-provincias. Nuevamente, estas disminuciones relativas son muy similares a las estimadas con los datos censales (Parte A).

El efecto neto del Pe. Finalmente, los coeficientes de dos indicadores del Pe se recalculan en el modelo control. Ambos se mantienen estadísticamente significativos (Modelo 5; ver en Anexo B todas las estimaciones). Sin embargo, se observa que sus valores experimentan una disminución, particularmente más intensa en el correspondiente a la variable prestigio. La misma tendencia de disminución se verifica con los indicadores de composición escolar (Ce). Estas disminuciones indican que el efecto de los factores socioeconómicos es, en gran medida, mediatizado por las características del proceso escolar, según lo percibe el director de la escuela. De cualquier forma, los datos permiten inferir también que, de dos escuelas socioeconómicamente similares, aquella con mayores niveles en las características del Pe promoverá aprendizajes promedios superiores. Más allá del efecto de la composición socioeconómica de la escuela, la excelencia académica, según la percepción del director, ayuda a explicar diferencias en los resultados promedio de los alumnos de las escuelas.

Finalmente, es importante observar que, a pesar de la significación estadística de los coeficientes, la inclusión de los dos indicadores del Pe en el modelo control prácticamente no ha alterado las estimaciones de sus residuos en cada nivel (Modelo 4)  Estos datos confirman plenamente los hallazgos empíricos surgidos del análisis de los datos del Censo de 1998 (Parte A).

Cuadro 4. Resultados del análisis multinivel. Desempeño en Matemática con variables de composición y proceso escolar, según director 

3. Los efectos de la escuela y del aula en el rendimiento en matemática

Hasta aquí, las conclusiones inferidas estuvieron basadas en hallazgos empíricos obtenidos con modelos multinivel con tres niveles: provincia, escuela y alumno. Se asumía que esta especificación de la estructura de los datos es adecuada para demostrar la hipótesis central del paradigma de efectividad escolar: ciertas características de la institución escolar tienen un efecto propio sobre el logro de aprendizaje del alumno, aun después de considerar los efectos de sus antecedentes y de la composición socioeconómica de la escuela. Sin embargo, es sabido que el alumno aprende en el aula, más que en la escuela como totalidad; esto implica que, en última instancia, lo que sucede en el aula determina el nivel de efectividad de una escuela: “escuelas efectivas son las que pueden lograr aulas efectivas” (Creemers, 1994: 201).    Sin dudas, los indicadores construidos a partir de un cuestionario al director de una escuela se refieren comúnmente a la institución. Dirimir este dilema es, por tanto, relevante para un mejor entendimiento de los hallazgos informados en las dos primeras partes de este artículo.

Un estudio anterior (Cervini, 2006) se propuso determinar la magnitud los efectos escuela y aula brutos y netos (ajustados) sobre el rendimiento en Matemática y Lengua con los mismos datos analizados en la Parte A de este artículo (Censo Nacional de Finalización del Nivel Secundario del año 1998). El archivo analizado fue de 68.803 estudiantes en 2527 aulas en 915 escuelas de 20 provincias. Los datos se analizaron con modelos multinivel. Para estimar los efectos netos se utilizaron como variables de control características personales del alumno y de la composición de la escuela similares a las empleadas en el estudio expuesto en la Parte A.

La revisión de antecedentes de investigación justificó plenamente la realización del estudio dado que, si bien algunas investigaciones avalarían la hipótesis de que "las clases son por lejos más importantes que la escuelas en la determinación de cómo los niños se desempeñan en la escuela" (Muijs y Reynolds, 2001), otras sugieren que el efecto escuela podría ser igual al efecto aula o mayor que él, dependiendo de la materia (matemática o lengua), el nivel (primaria o secundaria) y el grado del alumno.

Por otra parte, el desarrollo de los modelos multinivel ha permitido responder a esta cuestión de forma técnicamente más adecuada. De hecho, la primera decisión a tomar en el análisis multinivel es la especificación de los niveles de agregación. Opdenakker y Van Damme (2000) exploraron los efectos causados por las diferentes combinaciones posibles de tal decisión y  constataron que la omisión de un nivel intermedio “causa una sobreestimación de la varianza perteneciente al nivel inmediatamente superior y al nivel inmediatamente inferior al nivel ignorado” (Opdenakker y Van Damme, 2000: 108).

Los resultados de la descomposición porcentual de la varianza (sin ningún predictor) en modelos multinivel con diferentes niveles y utilizando datos del Censo de 1998 se presentan en el Cuadro 5.

En el Modelo 1 (alumno-escuela) la varianza entre-escuela representa 42,1% de la varianza total y por tanto, podría inferirse que el efecto escuela bruto es notablemente elevado. Pero, cuando se omite escuela y se especifica el aula (Modelo 2), la variación relativa de este nivel aula asciende a 49,8%, es decir, es superior a la registrada para la variación entre-escuela. Por otro lado, la variación entre-alumno cae significativamente, debido a que se está incluyendo un nivel de agregación más próximo al alumno (el aula). El Modelo 3 (provincia-escuela-alumno) permite observar que la varianza entre-escuela se desdobla significativamente, o sea, una parte importante de su efecto se debía en realidad a diferencias provinciales. Cuando se toman en cuenta los 4 niveles de agregación (Modelo 4), la varianza entre-escuela vuelve a descender, pesando ahora 23,4%. También desciende abruptamente la varianza entre-alumno (o intra-aula), que queda próxima a su valor en el Modelo 2.

Los resultados revelan, entonces, que la omisión del nivel aula produce una  sobreestimación de las varianzas de los niveles inmediatamente superior (escuela) e inferior (alumno). Además, si bien el efecto bruto escuela parece superar ampliamente al efecto bruto aula, la magnitud de este último es también muy significativa.

Esta última imagen del sistema educativo se desvanece cuando se consideran los factores extraescolares, como la composición socioeconómica de la escuela. Efectivamente, al incluir el conjunto de indicadores que representa a ese tipo de factores los residuos de los niveles escuela y provincia caen abruptamente. De hecho, la variación inter-escuela pasa de 23,4% a 9,4%. La varianza inter-aula, en cambio, disminuye levemente. Por tanto, gran parte de las diferencias de rendimiento promedio entre las escuelas se debe a los factores extraescolares, los cuales tienen muy poca capacidad explicativa respecto de las diferencias entre aulas en el interior de la escuela. Ahora, el residuo inexplicado del nivel escuela es inferior al respectivo del nivel aula, es decir, el efecto escuela neto es inferior al efecto aula neto.

Cuadro 5. Resultados del análisis multinivel. Modelos vacíos y “control”. Matemática

La varianza entre-escuela dejada sin explicar podría deberse a otros factores extraescolares cuyas mediciones no se consideraron ni estuvieron disponibles en ese estudio, o por factores escolares, es decir, características de la institución escolar (organización, políticas, liderazgo, etc.). Los ejercicios informados en las Partes A y B de este artículo constituyen ejemplos claros. Pero el residuo del nivel aula será explicado más probablemente por características del aula (práctica pedagógica, oportunidad de aprendizaje, características del maestro, clima de aprendizaje, etc.). En este nivel de agrupamiento, más cercano al alumno, sucede el proceso de enseñanza-aprendizaje. Por tanto, sus particularidades tienen mayor probabilidad de incidir en el aprendizaje. Los datos confirman la idea de que, en la búsqueda de “áreas de efectividad sería más sensato buscar dentro de la escuela más que la escuela”  (Webster y Fisher, 2000: 358).

Estos hallazgos, sin embargo, no niegan la existencia del efecto escuela neto. Después de controlar el efecto de los factores extraescolares disponibles, resta un residuo significativo a nivel escuela, parte del cual se podría deber a factores estrictamente institucionales. Algunas escuelas serían más exitosas que otras en el objetivo de promover el aprendizaje de los alumnos y ello por razones sujetas a decisiones tomadas en la propia escuela.

Pero, al mismo tiempo, las constataciones empíricas revisadas generan ciertos interrogantes ineludibles. ¿La importancia relativa de los aspectos institucionales estudiados se alteraría si se especificasen otros niveles de agregación, particularmente el aula? En este caso, ¿existe interacción entre los niveles escuela y aula respecto de tales características? ¿La posible variación del efecto de las variables propias del aula ayudaría a explicar la diferencia inter-escuela? Conviene mantener estos interrogantes como propósitos de investigaciones futuras.

 

REFERENCIAS BIBLIOGRÁFICAS

Aitking, M. y Longford, N. (1986). Statistical modelling issues in school effectiveness. Journal of the Royal Statistical Society A, 149, 1-42.

Anderson, C.S. (1982). The search for school climate: A review of the research. Review of Educational Research, 52, 368-420.

Angell, A. (1991). Democratic climate in elementary classroom: A review of theory and research. Theory and Research in Social Education, 19, 241-286.

Angus, L. (1993). The sociology of school effectiveness. British Journal of Sociology of Education, 14, 333-345.

Barr, R.yDreeben, R. (1983). How Schools Work. Chicago: University of Chicago Press.

Brookover, W., Beady, C., Flood, P., Schweitzer, J. y Wisenbaker, J. (1979). School, social systems and student achievement: schools can make a difference. Nueva York: Praeger Publishers.

Bryk, A. y Raudenbush, S. (1992). Hierarchical Linear Models for Social and Behavioral Research: Applications and Data Analysis Methods. Newbury Park, CA: Sage.

Carroll, J. (1963). A model of school learning, Teachers College Record, 43, 723-733

Cervini, R. (2002). Desigualdades socioculturales en el aprendizaje de Matemática y Lengua de la educación secundaria en Argentina: Un modelo de tres niveles.” Revista Electrónica de Investigación y Evaluación Educativa, 8(2), 1-25.

Cervini, R. (2003a). Educación privada, segmentación educativa y resultados escolares: el caso de la educación secundaria en Argentina. Modelos de tres niveles. Education Policy Analysis Archives, 11(5), 1-25.

Cervini, R. (2003b) Relaciones entre composición escolar, proceso escolar y logro en Matemática del nivel secundario en Argentina. Un modelo de tres niveles. Revista Electrónica de Investigación Educativa, 5(1), 1-25.

Cervini, R. (2004). Influencia de los factores institucionales sobre el logro en Matemática de los estudiantes en el último año de la educación media de Argentina. Un modelo de tres niveles. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2(1), 1-24.

Cervini, R. (2006). Los efectos de la escuela y del aula sobre el logro en Matemática y en Lengua de la educación secundaria. Un modelo multinivel. Perfiles Educativos, XXVIII (12), 68-97.

Cervini, R. y Cayssials, A. (2010). Contexto escolar y aprendizaje en la educación secundaria: Cuestionarios del director, ONE/2007. En DINIECE, Documentos Pedagógicos, (pp. 1-34). Buenos Aires:  Ministerio de Educación de la Nación.

Coe, R. y Taylor, C. (1998). School effectiveness research: criticism and recommendations. Oxford Review of Education, 24(4), 421-438.

Cooper, H., Valentine, J.C., Nye, B. y Lindsay, J.J. (1999). Relationships between five after-school activities and academic achievement. Journal of Educational Psychology, 91(2), 369-378.

Creemers, B. (1994) Effective instruction: An empirical basis for a theory of educational effectiveness. En D. Reynolds et al., Advances in School Effectiveness Research and Practice (pp. 189-203). Oxford: Pergamon.

Daly, P. y Ainley, J. (2000). Recent critiques of school effectiveness research. School Effectiveness and School Improvement, 11, 131-143.

Dunn, R. y Harris, L. (1998). Organizational dimensions of climate and the impact on school achievement. Journal of Instructional Psychology, 25, 100-104.

Everett, S. y Price, J. (1995) Students’ perceptions of violence in the public schools: The metlife survey. Journal of Adolescent Health, 17(6), 45-352.

Fennema, E. y Carpenter, T.P. (1981) Sex related differences in mathematics: Results from national assessment.  Mathematics Teacher, 74, 554-559.

Fraser, B. (1989). Twenty years of classroom climate work: Progress and prospect. Journal of Curriculum Studies, 21, 307-327.

Freidman, L. (1989). Mathematics and the gender gap: A meta-analysis of recent studies on sex differences in mathematical tasks. Review of Educational Research, 59, 185-213.

Gamoran, A. (1987). The stratification of high school learning opportunities. Sociology of education, 60, 135-155.

Gerber, S. (1996). Extracurricular activities and academic achievement. Journal of Research and Development in Education, 30(1), 42-50.

Gerwitz, S. (1998). Can all school be successful? An exploration of determinants of school “success”. Oxford Review of Education, 24 (4), 131-143.

Goldstein, H. (1987). Multilevel Models in Educational and Social Research. Londres: Griffin.

Goldstein, H. (1998). A response to Gibson and Asthana. Oxford Review of education, 24 (4), 521-523.

Greenwald, R., Hedges, L.V. y Laine, R.D. (1996). The effect of school resources on achievement. Review of Educational Research, 66(3), 361-396.

Hallinan, M. (1988) School composition and learning: A critique of the Dreeben-Barr model. Sociology of education, 61, 143-146.

Hanushek, E.A. (1989). The impact of differential expenditure on school performance. Educational Researcher, 18(4), 45-65.

Haroun, R. y O’Hanlon, C. (1997). Do teacher and students agree in their perceptions of what school discipline is? Educational Research, 49 (3), 237-250

Hatcher, R. (1998). Social justice and the politics of school effectiveness and school improvement. Race, Ethnicity and Education, 1, 267-289.

Hattie, J. (2002). Classroom composition and the peer effects. International Journal of Educational Research, 37, 449-481.
Hilton, T. L. y Berglund, G.W. (1974) Sex differences in mathematics achievement – A longitudinal study. The Journal of Educational Research, 67, 232-237.

Holland, A. y Andre, T. (1987). Participation in extracurricular activities in secondary school: What is known, what needs to be known? Review of Educational Research, 57, 4 37-466.

Kablaoui, B.N. y Pautler, A.J. (1991). The effect of part-time work experience on high school students. Journal of Career Development, 17, 195-211.

Kreft, I. (1993). Using multilevel analysis to assess school effectiveness: A study of Dutch secondary education. Sociology of education, 66, 104-129

Marsh, H (1991). Employment during high school: Character building or a subversion of academic goals? Sociology of Education, 64, 172-189.

Marsh, H.W. (1992). Extracurricular activities: Beneficial extension of the traditional curriculum or subversion of academic goals? Journal of Educational Psychology, 84(4), 553-562.

Marks, G., McMillan J. y Hillman, K. (2001). Tertiary entrance performance: The rol of student background and school factors. (Longitudinal Surveys of Australian Youth, Report nº 22). Melbourne: ACER.

Moos, R. (1979). Evaluating Educational Environments. Washington, DC: Jossey-Bass Publishers.

Moos, R. (1980). Evaluating classroom learning environments. Studies in Educational Evaluation, 6(3), 239-252.

Moos, R. (1987). The social climate manual. Second edition. Palo Alto, CA: Consulting Psychologists Press.

Mortimer, J.T., Finch, M.D., Ryu, S., Shanahan, M.J. y Call, K.T. (1996). The effects of work intensity on adolescent mental health, achievement, and behavioral adjustment: New evidence from a prospective study. Child Development, 67, 1243-1261.

Muijs, D. y Reynolds, D. (2001). Effective teaching: Evidence and practice. Londres: Paul Chapman Publishing.

Nash, R. (2002). Peer effects and peer group processes: Joining the conversation on quantitative and qualitative methods. Australian Journal of Education, 46(1), 6-18.

Nash, R. y Harker, R. (1998). Making progress: Adding value in secondary education. Palmerston North: ERDC Press.

Opdenakker, M. y Van Damme, J. (2000). Effects of schools, teaching staff and classes on achievement and well-being in secondary education: Similarities and differences between school outcomes. School Effectiveness and School Improvement, 11(2), 165-196.

Opdenakker, M. y Van Damme, J. (2001). Relationship between school composition and characteristics of school process and their effect on mathematics achievement. British Educational Research Journal, 27(4), 407-432.

Parr, J. y Townsend, A. (2002). International Journal of Education Research, 37, 403-423.

Power, F., Higgins, A. y Kohlberg, L. (1989). Lawrence Kolberg’s approach to moral education. Nueva York: Columbia University Press.

Purkey, S.C. y Smith, M. (1983). Effective Schools: a Review. Elementary School Journal, 83, 427-452.

Quirk, K., Keith, T. y Quirk, J. (2002). Employment during high school and student achievement: Longitudinal analysis of national data. The Journal of Educational Research, 95(1), 4-10.

Raudenbush S. y Bryk, A. (1986). A hierarchical model for studying school effects, Sociology of Education, 59, 1-17.

Riddell, A. (1997). Assessing designs school effectiveness research and school improvement in developing countries. Comparative Education Review, 41 (2), 178-204.

Scheerens, J. y Bosker, R. (1997). The Foundation of Educational Effectiveness. Oxford: Pergamon.

Singh, K. (1998). Part-time employment in high school and its effect on academic achievement. The Journal of Educational Research, 91, 1 31-139.

Slee, R., Weiner, G.: With Tomlinson, S. (Eds.) (1998). School Effectiveness for Whom? Londres: Falmer Press.

Steinberg, L. y Kaufman, E. (1995). The impact of employment on adolescent development. Annals of Child Development, 11, 131-166.

Steinberg, L. y Dornbush, S.M. (1991). Negative correlates of part-time employment during adolescence: Replication and elaboration. Development Psychology, 27, 304-313.

Stringfield, S. (1994) The Analysis of Large Data Bases in School Effectiveness Research. En D. Reynolds et al. (eds), Advances in School Effectiveness Research and Practice (pp.55-72). Oxford: Pergamon.

Tagiuri, R. (1968). The concept of organizational climate. En R. Tagiuri y G.H. Litwin (Eds.), Organizational climate: Exploration of a concept. Boston, MA: Harvard University, Graduate School of Business Administration, Division of Research.

Teddlie, C. (1994). The integration of classroom and school process data in school effectiveness research. En D. Reynolds et al., Advances in school effectiveness research and practice (pp. 113-132). Oxford: Pergamon.

Teddlie, C. y Reynolds, D. (2001). Countering the critics: Responses to recent criticism f school effectiveness research. School Effectiveness and School Improvement, 12(1), 41-82

Thrupp, M. (2001a). Sociological and political concerns about school effectiveness research: Time for a new research agenda. School Effectiveness and School Improvement, 12(1), 7-40.

Thrupp, M.  (2001b). Recent school effectiveness counter-critiques: problems and possibilities. British Educational Research Journal, 27 (4), 443-457.

Thrupp, M., Lauder, H. y Robinson, T. (2002). School composition and peer effects. International Journal of Educational Research, 37, 483-504.

Tsai, S.L. y Walberg, H.J. (1983). Mathematic achievement and attitude productivity in junior high school. The Journal of Educational Research, 76, 267-272.

Wazman, H. y Ellett, C. (Eds.) (1992). The study of learning environments (vol.5). Houston: College of education. University of Houston.

Webster, B.J. y Fisher, A.L. (2000). Accounting for variation in science and mathematics achievement: A multilevel analysis of Australian data Third International Mathematics and science study (TIMMSS), School Effectiveness and School Improvement,11(3), 339-360.

Wilkinson, I., Hattie, J., Parr, J., Townsend, M., Thrupp, M., Lauder, H. y Robinson, T. (2000). Influences of peer effects on learning outcomes: A review of the literature. Report to the Ministry of Education. Auckland: UniService Ltd., University of Auckland.

Wilkinson, I.,  Parr, J., Fung, I., Hattie, J. y Townsend, M. (2002). Discussion: modeling and maximizing peer effects in school. International Journal of Educational Research, 37, 521-535.

 

Anexo A

A.1.  Resultados del análisis multinivel. Rendimiento en matemática con variables de composición y proceso escolar, según alumnos y director

Variables y Niveles	Modelo 3		Modelo 4		Modelo 5		Modelo 6		Modelo 7		Modelo 8
	Estim	e.s.	Estim	e.s.	Estim	e.s.	Estim	e.s.	Estim	e.s.	Estim	e.s.
Composición
(libros_e)	.147	.013	.126	.013	.132	.014	.100	.014	.143	.013	.097	.014
(didactico_e)	.030	.009	.021	.010	.015	.010			.022	.002
(hs_trabajo_e)	-.065	.011	-.059	.010	-.051	.011	-.050	.010	-.063	.011	-.048	.010
(%repitente)	-.100	.010	-.047	.011	-.068	.011	-.029	.011	-.092	.010	-.026	.011
(infra_e)	.028	.011	.021	.010	.015	.010			.023	.010
(recursos_e)	.022	.010	.011	.009	.022	.010
Proceso
(motivacion)			.042	.008			.063	.009			.062	.009
(valoracion)			.009	.009			.020	.009			.021	.009
(éxito)			.127	.012			.133	.013			.128	.012
(esfuerzo)			.039	.009			.028	.009			.027	.009
(indisciplina)					-.030	.011	-.025	.009			-.023	.008
(violencia)					-.014	.011
(abandono)					-.072	.014	-.067	.013			-.060	.013
(profesor)					.002	.009	071	.010			.072	.010
(prestigio)									.033	.010	.023	.009
(expectativa)									.039	.009	.028	.009
(pedagogico)									.015	.009
(guias)									.001	.009
Niveles
Provincia	.049	.017	.043	.015	.050	.017	.046	.016	.047	.016	.045	.016
Escuela	.179	.005	.162	.005	.174	.005	.158	.005	.176	.005	.156	.005
Alumno	.544	.002	.544	.002	.544	.002	.544	.002	.544	.002	.544	.002
Test de verosimilitud	307845,5		307609,9		307781,4		307547,3		307806,6		307525,9

 

Anexo B

 

{1} Ver www//diniece.me.gov.ar/documentos/alum%_98.zip y //diniece.me.gov.ar/documentos/ DIM98.zip. El Cuestionario del director se aplicó en 1997 y en 1998. En este último año, una proporción importante de cuestionarios fue respondida posteriormente al operativo de evaluación y enviada por correo. Esta circunstancia arroja dudas sobre la calidad de los datos recolectados, además de ocasionar una caída importante de la cobertura efectiva. Por eso, se decidió utilizar los cuestionarios de 1997, aplicados de acuerdo con el procedimiento estándar establecido. Cuando el director no respondió al cuestionario en 1997 y sí lo hizo en 1998, se utilizó este último (323 escuelas).

{2} Las escuelas técnicas no son incluidas en el análisis dado que las importantes diferencias curriculares impiden su comparación directa con las otras modalidades.

{3} Para el análisis, la provincia de Buenos Aires se divide en Gran Buenos Aires (Conurbano) y resto de la provincia.

{4} El grado de ajuste (probabilidad) de un modelo se estima con base en la diferencia entre los valores de la razón de máxima verosimilitud  del  modelo analizado y del modelo antecedente, diferencia que puede ser referida a la distribución de chi-cuadrado y cuyos grados de libertad quedan definidos por la cantidad de nuevos parámetros que han sido ajustados en el modelo analizado.

{5} La suma de las proporciones es levemente superior a la unidad debido a las fluctuaciones de muestreo.

{6} Las investigaciones en países del Tercer Mundo indican que las diferencias inter-escuela son menores que las disparidades entre estudiantes, es decir, “la influencia del hogar es mayor que la de la escuela” (Ridell, 1997: 185). De acuerdo con los datos de Ridell (1997), el promedio de las diferencias entre-estudiante en el rendimiento en Matemática de la escuela secundaria es levemente inferior a 55%.

{7} Por razones de simplicidad, estas estimaciones no se presentaron en el Cuadro 1. Pueden ser consultadas en  Cervini (2003b).

{8} En el Anexo A-1 se presentan las estimaciones con sus errores estándar del modelo 3 hasta el modelo final.

{9} Para su análisis más detenido, ver Cervini (2002). Dado que las estimaciones de las variables individuales del alumno no son esenciales para la compresión del texto, ni se alteran a lo largo del análisis subsiguiente, se obsta por no presentarla en el Cuadro 3 con la finalidad de facilitar la lectura. Tales estimaciones pueden ser consultadas en la referencia de arriba.

{10} El criterio para escoger (indisciplina) en vez de (violencia) fue su mayor eficacia en este modelo, aunque no en el Modelo 2.

{11} Dada la alta correlación entre (clima), (fines), (disciplina) y (evaluacion), el efecto de cada una de ellas en este modelo fue evaluado excluyendo a las otras tres. Todas resultaron no significativas. De esta forma, se despeja la duda sobre si la colinealidad entre ellas podría explicar las estimaciones no significativas.

{12} La diferencia del test de máxima verosimilitud del Modelo 6 (307547,3) con respecto al modelo control (307845,5) es 298,2 que, con 7 gl. (cantidad de nuevos parámetros ajustados), tiene una probabilidad de ocurrencia muy inferior a 1 por mil. Aun cuando el Modelo 7 tiene aquella distancia bastante menor (=38,9), con 4 gl. Su probabilidad también es inferior al 1 por mil.

{13} La diferencia del test de máxima verosimilitud entre este modelo (307525,9) y el Modelo 4 (307547,3) es 21.4 que, con 2 gl. ―(prestigio) y (expectativa)―, tiene una probabilidad de ocurrencia inferior a 1 por mil.

{14} Ver el vol. 37 del International Journal of Education dedicado exclusivamente al efecto composición (agregado de capacidad, estatus socioeconómico, género y etnia de los alumnos), y su distinción y relaciones con los efectos de los compañeros (peer effects).

{15} Se incluyen aquí los componentes conscientes del capital cultural y no solamente los códigos inconscientes del habitus, tal como es entendido por Bourdieu. Para una discusión sobre las relaciones entre capital cultural y habitus de Bourdieu en relación con el análisis del logro escolar, ver Cervini (2002).

{16} El ‘efecto de compañeros’ (peer effects) refiere a la influencia de procesos normativos (internalización de normas de comportamiento educacional) y/o comparativos (referencia al para comparar su desempeño y desarrollar autopercepciones académicas), interacciones alumno-alumno y ciertas dinámicas de instrucción.

{17} La definición detallada de cada variable se encuentra en Cervini y Cayssials (2010). En ese trabajo se analizó un conjunto bastante amplio de indicadores construidos a partir del DiS, los cuales no son considerados en el presente trabajo.

{18} En este tipo de modelo, cada indicador de resultado se trata como parte de un sistema único de ecuaciones a través del cual se pueden estimar, en cada uno de los niveles de anidamiento (alumno, escuela, provincia), las correlaciones entre ellos y de ellos con cada uno de los factores considerados.

Las estimaciones completas de los diferentes modelos se encuentran en Contexto escolar en el aprendizaje de la educación Secundaria. Estimaciones de modelos multinivel bivariados ONE 2007. Informe Técnico, disponible en la página web de la DiNIECE (http://www.me.gov.ar/diniece/). Las estimaciones de los modelos multinivel analizadas en este trabajo pueden ser solicitadas a los autores.