ESTUDIO SOBRE EL RENDIMIENTO EN MATEMÁTICAS EN ESPAÑA A PARTIR DE LOS DATOS DEL INFORME PISA 2003. UN MODELO JERÁRQUICO DE DOS NIVELES

1. INTRODUCCIÓN

Este trabajo realiza una exploración general de la situación actual de los alumnos españoles que se encontraban cursando Educación Secundaria Obligatoria en el año 2003, respecto a su rendimiento en matemáticas. Para ello, se toma con referente principal los datos obtenidos mediante la evaluación internacional PISA 2003 (Program For Indicators Of Student Achievement).

En España, salvo algunos intentos del Centro de Investigación y Documentación Educativa (CIDE) en 1990, del Instituto Nacional de Evaluación y Calidad del Sistema Educativo (INECSE) en 1997 y 2000 o más recientemente, la evaluación realizada en la comunidad de Madrid en 2005 y 2006, no existe una evaluación periódica, realizada mediante pruebas estandarizadas, que permita determinar cuál es la evolución que sigue nuestro sistema educativo.

Las evaluaciones siempre han estado unidas a la polémica, muchos centros, padres y también alumnos han hecho públicas sus quejas sobre este tipo de metodología. Esto puede ser debido a la poca tradición evaluativa, a la falta de información sobre los beneficios de este tipo de estudios y/o a una carencia de cultura de evaluación educativa. Éstos y otros motivos conllevan que se contemple la evaluación como un instrumento para el control y la sanción más que un espacio para la mejora y el avance educativo.

Los datos que obtienen las diferentes evaluaciones de rendimiento informan no sólo sobre el logro de los alumnos, sino que también suelen estar incluidas una serie de variables relacionadas con el background del alumno y de la escuela que condicionan dicho logro de los estudiantes. Los resultados de las diferentes evaluaciones deberían ser utilizados por cada país para la búsqueda de soluciones a sus problemas en materia educativa y mejorar sus respectivos sistemas de enseñanza y, no para compararse con otros en cuestiones de rendimiento. Sin embargo, en España no tiene efectos sobre su política educativa.

La peculiaridad de este trabajo reside en la metodología de análisis de datos. Son muchas las investigaciones sobre rendimiento y los factores que la determinan, pero la mayoría de éstas, al realizar el análisis de los datos, no respetan la estructura anidada de los mismos. En ciencias sociales y del comportamiento y, sobretodo en educación, los datos tienen una estructura jerárquica, es decir, los alumnos se encuentran agrupados en centros educativos y, estas escuelas se sitúan en diferentes distritos, que a su vez se agrupan en ciudades, comunidades autónomas, etc.  Los modelos multinivel respetan esta estructura y ponen una solución estadística para tratar simultáneamente la influencia del contexto y de las diferencias individuales (Gaviria, J.L. y Castro, M., 2005).

No existe una única definición válida del concepto de rendimiento académico. Éste varía en función de los distintos autores que han profundizado en esta temática. Para Pérez (1981) el concepto de rendimiento académico está inacabado, se ha ido construyendo a partir de distintas definiciones que van integrando los diferentes elementos que conforman el carácter multidimensional del término.

Para Tourón (1985) el rendimiento es un resultado del aprendizaje producido por el alumno, pero no es el producto de una única capacidad, sino el resultado de una suma de factores que actúan en y desde la persona que aprende.

González (1975) considera el rendimiento escolar cómo resultado de diversos factores derivados del sistema educativo, la familia y del propio alumno. El rendimiento es un producto.

El rendimiento académico es un constructo resultado de la influencia de distintas variables sobre el alumno, por lo tanto, el rendimiento es un producto. Estas variables pueden estar relacionadas con la escuela y su entorno, con características del aula, de los docentes y de sus compañeros de clase, con aspectos del contexto socio-cultural y económico del estudiante y con características del propio alumno. La importancia que cada variable tiene sobre el rendimiento varía en función de los diferentes estudios.

Para Coleman (1966) la importancia de los factores asociados al background es mucho mayor que las variables asociadas a la escuela. Este informe fue criticado metodológicamente ya que utilizó para el análisis de los datos la técnica de regresión paso a paso, introduciendo cómo primeros predictores las variables del contexto socioeconómico, dejando poca varianza por explicar a las variables escolares, esto es producto de la colinealidad. Sin embargo, las investigaciones de Jencks (1971) confirman estos resultados y afirma que en el rendimiento académico lo más importante son las características de los propios estudiantes y los factores escolares son poco relevantes. Sin embargo, multitud de estudios han mostrado cómo factores referentes a variables escolares, del aula y del docente influyen en el logro educativo de los estudiantes (Theule, S., 2006;  Cervini, R, 2002, 2003b y 2004; Piñeros, L.J. y Fernández, T. y Blanco, E., 2004)

El ejemplo más significativo de estudios de rendimiento a nivel internacional es el Proyecto para la Evaluación Internacional de los Alumnos (PISA). Este estudio permite realizar comparaciones internacionales entre los países participantes. Se realiza cada tres años, por iniciativa y bajo la coordinación de la Organización para la Cooperación y Desarrollo Económico (OCDE). Su objetivo es medir los conocimientos y destrezas de los alumnos de 15 años, edad próxima a la finalización de la escolaridad obligatoria, en las materias de Matemáticas, Lectura, Ciencias y Solución de Problemas.
PISA no evalúa contenidos curriculares, no valora lo que se ha enseñado a los alumnos en las escuelas, sino que es una evaluación de conocimientos y destrezas que se esperan de un estudiante que se encuentra a punto de acabar la escolaridad obligatoria. De esta forma se facilita la comparación entre los resultados de los diferentes países participantes, independientemente de las diferentes formas de organización educativa y del currículo escolar.

Sin embargo, España no sólo participa en evaluaciones internacionales. Desde nuestro país han surgido iniciativas para llevar a cabo la evaluación y diagnóstico del sistema educativo español.
El IE (Instituto de Evaluación) antes denominado INECSE (Instituto Nacional de Evaluación y Calidad del Sistema Educativo) es el encargado de coordinar las diferentes evaluaciones nacionales e internacionales del sistema educativo español. En los años 1997 y 2000 realizó una evaluación general del sistema educativo con el objetivo de conocer y valorar los resultados educativos alcanzados por los alumnos que finalizaban la Educación Secundaria Obligatoria en ese mismo año. Esta evaluación no pasa de ser un estudio descriptivo, correlacional y de búsqueda de diferencias, sin llegar a la elaboración un modelo explicativo de los resultados de los alumnos en las diferentes materias evaluadas. La principal diferencia con el estudio PISA es que aquí sí se miden contenidos curriculares y la preparación de los alumnos en dichos contenidos. En cambio, PISA trata de evaluar la preparación de los alumnos para situaciones cotidianas.

Otro de los esfuerzos nacionales para llevar a cabo la elaboración de un modelo de rendimiento académico fue el realizado por el Centro de Investigación y Documentación Educativa en 1990. Desde el CIDE, se ideó un modelo causal del rendimiento que utilizó para su medición tanto pruebas objetivas como las calificaciones escolares en lengua y matemáticas. En este modelo se incluyeron variables explicativas como el contexto social del alumno, motivación, aptitudes, autoconcepto académico, metodología del docente, relaciones interpersonales, interés del profesor, etc.

2. LOS MODELOS JERÁRQUICOS LINEALES

Respecto a la técnica de análisis utilizada es conveniente resaltar que los datos que proceden de las ciencias sociales y del comportamiento y, por ende en educación, tienen una estructura anidada. Por ejemplo, las puntuaciones de los alumnos agrupadas dentro de organizaciones educativas y, además, estas organizaciones pueden estar anidadas dentro de distritos, comunidades e, incluso, países. Los modelos multinivel representan cada uno de los niveles de agregación con un submodelo, éstos expresan  las relaciones que se producen entre variables dentro de un mismo nivel y especifican como las variables de un nivel influyen en otro.

La asociación jerárquica de los datos no es accidental ni debe ser ignorada. Un ejemplo de esto es la posibilidad de que estudiantes con las mismas aptitudes sean agrupados en escuelas altamente selectivas. En otros casos, el agrupamiento puede darse por otros motivos. Sin embargo, cuando el grupo está definido todos sus miembros afectarán y serán afectados por el resto y tenderán a diferenciarse de otros grupos (Delprato, M., 1999). Ignorar los efectos de los grupos puede invalidar las técnicas de análisis estadístico tradicionales que son utilizadas para el estudio de las relaciones entre datos de estas características. Estas técnicas estadísticas suelen incurrir en dos tipos de errores diferenciados (Hox, J.J., 1995):

  1. Asignar el mismo valor de las variables de las unidades macro, del contexto escolar o del grupo, a las unidades micro, es decir, a cada alumno, sin preocuparse por la posible variación de dichos factores entre los sujetos. Es lo que se conoce como falacia atomística, termino acuñado por Alker en 1969.
  2. Realizar la media de cada variable del alumno para asignársela al grupo al que pertenece. Esto es factible para el estudio de las relaciones de nivel macro (centro), pero no para trasladar estas conclusiones al nivel del alumno. Este error se conoce como falacia ecológica, termino que acuñó Robinson en 1950.
Los modelos multinivel ponen solución a este problema trabajando con los diferentes niveles al mismo tiempo. Con estos modelos es posible diferenciar la varianza explicada por cada predictor en los diferentes niveles de agregación seleccionados. Además, es posible realizar inferencias con variables que actúan a diferentes niveles, por ejemplo, la metodología didáctica del docente puede producir efectos diferenciales dependiendo del rendimiento de los alumnos, en algunas ocasiones, tienen mayor eficacia sobre alumnos con bajo rendimiento que con aquellos que poseen un nivel de logro alto.

Otro de los motivos por los que es necesario el análisis multinivel es porque los datos que provienen de observaciones individuales no son siempre independientes. Los alumnos de un mismo centro tienden a parecerse entre ellos (por ejemplo, algunas escuelas atraerán principalmente a alumnos con un nivel socioeconómico elevado, mientras que otras agruparán a alumnos con un estatus socioeconómico bajo). El grado de homogeneidad de los contextos viene dado por la autocorrelación o correlación intraclase{1}. Las consecuencias de no tener en cuenta la autocorrelación son las siguientes (Gaviria, J.L. y Castro, M., 2005):

  1. La información obtenida a nivel individual no es tanta como parece, debido a que los alumnos de los mismos centros educativos tienden a parecerse entre ellos. Por lo tanto, la información que proporcionan los estudiantes de una mismo escuela es menor que la que suministran los alumnos de distintos centros.
  2. Los errores típicos son demasiado pequeños debido a que los tests estadísticos se basan en el supuesto de independencia de las observaciones. No obstante, en esta clase de estructuras poblacionales dicho supuesto no se cumple. Como consecuencia de ello es posible confirmar la existencia de resultados significativos cuando realmente son espúreos.
3. OBJETIVOS

El objetivo principal de este trabajo ha sido determinar un modelo explicativo del rendimiento académico, introduciendo predictores en los diferentes niveles de análisis para tratar de explicar la varianza en el logro de los alumnos. Además de conocer cuales son los factores que influyen de forma determinante en este logro. Los objetivos específicos serían los siguientes:

  1. Determinar que proporción de la varianza del rendimiento queda sin explicar en cada nivel de agregación.
  2. Determinar cual es el papel de la escuela en el logro académico una vez aislados los factores relacionados con el alumno y su entorno.
  3. Determinar un modelo final del rendimiento en matemáticas que incluya predictores relacionados con los alumnos y con la escuela.
4. DISEÑO DE LA INVESTIGACIÓN

4.1. Muestra

La selección de la muestra en el estudio PISA depende de varios factores, tales como la varianza estimada en el rendimiento entre e intra escuelas, el número de estratos derivados del diseño muestral y los métodos de selección de estudiantes empleados. En principio, la estimación básica inicial indica que serán necesarios un mínimo promedio de 150 escuelas y 4.500 alumnos para obtener estimaciones fiables globales de cada país. En cuanto a las unidades de muestreo se consideran las escuelas y los alumnos. El diseño muestral básico es bietápico seleccionándose, en primer lugar, una muestra de escuelas a partir de todas las que atiendan a alumnos de 15 años. La segunda etapa consiste en la selección de una muestra de estudiantes a partir de la lista completa de alumnos situados en esa edad.

La muestra seleccionada para este estudio se compone del total de alumnos evaluados en el estudio PISA 2003, una vez eliminados aquellos con valores perdidos. El número de estudiantes asciende a 10791, repartidos en 383 escuelas situadas a su vez en cuatro zonas geográficas (Castilla y León, Cataluña, País Vasco y, por último, los alumnos del resto del país). 
Los datos utilizados son de dominio público y se encuentran disponibles en la página web de PISA (http://pisaweb.acer.edu.au/oecd_2003/oecd_pisa_data_s1.html).

4.2. Metodología

Como se ha comentado anteriormente, la estructura de los datos en educación es anidada. Los alumnos se encuentran agrupados en aulas, que a su vez forman parte de un centro educativo determinado. Los modelos de regresión lineal no permiten tener en cuenta los efectos que pueden provocar sobre el resultado el modo en que los alumnos se asignan a lo centros o a las clases dentro de los centros. Por ejemplo, en determinados países, el contexto socioeconómico de un alumno puede determinar el tipo de centro al que asiste y, por tanto, la variación de ese contexto entre los alumnos del centro será muy poca. En otros países, los centros pueden seleccionar alumnos que proceden de diversos contextos socioeconómicos, pero dentro del centro este contexto es determinante a la hora de agrupar a los estudiantes en aulas, como resultado la varianza dentro del centro será muy alta (INECSE, 2006). Un modelo de regresión lineal que no tenga en cuenta la estructura jerárquica de los datos no diferenciará entre la varianza que es debida al alumno y aquella que es debida al centro.

Cuando las características de los alumnos son similares dentro de las escuelas, pero diferentes entre éstas, la utilización de técnicas de análisis tradicionales conlleva sesgos en los resultados, distorsionando los términos de error y, por tanto, la significativad de los parámetros estimados.

La regresión multinivel tiene en cuenta este carácter anidado de los datos dentro de unidades más amplias, calculando una ecuación diferente para cada nivel de agregación. De esta forma es posible diferenciar que parte del logro es explicado por el alumno y cuál es debida al centro educativo. Además es posible realizar inferencias a partir de variables que actúan en distintos niveles.

El modelo multinivel planteado inicialmente constaba de tres niveles de agregación: los alumnos (nivel 1), los centros (nivel 2) y las comunidades participantes (nivel 3). Pero, finalmente, el modelo incluye solo dos niveles, esto es debido a que la varianza en el tercer nivel no ha resultado significativa, es decir, no existen diferencias en el rendimiento en matemáticas entre las diferentes comunidades autónomas que participaron en el estudio PISA 2003.

El modelo general del rendimiento en matemáticas{2} quedaría establecido de la siguiente forma:

Para el nivel uno (alumno):

De esta forma el modelo general completamente aleatorio de dos niveles sería:

La parte sistemática o fija incluye todos los parámetros que definen la media del rendimiento de todos los alumnos.

La parte aleatoria muestra la estimación de la varianza en cada nivel de agregación, en este caso los alumnos (primer nivel) y los centros (segundo nivel), para cada parámetro incluido en la parte sistemática.

4.3. Variables implicadas en la investigacion

Las puntuaciones de los estudiantes en el estudio PISA 2003 vienen dadas mediante cinco valores plausibles. Estos valores plausibles pueden definirse como valores aleatorios calculados a partir de las distribuciones de las puntuaciones obtenidas por los alumnos. En lugar de estimar directamente el rendimiento de un alumno, se estima una distribución de probabilidad, es decir, en lugar de obtener una estimación puntual, se estima un abanico de valores posibles con una probabilidad asociada a cada uno. Los valores plausibles son por tanto selecciones aleatorias de esta distribución estimada del rendimiento para un alumno (INECSE, 2006).

La puntuación individual de un alumno también puede estimarse. Este valor se denomina estimador esperado a posteriori y puede definirse como la media de un conjunto infinito de valores plausibles para un alumno determinado (INECSE, 2006).

En este caso, para obtener la variable criterio, se ha calculado la media de los cinco valores plausibles de cada puntuación en matemáticas, incluidos en la base de datos de PISA 2003, para cada alumno. Se obtienen cinco medias diferentes que utilizaremos para el cálculo de la media final. Por lo tanto la variable dependiente quedaría definida de la siguiente forma:

Y (rdtomat) = rendimiento en matemáticas, resultado del cálculo de las medias de los diferentes valores plausibles de la competencia matemática.

La elección de la materia de matemáticas como variable criterio en este trabajo es consecuencia de la importancia que tiene en el currículum de Educación Secundaria. Esta materia tiene un gran peso específico junto con la materia de lengua. La competencia matemática es fundamental para el desarrollo de la vida cotidiana de un alumno. En una sociedad de la información, como es el caso de España, donde los medios de comunicación producen una gran cantidad de mensajes e información que deben ser interpretados y, por tanto, las matemáticas juegan un gran papel facilitador en la interpretación de esta información. Por estos motivos es relevante su evaluación.

Los predictores{3} que se han incluido en el estudio hacen referencia a aspectos que escapan al control de los alumnos, los centros y las políticas educativo (excepto las horas de estudio semanales dedicadas a matemáticas y la evaluación del profesorado). Han sido seleccionados por su comprobada relación con el rendimiento en investigaciones similares.

5. ANÁLISIS DE DATOS

Para la realización del análisis de datos se utilizará el programa de estimación de modelos multinivel MLWIN (Goldstein, 1993).

La estimación de un modelo jerárquico exige un análisis sistemático partiendo del modelo más simple posible. Este modelo se denomina modelo nulo o incondicional o vacío y no incluyen predictores en ninguno de los niveles, sólo estima la media global del rendimiento y la varianza que queda sin explicar en cada uno de los niveles de agregación. A partir de estos datos se puede calcular la parte de la variabilidad del rendimiento del alumno que es explicada mediante factores de la escuela, es decir, el coeficiente de correlación intraclase ρ.

El modelo nulo es la base de comparación del resto de modelos más complejos. El resto de modelos alternativos son variaciones de este modelo. Aceptar o rechazar un modelo posterior dependerá de sí ajusta significativamente mejor que el nulo. Para llevar a cabo esta comparación debemos utilizar la razón de verosimilitud de cada modelo, a este parámetro se le denomina Deviance. La diferencia entre los valores respectivos de la razón de verosimilitud de ambos modelos, se utiliza como prueba estadística con una distribución chi2, utilizando como grados de libertad la diferencia entre el número de parámetros añadidos en cada modelo.

Para comprobar la significación de los predictores introducidos en cada modelo basta con calcular el cociente entre el valor estimado del parámetro u su error típico.

El análisis se ha dividido en tres partes: en la primera se analiza el modelo nulo que no incluye predictores; en la segunda se introducen, uno a uno, los predictores de primer nivel, estimando los coeficientes y desestimando aquellos que no resulten significativos a un nivel de p<0’05; finalmente, en la tercera parte del análisis se incluirán los predictores de nivel dos y se procede a la realización del modelo multinivel definitivo.

5.1. Modelo Nulo

Tabla 1. Modelo Nulo

Efectos fijos

Coeficiente

Error Estándar

Media general γ00

492’788*

2’081

 

Efectos aleatorios

 

 

Nivel 1 ij

5319’522*

73’736

Nivel 2 Eμ0j

1454’569*

119’641

CCI

0’21

 

Deviance

124020

 

*Implica coeficientes significativos a p<0’05

La estimación de este modelo índica que existe varianza sin explicar en el rendimiento de los alumnos. Las escuelas explican un 21% de la varianza del rendimiento, el resto es debido a variables del alumno y su entorno. A la vista de estos resultados el análisis jerárquico es conveniente.

5.2. Modelo con predictores de primer nivel

En la tabla siguiente aparecen los diferentes modelos estimados con predictores de nivel uno. Quedan reflejados los coeficientes de cada parámetro incluido en la parte fija del modelo y su error típico. También aparece en la tabla la varianza de cada nivel de agregación, el coeficiente de correlación intraclase, la razón de verosimilitud (deviance) y el número de parámetros significativos incluidos en la parte fija y aleatoria.

Tabla 2. Modelo de rendimiento con predictores en el primer nivel

 

Modelo Nulo

Modelo 1

Modelo 2

Modelo 3

Modelo 4

Modelo 5

Modelo 6

Efectos fijos

 

 

 

 

 

 

 

Intercepto γ00

492’788* (2’081)

477’999* (2’817)

461’821* (3’098)

457’924* (3’246)

429’964* (3’007)

420`336* (2’898)

447’178* (3’537)

Sexo (chico)

 

10’159* (1’463)

10’153* (1’675)

10’154* (1’663)

10’715* (1’653)

10’553* (1’718)

11’074* (1’718)

estudpad

 

 

5’558* (0’435)

4’398* (0’456)

2’320* (0’441)

2’539* (0’392)

-1’857* (0’514)

estudmad

 

 

 

2’593* (0’523)

0’678 (0’501)

 

 

libros

 

 

 

 

18’899* (0’711)

19’007* (0’712)

15’492* (0’712)

inmig

 

 

 

 

 

-2’347 (2’428)

 

ses

 

 

 

 

 

 

16’031* (1’299)

 

 

 

 

 

 

 

 

Efectos aleatorios

 

 

 

 

 

 

 

Varianza entre alumnos Eij

5319’522* (73’736)

5244’820* (73’478)

5051’737* (75’311)

4984’458* (75’745)

4467’024* (68’576)

4553’603* (193’160)

4467’099* (67’988)

Varianza entre escuelas μqj

1454’569* (119’641)

1041’026* (130’218)

994’526* (149’354)

1079’617* (169’651)

1449’452* (219’597)

1332’5* (200’938)

835’267* (188’288)

CCI

0’21

0’17

0’16

0’18

0’24

0’23

0’16

Deviance

124020

123931

112227’5

110515

110345’6

108648

110165’5

Parámetros estimados

3

5

7

9

12

10

12

*Implica coeficientes significativos a p<0’05

El predictor horas2 también ha sido introducido en el modelo pero no ha resultado significativo, por tanto, no aparece reflejado en la tabla.

Una vez introducidos los predictores de primer nivel podemos concluir que el modelo alternativo número seis, que incluye cuatro variables en el nivel de los alumnos, ha conseguido reducir la varianza inexplicada en ambos niveles. Además, el modelo resulta significativo a p<0’05, la diferencia de la Deviance con el modelo anterior es de 1517’5, con dos grados de libertad siguiendo una distribución chi cuadrado, su probabilidad es aproximadamente cero.  La diferencia con el modelo nulo también resulta significativa a p<0’05, la resta de las Deviance es de 13854 con nueve grados de libertad sigue una distribución chi cuadrado, su probabilidad es cercana a cero.

El intercepto del modelo seis quedaría definido como el rendimiento de las chicas con padres sin estudios, con un número de libros en casa que oscila entre 0 y 10 y con un nivel socioeconómico y cultural medio. El rendimiento aumenta 11 puntos por ser chico. La variable de primer nivel que mayor diferencia produce en el rendimiento es el estatus socioeconómico y cultural (ses), aumentando en 16 puntos la media de los estudiantes por cada aumento de categoría. El número de libros que el alumno tiene en casa también produce un efecto diferencial importante en el rendimiento, aumentando en 15 puntos el rendimiento. Sin embargo, el nivel de estudios de la madre, el número de horas que dedica a estudiar en casa y la condición de inmigrante no resultan significativos.

Es necesario resaltar que el nivel de estudios del padre ejerce una influencia negativa en el rendimiento en aquellos alumnos con un estatus socioeconómico y cultural medio. Esta variable ha cambiado, de producir un efecto positivo a pasado a tener un efecto negativo sobre el logro al introducir el estatus socioeconómico, esto puede indicar que la relación entre estas variables no sea lineal.

5.3. Modelo con predictores de segundo nivel

Los predictores de nivel dos incluidos en la ecuación son el tamaño del centro, la evaluación del profesorado, la variable dummy referente a los centros privados y la variable dummy concerniente a los centros concertados. Debe recordarse que estos predictores sólo varían en la parte fija del modelo ya que no existe un nivel superior en el que puedan variar.

Una vez introducidos los predictores de segundo nivel podemos concluir que: el modelo final incluye cuatro variables en el nivel de los alumnos (sexo, estudios del padre, número de libros en casa y el estatus socioeconómico), más el intercepto y,  tres variables de nivel dos (centro privado, centro concertado y tamaño del centro).

Este modelo ha conseguido reducir la varianza inexplicada en ambos niveles, respecto al modelo nulo.  Los predictores han reducido la varianza inexplicada en el primer nivel en un 15% y en un 24% en el segundo nivel.

Además, el modelo resulta significativo a p<0’05, la diferencia de la razón de verosimilitud con el modelo anterior es de 6729’02, con un grado de libertad y siguiendo una distribución chi cuadrado, su probabilidad es aproximadamente cero.  La diferencia con el modelo nulo también resulta significativa a p<0’05, la resta de las Deviance es de 28178’22, con diez grados de libertad y siguiendo una distribución chi cuadrado, su probabilidad es cercana a cero.

Tabla 3. Modelo con predictores de primer y segundo nivel

 

Modelo 7

Modelo FINAL

Efectos fijos

Variables de nivel 1

 

Intercepto γ00

451’388* (3’826)

445’558 * (4’508)

Sexo (chico)

11’029* (1’770)

11’680 * (1’808)

estudpad

-2’048* (0’514)

-2’152*  (0’557)

estudmad

 

 

libros

15’318* (0’781)

15’380*  (0’801)

inmig

 

 

ses

15’877* (1’217)

15'960*  (1'337)

Horas2

 

 

 

 

 

Variables de nivel 2

 

 

Privado

17’794*  (6’417)

16’497*  (6’448)

Concerta

17’549*  (3’178)

14’991*  (3’375)

Evalprof

 

 

Nºalumno

 

0’011*  (0’004)

Efectos aleatorios

Varianza entre alumnos Eij

4509’900* (70’699)

4508’288*  (178’904)

Varianza entre escuelas μ0j

1140’427* (174’928)

1104’754*  (73’072)

CCI

0’20

0’20

Deviance

102570’8

95841’78

Parámetros estimados

12

13

El modelo final con todos los predictores que han resultado significativos y sus varianzas y covarianzas quedaría de la siguiente forma:

Ilustración 1. Modelo final del rendimiento en matemáticas

6.  CONCLUSIONES

En este apartado se va a contestar a los objetivos planteados con anterioridad, siguiendo el orden de formulación de los mismos.

El primer objetivo planteado fue determinar que proporción de la varianza del rendimiento queda sin explicar en cada nivel de agregación.

Con la estimación del modelo nulo se ha podido comprobar la varianza inexplicada en los dos niveles estudiados. Un 21% de la variación en el rendimiento se debe a factores de la escuela, mientras que el 79% restante es debido a factores del alumno y su background. En el modelo final la proporción de varianza sin explicar sigue repartida de forma muy similar. Sin embargo se ha reducido en un 15% entre los alumnos y en un 24% entre las escuelas. La varianza total ha quedado reducida en un 17% respecto al modelo nulo. Por lo tanto, los predictores introducidos explican un 17% de la varianza en el rendimiento en matemáticas de los alumnos.

En la tabla aparecen ordenados por su aportación al rendimiento los predictores que han resultado significativos en la ecuación de regresión, acompañados de su error típico.

Tabla 4. Predictores incluidos en el modelo final

Variables de nivel 1

 

ses

15'960*  (1'337)

libros

15’380*  (0’801)

Sexo (chico)

11’680* (1’808)

estudpad

-2’152*  (0’557)

inmig

 

estudmad

 

Horas2

 

 

 

Variables de nivel 2

 

Privado

16’497*  (6’448)

Concerta

14’991*  (3’375)

Nºalumno

0’011*  (0’004)

Evalprof

 

El objetivo número dos fue determinar el papel de la escuela en el logro académico una vez aislados los factores relacionados con el alumno y su entorno. Para ello debemos remitirnos al modelo número seis. En este modelo están incluidos predictores de nivel uno.

La varianza de nivel dos (escuelas) ha sido reducida en un 42% respecto a la del modelo nulo. El modelo número seis es el que tiene menor varianza inexplicada entre centros. De la misma forma, la aportación de la escuela al rendimiento también ha disminuido, si en el modelo nulo su aportación era de un 21%, en este último es de solo el 16%.

El tercer y último objetivo planteado ha sido la elaboración de un modelo final del rendimiento en matemáticas que incluya predictores relacionados con los alumnos y con la escuela. Es el siguiente:

El rendimiento en matemáticas de los alumnos que participaron en el estudio PISA 2003 está condicionado positivamente por diversos factores. Su rendimiento aumentará 16’5 puntos si acuden a centros privados, en cambio, aumentará 15 puntos si van a escuelas concertadas. Además, el género también afecta al logro en matemáticas, los chicos obtienen 11’7 puntos de media más que las chicas. El ses y el número de libros tienen una gran influencia en el rendimiento en matemáticas 16 y 15’4 puntos, respectivamente. Finalmente, el tamaño del centro también afecta al logro, aunque en menor medida (0’01puntos). No obstante, los estudios del padre tienen una influencia negativa cuando el estatus socioeconómico y cultural de los alumnos es medio. Las variables de evaluación del profesorado, estudios de la madre y el número de horas semanales dedicados a estudiar matemáticas no tienen una influencia significativa en el rendimiento.

Para finalizar este trabajo se ha llevado a cabo un análisis de los residuos  del rendimiento medio de de los centros educativos. Se ha elaborado un gráfico a partir de los residuos del intercepto y un ranking que muestra la diferencia de cada escuela respecto a su rendimiento esperado.

Gráfico 1. Residuos del intercepto ordenados y su intervalo de confianza

Este gráfico muestra los residuos de todas las escuelas, ordenados ascendentemente, con un intervalo de confianza del 99%. Aquellas cuyo intervalo de confianza se encuentra por encima del valor cero de la constante, son las están situadas por encima de su rendimiento predicho. Puede observarse que sólo el 15% aproximadamente se encuentra en esa situación, el resto de los centros educativos se encuentran situados por debajo de su rendimiento esperado.

En la siguiente tabla se muestran los residuos de algunas escuelas y la posición que ocuparían en el total de centros estudiados

Tabla 5. Residuos en el intercepto y posición de escuelas

RESIDUOS

ESCUELA

RANKING

55'917

200

26

-66'825

201

336

22'860

202

105

-31'822

203

269

-13'938

204

209

17'210

205

137

20'805

206

116

26'290

207

92

38'015

208

53

-15'077

209

211

37'708

210

54

-66'922

211

337

94'336

212

5

-51'365

213

311

38'431

214

52

-34'173

215

279

-39'209

216

292

24'252

217

99

-12'115

218

200

-61'197

219

329

-27'334

220

258

-36'982

221

288

-15'168

222

212

0.14515

223

182

60'796

224

22

55'917

225

23

En este ranking puede observarse la situación de algunas de las escuelas estudiadas en PISA. Los centros educativos 224 y 225 son algunos  de los ejemplos de escuelas que se encuentran por encima de la media esperada en rendimiento en matemáticas, ya que muestran un rendimiento diferencial de alrededor de 60 puntos respecto a aquellas que tienen las mismas características. La escuela que mayor rendimiento relativo tiene es la 212, con 94’336 puntos por encima de las escuelas con sus mismas características. Sin embargo, las escuela 211 es la que obtiene un peor rendimiento relativo con -66’922 puntos.

Con este trabajo se ha podido determinar la influencia de determinados predictores sobre el rendimiento, pero todavía queda mucha varianza por explicar entre alumno y entre escuelas. La mayor parte de las variables incluidas en el estudio están relacionadas con aspectos del background del alumno (ses, estudios del padre, número de libros en casa) y características relacionadas con la titularidad y el tamaño del centro. Sin embargo, quedan todavía muchos factores relacionados con los recursos de los centros, los aspectos didácticos, las actitudes frente al estudio de los estudiantes, etc. que pueden tener efectos sobre el logro académico.

Anexo 1: operativización de los predictores

Nivel 1 (alumno):

  1. Género del estudiante (sexo): se ha creado una variable dummy{4}
  2. chicas
  3. chicos.
  4. Estudios del padre{5} (Studpad): variable con seis valores desde 0, sin estudios, hasta 6, estudios de licenciatura.
CATEGORÍA

NIVEL

EQUIVALENCIA

0

Sin estudios

 

1

ISCED 1

Enseñanza primaria

2

ISCED 2

Primer ciclo secundaria o segundo ciclo de educación básica

3

ISCED 3B, ISCED 3C

Secundo ciclo de educación secundaria.

4

ISCED 3A, ISCED 4

Postsecundaria, no terciaria (ciclos formativos grado medio)

5

ISCED 5B

Primer ciclo de educación terciaria (ciclos formativos grado superior)

6

ISCED 5A, ISCED 6

Licenciaturas, Diplomaturas, Ingenierías y doctorado.

  1. Estudios de la madre (Studmad): variable con seis valores desde 0, sin estudios, hasta 6, estudios de licenciatura.
  2. Número de libros en casa (libros)
    1. 0-10 libros
    2. 11-25 libros
    3. 26-100 libros
    4. 101-200 libros
    5. 201-500 libros
    6. más de 500 libros
  3. Si el estudiante es inmigrante (inmig)
    1. Estudiante nativo.
    2. Primera generación (el estudiante ha nacido en España pero sus padres no)
    3. Estudiantes no nativos (nacieron fuera de España)
  4. Estatus socioeconómico y cultural (ses): variable tipificada, calculada a partir de las respuestas de los alumnos a las cuestiones planteadas sobre su entorno personal y familiar. En este estatus juega un papel importante el nivel de estudios de los padres, el estatus social de sus profesiones, los recursos educativos puestos a disposición de los alumnos y el número de libros en casa.
  5. horas de trabajo en casa dedicadas a matemáticas, a la semana (horas2)

Nivel dos (escuelas):

  1. Titularidad del centro de estudios (Titulari). Se han creado dos variables dummy{6}:
    1. Privado: 1. privado; 0. público y concertado.
    2. Concerta: 1. concertado; 0. público y privado.
  2. Evaluación del profesorado (evalprof). Variable que incluye 5 categorías:
    1. nunca
    2. De 1 a 2 veces al año
    3. De 3 a 5 veces al año
    4. Mensualmente.
    5. Más de una vez al mes.
  3. Tamaño del centro (Tamaño). Operativizado como el número de alumnos que tiene el centro educativo.

NIVEL

 

ISCED 1

Enseñanza Primaria, Primer Ciclo de la Educación Básica

ISCED 2

Primer Ciclo de Enseñanza Secundaria, Segundo Ciclo de Educación Básica

ISCED 3

Segundo Ciclo de Enseñanza Secundaria

ISCED 4

Enseñanza Postsecundaria, no Terciaria

ISCED 5

Primer Ciclo de la Educación Terciaria (no conduce directamente a una calificación de estudios avanzados). ISCED 5A, los estudios están orientados a la investigación, son de naturaleza teórica y están orientados a una capacitación profesional superior, donde en algunos casos culminan con la elaboración de proyectos final de carrera. ISCED 5B son de duración más corta, y están orientados a la profesión, pero no permiten el acceso a ciclos superiores de investigación sin una formación de postgrado.

ISCED 6

Segundo ciclo de la educación terciaria (conduce a una calificación avanzada)

 

Referencias bibliográficas

Bandeira, W. (2001). Factores caracterizadores de centros educativos eficaces. Bordón, 53 (2), pp. 175-183

Bryk, A. S Y Raudenbush, S. W. (1987). Application of hierarchical lineal models to assessing change. Psychological bulletin, 101 (1), pp. 147-158.

CIDE (1990). Hacia un modelo causal del rendimiento académico. Madrid: MEC.

Castejón, J.L. (1996). Determinantes del rendimiento académico de los estudiantes y de los centros educativos: modelos y factores. Alicante: Editorial Club Universitario.

Cervini, R. (2002). Desigualdades socioculturales en el aprendizaje de matemáticas y lengua de la educación secundaria en Argentina: un modelo de tres niveles. Revista Electrónica de Investigación y Evaluación Educativa, 8 (2), pp. 135-158.

Cervini, R. (2003a). Diferencias de resultados cognitivos y no-cognitivos entre estudiantes de escuelas públicas y privadas en la educación secundaria de Argentina: Un análisis multinivel. Education Policy Analysis Archives, 11 (5). http://epaa.asu.edu/epaa/v11n6

Cervini, R. (2003b). Relaciones entre composición estudiantil, proceso escolar y el logro en matemáticas en la educación secundaria en Argentina. Revista Electrónica de Investigación Educativa, 5 (1).

Cervini, R. (2004). Nivel y variación de la equidad en la educación media de Argentina. Revista Iberoamericana de Educación, 34 (4). http://www.campus-oei.org/revista/deloslectores/844Cervini.PDF

Cervini, R. (2005). Variación de la equidad en resultados cognitivos y no cognitivos de la educación media de Argentina. Revista Electrónica de Investigación Educativa, 7 (1).

Chatterji, M. (2005). Achievement gaps and correlates of early mathematics achievement: Evidence form the ECLS D-first grade sample. Education Policy Analysis Archives, 13 (46). http://epaa.asu.edu/epaa/v13n46

Coleman, J.S. et al. (1966). Equality of educational opportunity. Washington: US Government Printing Office.

Delparto, M. (1999). Determinantes del rendimiento educativo del nivel primario aplicando la técnica de análisis multinivel. Córdoba: IERA.

Fernández, T. y Blanco, E. (2004). ¿Cuánto importa la escuela? El caso de México en el contexto de América Latina. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2 (1). http://www.ice.deusto.es/rinace/reice/vol2n1/FernandezyBlanco.pdf

Gaviria, J.L., Martínez-Arias, R. y Castro, M. (2004). Un Estudio Multinivel Sobre los Factores de Eficacia Escolar en Países en desarrollo: El Caso de los Recursos en Brasil. Education Policy Analysis Archives, 12 (20). Retrieved from http://epaa.asu.edu/epaa/v12n20

Gaviria, J.L. (2004). La situación española: el rendimiento de los estudiantes. En Haug, G., Gaviria, J.L., Lomas, C, de Prada, M.D. y Gil, D.,  el rendimiento de los estudiantes al final de la educación obligatoria: objetivos europeos y situación española. Madrid: Santillana.

Gaviria, J.L. y Castro, M. (2005). Modelos jerárquicos lineales. Madrid: La Muralla.

Gentili, P. (2004). Factores Predictivos del Rendimiento Escolar, Deserción e Ingreso en Educación Secundaria en una Muestra de Estudiantes de Zonas Rurales del Perú. Education Policy Analysis Archives, 12 (35). http://epaa.asu.edu/epaa/v12n35

Goldstein, J. (1995). Multilevel Statistical Models. Londres: Edward Arnold.
Hox, J.J. (1995). Applied Multilevel Analysis. Amsterdam: TT- Publikaties.

INECSE (1998). Instrumentos para el diagnóstico del sistema educativo español. Madrid: MEC.

INECSE (1998b). Diagnóstico general del sistema educativo. Avance de resultados. Madrid: MEC.

INECSE (2000). Evaluación de la educación secundaria obligatoria. Datos básicos. Madrid: MEC.

INECSE (2002c). Conocimientos y destrezas para la vida. Primeros resultados del proyecto PISA 20. Madrid: MEC.

INECSE (2004) Evaluación PISA 2003. Resumen de los resultados en España. Madrid: MEC.

INECSE (2004b). Aprender para el mundo del mañana. Resumen de resultados PISA 2003.

INECSE (2004c). Marcos teóricos de PISA 2003. Conocimientos y destrezas en Matemáticas, Lectura, Ciencias y Resolución de Problema. Madrid: MEC.

INECSE (2006). Manual de análisis de datos de PISA 2003: usuarios de SPSS. Madrid: MEC.

Murillo, J. (1999). Los modelos jerárquicos lineales aplicados a la investigación sobre eficacia escolar. Revista de Investigación Educativa, 17 (2), pp. 453-460.

Piñeros, L.J. y Rodríguez, A. (1998). Los Insumos Escolares en la Educación Secundaria y su Efecto Sobre el Rendimiento Académico de los Estudiantes: Un estudio en Colombia. Human Development Department LCSHD paper series nº36.

Raudenbush, S.W. y Douglas Willms, J. (1995). The estimation of school effects. Journal of Educational and Behavioural Statistics, 20 (4), pp. 307-335.

Raudenbush, S.W. y Bryk, A.S. (2002). Hierarchical Linear Models- Applications and Data Analysis Methods. Londres : Sage.

Schiebelbein, E., Vélez, E., y Valenzuela, J. (1994). Factores que afectan el rendimiento académico en la educación primaria. Revista Latinoamericana de Innovaciones Educativas, VI (17).

Theule, S. (2006). Examining Instruction, Achievement, And Equity with NAEP Mathematics Data. Education Policy Analysis Archives, 14 (14). http://epaa.asu.edu/epaa/v14n14

Thum, Y.M. (2003a). No child left behind: Methodological challenges & recommendations for measuring adequate yearly progress. California: University of California.

 

 

{1} La autocorrelación (ρ) representa una medida de homogeneidad interna de los grupos, estableciendo la similitud entre las unidades de nivel individual y la diferencia entre las unidades de nivel superior. (Gaviria, J.L y Castro, M., 2005).  

{2} Para el nombrar del modelo se ha utilizado la nomenclatura desarrollada en MlwiN (Goldstein, 1993)

{3} La operativización de los predictores se encuentra especificada al final del texto.

{4} Se ha realizado una codificación de contraste.

{5} Se ha realizado una codificación de contraste, es decir, se crean n-1 variables, siendo n el número de categorías de la variable original.

{6} PISA utiliza el ISCED o International Standard Classification of Education (ISCED97) para determinar los diferentes niveles de estudios. La clasificación que se emplea es la siguiente:

 

Recibido: 22 de enero de 2007
Aceptado: 16 de mayo de 2007