de Evaluación Educativa
Dar cuenta del trayecto recorrido y compartir con los lectores algunos de los principales hitos, estadísticas y avances de la Revista Iberoamericana de Evaluación Educativa (RIEE), son los ejes de la memoria de la revista que inauguramos con el presente texto. La juventud de ella, las múltiples tareas y desafíos de su puesta en marcha, nos han mostrado la conveniencia de esperar cumplir tres años para entregar su primer recuento. En lo sucesivo, el primer número de cada año incluirá la memoria del año anterior, en donde se revisarán entre otros tópicos, la cantidad y características de lo publicado, se explicitarán las acciones y estrategias para su mejoramiento y mayor difusión, así como logros y desafíos del proceso de edición y evaluación de los artículos.
De esta forma, y por ser la primera, se incluye una breve reseña sobre su origen, expectativas y principales objetivos. Sirva este marco también, para estimar y juzgar su evolución en el tiempo, así como sus aportes y pendientes al acceso y difusión del conocimiento respecto de la práctica evaluativa en el campo y escenario educativo iberoamericano.
1. RESEÑA HISTÓRICA
La Revista Iberoamericana de Evaluación Educativa es una publicación periódica de carácter científico, editada por la Red Iberoamericana de Investigación sobre Cambio y Eficacia Escolar (RINACE). Nace en mayo de 2008 con el propósito de difundir los resultados de evaluaciones inéditas y el desafío de constituirse en un espacio para el encuentro, el debate y difusión de la evaluación desarrollada en el campo educativo de Iberoamérica. Desde allí, busca contribuir a mejorar la calidad y eficacia de la educación, así como a una mayor justicia y equidad en su distribución.
De esta forma, asume la tarea de reunir en una revista especializada la vasta producción de estudios y experiencias de evaluación en educación, realizadas desde los estados, organismos internacionales, institutos y centros de investigación, unidades de medición de la calidad y universidades, entre otras entidades, que han acompañado los procesos de cambios y reformas en la región.
La revista tiene una periodicidad semestral y se publica los meses de mayo y noviembre de cada año. Se consideran artículos inéditos que estén referidos a la evaluación en el ámbito de la Educación Inicial y Pre-escolar; Primaria; Secundaria, tanto académica como técnica, y Educación Superior universitaria y no universitaria, desde cualquier aproximación metodológica y campo disciplinario. Ello incluye, entre otros tópicos, experiencias concretas de evaluación en el aula; evaluación de los aprendizajes y los desempeños escolares; evaluación de docentes universitarios y no universitarios; evaluación de universidades y de escuelas; evaluación de directivos y de la supervisión; evaluación de programas y reformas educativas; y evaluación de las administraciones educativas y de los sistemas educativos. Junto con ello, se consideran reflexiones teóricas sobre la temática de la evaluación educativa, así como revisiones y análisis de la literatura sobre evaluación en dicho campo. RIEE publica también comentarios y debates sobre libros referidos al ámbito de la evaluación. De esta forma, la revista publica:
- Estudios e investigaciones. Corresponden a exploraciones y análisis sobre problemas y aspectos de la realidad educativa, sustentadas teóricamente y que implican un aporte/avance en la comprensión del fenómeno en estudio mediante la práctica y el análisis evaluativo. Se incluyen acá estados del arte, sistematización de evaluaciones, revisiones analíticas del debate conceptual en cuestión, monografías y tesis.
- Ensayos e informes. Interpretación, reflexiones y descripciones sobre problemáticas referidas a la evaluación en el campo educativo.
- Experiencias/intervenciones. Evaluaciones y sistematización de experiencias evaluativas cuya finalidad es la transformación o innovación educativa.
- Recensiones de libros. Junto con la recepción espontánea de comentarios a libros del campo de la evaluación en educación, el consejo editorial de la revista puede invitar directamente a algún experto a comentar alguna publicación que aparezca especialmente relevante para la revista y sus lectores.
Se busca así, reunir y poner a disposición de la comunidad de investigadores, académicos, autoridades políticas y técnicas, los aportes y evidencias que han surgido y emergen desde el análisis y juicio evaluativo, para desde allí alimentar la comprensión del fenómeno educativo y la acción que ha de seguirse en consecuencia, para su avance y mejora.
Somos fervientes defensores de una práctica de evaluación que ha de aprovechar su enorme potencial para mejorar la educación en todo nivel o contexto. La evaluación integra y hace posible dialogar, como pocos procesos investigativos, la voz y expectativas de los sujetos, con la acción y práctica de actores y comunidades. Hace comprensible los efectos y resultados, iluminando los caminos y procesos recorridos desde los contextos, la cultura y subjetividad de las personas y colectivos sociales implicados. Dicha riqueza, junto con la gran diversidad de enfoques y estrategias metodológicas, hacen de esta práctica analítica un aliado fundamental en el conocimiento y sustento hacia sistemas educativos de calidad en y para sociedades más justas e inclusivas.
Poner en marcha una nueva publicación científica supone dar un paso más en esa dirección. Con esos desafíos surge esta revista: ser un medio de difusión de alta calidad, plural y diverso, referente en el campo de la evaluación educativa y con un carácter internacional claramente iberoamericano. Su carácter público y gratuito, su riguroso sistema y proceso editorial, la doble evaluación ciega por pares de los artículos recibidos, el reconocimiento y prestigio de los miembros de los comités directivo y científico, así como de sus revisores externos, son aval y garantía de lo anterior.
2. FORMATO Y ACCESIBILIDAD
La revista se publica exclusivamente en formato electrónico y sin restricciones de acceso, lo que permite su universal y permanente disponibilidad. Cada número ordinario cuenta con una sección temática coordinada por un editor invitado externo y, un conjunto de artículos libres, siempre en el marco de la evaluación educativa. Se publican también números extraordinarios, referidos a temáticas o eventos especiales, tales como aportaciones de seminarios o congreso dedicados a algún campo o área de la evaluación en educación.
Todos sus números- ordinarios y extraordinarios-, así como los artículos publicados en ellos están disponibles en formato HTLM y PDF, pudiendo acceder y bajarlos de manera individual, o bien la revista completa.
La página de la revista cuenta también con distintos apartados que entregan información y orientación a los lectores y potenciales autores:
- Presentación. Comparte los objetivos, características y estructura de dirección y coordinación de la revista, así como sus principales criterios de recepción y selección de colaboraciones.
- Consejo Editorial. Se identifican allí los directores de la revista, así como el total de miembros de sus consejos editorial, directivo y científico, identificando la institución y país al que pertenecen.
- Próximos Números: ofrece las fechas, focos temáticos y coordinador invitado de los próximos números, incluyendo un texto que convoca y enmarca el envío de aportaciones en cada uno de ellos.
- Enviar Aportación. Entrega a los autores las normas y requisitos de publicación de la revista, así como los criterios y protocolo para la evaluación a que se someten todos los artículos que postulan. Los autores encuentran aquí el tipo de escrito/aportación que se recibe, orientación para la estructura, formato y extensión de los mismos. Se informa también del proceso de doble evaluación ciega al que serán sometidos los artículos recibidos y de los criterios que orientan dicha evaluación. Se entrega y comparte el protocolo que deben llenar los revisores externos para dar cuenta de su valoración, sugerencias y comentarios al artículo evaluado por ellos.
- Indexaciones. En este apartado seidentifica las bases de datos en las cuales la revista está incluida.
- Revisores Externos. Se identifican el total de personadas que han actuado como evaluadores externos de los artículos recibidos en los distintos años de la revista.
3. ARTÍCULOS RECIBIDOS Y PUBLICADOS ENTRE 2008 AL 2010
Durante los tres primeros años de la revista se recibió un total de 128 artículos. El 77,3% fue finalmente publicado, mientras que un 19,5% fue rechazado por distintas razones (tabla1). La mayor parte producto del dictamen de los jueces durante el proceso de doble evaluación ciega a que todos ellos fueron sometidos. Los años 2008 y 2010 se publicaron tres números de la revista: los dos ordinarios correspondiente al primer y segundo semestre del año en curso y un tercero extraordinario con artículos a partir de las ponencias y presentaciones de dos seminarios internacionales referidos a la evaluación de la docencia universitaria y no universitaria. Ese tercer número explica el mayor volumen de artículos publicados en dichos años, en comparación al 2009.
Es posible apreciar un aumento en el porcentaje de rechazo de artículos desde el 2008, lo que sin duda se explica por el mayor número de artículos pedidos directamente a reconocidos autores desde la editorial y, que estructuraron los primeros números de la revista (tabla 1).
Tabla 1. Evolución del número de artículos recibidos, rechazados y publicados
Situación |
2008 |
2009 |
2010 |
TOTAL |
Recibidos |
40 |
34 |
54 |
128 |
Rechazados |
5 |
6 |
14 |
25 |
Publicados |
35 |
24 |
40 |
99 |
El número de artículos publicados en cada número ha variado entre los 12 y 13 en promedio por año, cifra que se espera aumentar dado que el formato de su publicación así lo permite.
3.1 Tipo de artículos
Un 45% de los artículos publicados durante los tres primeros años de la revista, correspondieron a estudios e investigaciones. Un 32% de ellos a intervenciones o experiencias de innovación, mientras que el 23% restante a ensayos o informes descriptivos (gráfico 1). De esta forma, la mayoría de lo publicado corresponde a investigaciones y estudios, lo que está en total consonancia con los propósitos y naturaleza de la Revista.
Gráfico 1.
Distribución de los artículos publicados en RIEE según su tipo
El porcentaje de resultados y hallazgos de investigaciones y estudios estuvo entre un 40% y un 54% en cada año informado, mientras que los artículos referidos a experiencias o intervenciones concretas se movieron entre un 30% y un 35% del total publicado por año. Los ensayos e informes, representaron cifras entre el 17% y el 29% de los artículos publicados en dichos años (tabla 2).
Tabla 2. Evolución del número artículos publicados según su tipo
| Tipo | 2008 |
2009 |
2010 |
TOTAL |
Investigación |
14 |
13 |
17 |
44 |
Ensayos/informes |
10 |
4 |
9 |
23 |
Intervenciones/experiencias |
11 |
7 |
14 |
32 |
Total Artículos Publicados |
35 |
24 |
40 |
99 |
3.2 Origen de los artículos
Un 79% del total de artículos publicados en los tres primeros años, corresponden a postulaciones espontáneas llegadas a la editorial de la revista para ser consideradas. Así, un 21% de lo publicado en dicho período, fue recibido producto de una invitación directa a reconocidos autores desde la editorial de la revista (gráfico 2).
Gráfico 2.
Distribución de los artículos publicados en RIEE según su origen
Tal como era de esperar, el porcentaje de artículos pedidos directamente ha ido disminuyendo en el tiempo. De un 31% en el primer año (2008) al 12,5% en el año 2010 (tabla 3).
Tabla 3.
Evolución del número de artículos publicados según su origen:
solicitados o no solicitados
| Origen artículos | 2008 |
2009 |
2010 |
TOTAL |
Pedidos Directamente |
11 |
5 |
5 |
21 |
Recibidos/espontáneos |
24 |
19 |
35 |
78 |
TOTAL |
35 |
24 |
40 |
99 |
3.3 Externalidad de los autores
Un 79% de los artículos publicados en los primeros tres años es de autores externos a la revista. Esto es, ellos no pertenecen a la editorial ni dirección de la revista, como tampoco a su comité científico (gráfico 3)
Gráfico 3.
Distribución de los artículos publicados en RIEE según la relación
de los autores con la Revista
La proporción de autores ligados a la revista ha ido disminuyendo con los años. Así, mientras que en el 2008, el 31,4% de los autores no era externo a la RIIE, en el 2010 sólo el 17,5% de lo publicado fue de autores relacionados a la revista (tabla 4)
Tabla 4. Evolución del número de artículos según la relación con los autores con la RIEE
| Relación autores- RIEE | 2008 |
2009 |
2010 |
TOTAL |
Ligados a RIEE |
11 |
3 |
7 |
21 |
Externos |
24 |
21 |
33 |
78 |
Total |
35 |
24 |
40 |
99 |
3.4 Distribución geográfica
Si atendemos a la nacionalidad del primer autor de los artículos publicados (tabla 5), se puede observar, en primer término, la importante internacionalización de la Revista y su distribución geográfica en una gran parte de los países de Iberoamérica, junto con Estados Unidos y Nueva Zelanda.
Sin embargo, también se observa una fuerte concentración de artículos procedentes de cuatro países Chile, México, Argentina y España, que en total suponen más del 70% de los publicados. Este tendencia, no sólo se mantiene en el tiempo, sino que incluso se refuerza (68,6% en 2008, 70,8% en 2009 y 75% en 2010), y supone uno de los mayores retos de RIEE.
Tabla 5. Evolución del número de artículos por país de origen del primer autor
| Nacionalidad Autores (primer autor) |
2008 |
2009 |
2010 |
Total |
Argentina |
4 |
2 |
4 |
10 |
Brasil |
2 |
3 |
1 |
6 |
Chile |
11 |
4 |
11 |
26 |
Colombia |
1 |
1 |
2 |
4 |
Cuba |
2 |
0 |
0 |
2 |
España |
4 |
3 |
3 |
10 |
Honduras |
0 |
0 |
1 |
1 |
México |
5 |
8 |
12 |
25 |
Nueva Zelanda |
0 |
0 |
1 |
1 |
Paraguay |
0 |
1 |
0 |
1 |
Perú |
1 |
0 |
1 |
2 |
Portugal |
0 |
1 |
1 |
2 |
Uruguay |
2 |
0 |
2 |
4 |
USA |
1 |
0 |
1 |
2 |
Venezuela |
2 |
1 |
0 |
3 |
Total artículos publicados |
35 |
24 |
40 |
99 |
3.5 Filiación institucional de los autores
Por último, al considerar la procedencia institucional del primer autor de los artículos publicados (gráfico 4), se puede observar una interesante presencia de universidades, organismos internacionales, centros e institutos de investigación, ministerios de educación y sistemas o unidades de medición/evaluación de la calidad, ONG’s y centros educativos, entre otros. De esta forma, la RIEE avanza en la dirección correcta para llegar a constituirse efectivamente en un foro o espacio de encuentro para la discusión y debate entre académicos, investigadores y autoridades políticas y técnicas, tanto estatales, como de la sociedad civil.
Como era de esperarse, son las universidades quienes acogen a la gran mayoría de los investigadores/autores de la RIEE en estos 3 años de vida. Así, un 63% de quienes han publicado algún artículo en dicha revista, pertenecen a alguna universidad iberoamericana (privada o pública). Le sigue el 18% de investigadores que se desarrollan profesionalmente en ministerios de educación o alguno de los sistemas o unidades de medición de la calidad educativa en los distintos países. Mantener, diversificar y equilibrar esta rica presencia, es también uno de los retos de la RIEE.
Gráfico 4. Distribución de los artículos publicados en RIEE según filiación
institucional del primer autor
4. DESAFÍOS FUTUROS
La experiencia de estos tres primeros años nos ha permitido identificar distintos elementos y procedimiento que ponen en riesgo la calidad y permanencia de la revista en el tiempo y, que por ello, se han de atender oportuna y prioritariamente. Así por ejemplo, fue necesario optimizar y extender el tiempo que mediaba entre la recepción de los artículos y los procesos de evaluación y dictamen externo sobre ellos, así como de revisión, ajuste y modificación por parte de los autores. De esta forma y, aunque los artículos se reciben durante todo el año, la postulación para un determinado número ha de hacerse al menos tres meses antes de la fecha de su publicación. Se ha acompañado también y de mejor manera, el trabajo de los revisores externos, a fin de homologar criterios y acortar los tiempos implicados en los dictámenes solicitados. La revista cuenta así con un mayor número de revisores externos y con un protocolo de evaluación que explicita los criterios y procedimientos implicados en la revisión/evaluación de los artículos. Dicho protocolo está disponible en la página de la revista para ser consultada por todos los autores.
Por otra parte, se hizo evidente la conveniencia de anunciar e invitar, con al menos 1 año de anticipación, las secciones temáticas a incluir en los próximos números. Ello para permitir la adecuada preparación de los artículos y contar con más tiempo para los procesos de revisión, dictámenes y modificaciones ya señalados. Actualmente la revista anuncia las secciones temáticas de todos sus números ordinarios, hasta el 2014.
Se han mejorado también, los procedimientos referidos a asegurar la originalidad y solicitar la cesión de derechos sobre los artículos publicados. Actualmente y, junto con recibir el resultado del dictamen, se solicita a los autores que no han sido rechazados, firmar las cartas compromisos de originalidad y cesión de derechos, junto con la aceptación del dictamen y el envío del texto definitivo.
Entre los próximos desafíos se encuentran:
- Aumentar el volumen de trabajos de calidad publicados. Es nuestra intención incrementar el número de artículos de la revista, sin por ello bajar la calidad de estos. Lo anterior supone mejorar la difusión e indexación de la revista, a fin de contar con un mayor número de investigadores y autores, que se interesen en publicar en este medio.
- Ampliar la representación geográfica de los autores. En total sintonía con lo anterior, se trabajará para ampliar la convocatoria y llegar a más autores en todos los países iberoamericanos. La actual concentración de lo publicado en autores de unos pocos países, se percibe como una importante limitante de la RIEE, en su afán y desafío de convertirse en fuente indispensable de consulta y referente en el campo de la evaluación educativa para Iberoamérica.
- Cuidar y mantener la exigencia y rigurosidad del proceso de revisión externa. Ciertamente la calidad de una revista será siempre reflejo y expresión de la calidad de los artículos que la estructuran en cada uno de sus números. De esta forma, junto con mejorar su convocatoria, la revista ha de asegurar un proceso de revisión y dictamen riguroso y exigente, a la vez que justo y propositivo. El poder contar con un mayor listado de evaluadores revisores externos expertos, es requisito para lo anterior al igual, que debatir y consensuar con ellos las prioridades y criterios para la aceptación y publicación de artículos.
- Mejorar los tiempos de revisión, dictamen y modificación de los artículos. Tal como ha sido mencionado, es ineludible poder dar un tiempo razonable para que los autores modifiquen sus artículos siguiendo las orientaciones y comentarios de los dictaminadores. Esto es especialmente crítico en el caso de discrepancias entre los dos jueces revisores, situación que implica el envío a un tercero para dirimir al respecto. Actualmente aquellos artículos que son recibidos en la fecha límite para su eventual publicación en el siguiente número de la revista, cuentan solamente con 3 meses para todo el proceso de revisión, dictamen, modificación y edición texto final. Dichos artículos hoy representan cerca del 80% de las aportaciones recibidas.
- Mejorar los procesos y tiempos de edición de los textos definitivos y revisión/aceptación pruebas finales por autores. Es prioritario poder mejorar la coordinación entre la edición y aceptación de la versión definitiva por los autores. Así, una vez que los autores envían la versión modificada según los dictámenes recibidos, se les ha de devolver la versión editada de acuerdo a los formatos y criterios editoriales, para que ellos la revisen y avalen en sus contenidos y estructura.
- Mantener la participación de un coordinador externo en cada número. La posibilidad de contar con un investigador externo y experto que asuma la coordinación de las distintas secciones temáticas de la revista, es sin duda alguna, garantía de una mayor convocatoria, pertinencia y relevancia del número en cuestión. Es interés de la revista, mejorar los procesos de identificación e invitación de coordinadores externos, a la vez que promover postulaciones espontáneas para tales fines.
- Motivar y promover las recensiones de libros. Es del todo evidente la necesidad de aumentar la publicación de recensiones de libros. Al menos se debería incluir una en cada número. Este será un tema a trabajar directamente con el comité directivo y científico a fin de estructurar a la brevedad, un listado amplio y diverso de libros del campo de la evaluación educativa, interesantes de comentar para, posteriormente, proponer nombres posibles para ello.
- Indexación de la revista en nuevas bases de datos. El cumplir ya tres años de publicación ininterrumpida, hace del todo posible y urgente mejorar la indexación de la revista en reconocidas bases de datos internacionales.
- Memoria Anual e índice bibliográfico. A partir del próximo año (2012), se publicará en el primer número de cada año la memoria del año anterior, incorporando el índice bibliográfico correspondiente a cada número publicado, según criterios y normas de la American Psychological Association, APA.
- Búsqueda avanzada. A medida que pasan los años y se incrementan los números publicados, se hace indispensable incorporar búsquedas más avanzadas que permitan un mejor acceso a los distintos números y artículos, sin tener que revisarlos de manera individual. La incorporación de motores más potentes, así como la inclusión de índices bibliográficos, aportan en esa dirección.
A través de estas y otras acciones que surjan de la práctica y necesidades propias de la revista y sus prioridades, se esperan importantes logros referidos a la calidad y volumen de lo publicado, su difusión y representatividad iberoamericana, así como para garantizar su permanencia en el tiempo. Contar y mantener un medio especializado para conocer qué se hace desde la evaluación en educación y/o debatir respecto de sus aportes y hallazgos para la política, las escuelas o los sistemas, sigue siendo indispensable no sólo mejorar la calidad educativa en Iberoamérica, sino también para denunciar y visibilizar las brechas e injusticias sociales que atentan y se oponen a que tal calidad sea una realidad para todos, en todos los países y contextos.
