1. INTRODUÇÃO

Data for 2005
Sources: MEC/INEP, Censo Escolar – 2006; MEC/INEP, Sinópse da Educação Superior – 2005.

Dada a situação geral de resultados fracos no ensino fundamental e médio junto com um grau relativamente alto de experiência na área de avaliação educacional, seria razoável esperar a implementação de políticas de responsabilização escolar baseadas em medidas de desempenho de alunos naqueles níveis de governo em que existe responsabilidade pelo fornecimento da educação básica. No Brasil isso significaria o crescimento de políticas de responsabilização dentro dos sistemas estaduais e municipais de educação, em vez de ser um componente da política educacional do governo federal,  e uma diversidade de políticas para refletir as diferentes condições das secretarias locais de educação.

Essa expectativa deriva da história recente da responsabilização no Reino Unido e nos EUA. Nesses países a crença de que os padrões educacionais estavam sob ameaça trouxe a educação para o topo da agenda política e levou os governos a demandarem maior responsabilidade de suas escolas (Jones, 1989; West e Peterson, 2003; Gillard, 2004). Essa expectativa também reconhece a pronta transmissão de idéias e políticas educacionais através das fronteiras nacionais como resultado da influência das agências internacionais e da crescente circulação de informações sobre políticas públicas.

No entanto, o que nós observamos é que há poucos exemplos de políticas formais de responsabilização no Brasil, e das que apareceram, algumas já foram abandonadas e todas as outras passaram por grandes modificações desde suas primeiras aparições.

Não há nenhuma coleta centralizada de dados sobre as políticas educacionais dos  estados ou municípios no Brasil. Não se vê isto como papel do Ministério ou do Conselho de Secretarios Estaduais de Educação (o equivalente do Council of Chief State School Officers) e nem da União de Dirigentes Municipais de Educação. Esse é um exemplo da considerável autonomia dos governos estaduais e municipais, fundada em princípios federativos relacionados à não-interferência em assuntos pertinentes a outras esferas do governo, o que até recentemente dificultava a coordenação da política pública educacional (Brooke, 1992).

A informação disponível indica que políticas de responsabilização já existiram ou ainda estão em uso nos sistemas estaduais de Rio de Janeiro, São Paulo, Ceará e Paraná, e também nos sistemas municipais de Sobral e Belo Horizonte. Entre elas, as do Rio de Janeiro, São Paulo, Ceará e Sobral podem ser consideradas sistemas high stakes (com muito em jogo, oferecendo bônus salariais ou prêmios monetários, enquanto que os casos do Paraná e do município de Belo Horizonte são sistemas low stakes (com pouco em jogo), de boletins, envolvendo a publicação e disseminação de indicadores de desempenho, sem conseqüências materiais explicitas para a equipe da escola.

O estudo se propõe a salientar os detalhes proeminentes de cada sistema de responsabilização para determinar se a responsabilização encontrou resistência e, em caso positivo, explicar o que impediu tanto a implementação como a subseqüente manutenção das políticas de responsabilização no Brasil. Qualquer evidência do possível impacto das políticas existentes também será apresentada.

Dada a situação geral de resultados fracos no ensino fundamental e médio junto com um grau relativamente alto de experiência na área de avaliação educacional, seria razoável esperar a implementação de políticas de responsabilização escolar baseadas em medidas de desempenho de alunos naqueles níveis de governo em que existe responsabilidade pelo fornecimento da educação básica. No Brasil isso significaria o crescimento de políticas de responsabilização dentro dos sistemas estaduais e municipais de educação, em vez de ser um componente da política educacional do governo federal,  e uma diversidade de políticas para refletir as diferentes condições das secretarias locais de educação.

Essa expectativa deriva da história recente da responsabilização no Reino Unido e nos EUA. Nesses países a crença de que os padrões educacionais estavam sob ameaça trouxe a educação para o topo da agenda política e levou os governos a demandarem maior responsabilidade de suas escolas (Jones, 1989; West e Peterson, 2003; Gillard, 2004). Essa expectativa também reconhece a pronta transmissão de idéias e políticas educacionais através das fronteiras nacionais como resultado da influência das agências internacionais e da crescente circulação de informações sobre políticas públicas.

No entanto, o que nós observamos é que há poucos exemplos de políticas formais de responsabilização no Brasil, e das que apareceram, algumas já foram abandonadas e todas as outras passaram por grandes modificações desde suas primeiras aparições.

Não há nenhuma coleta centralizada de dados sobre as políticas educacionais dos  estados ou municípios no Brasil. Não se vê isto como papel do Ministério ou do Conselho de Secretarios Estaduais de Educação (o equivalente do Council of Chief State School Officers) e nem da União de Dirigentes Municipais de Educação. Esse é um exemplo da considerável autonomia dos governos estaduais e municipais, fundada em princípios federativos relacionados à não-interferência em assuntos pertinentes a outras esferas do governo, o que até recentemente dificultava a coordenação da política pública educacional (Brooke, 1992).

A informação disponível indica que políticas de responsabilização já existiram ou ainda estão em uso nos sistemas estaduais de Rio de Janeiro, São Paulo, Ceará e Paraná, e também nos sistemas municipais de Sobral e Belo Horizonte. Entre elas, as do Rio de Janeiro, São Paulo, Ceará e Sobral podem ser consideradas sistemas high stakes (com muito em jogo, oferecendo bônus salariais ou prêmios monetários, enquanto que os casos do Paraná e do município de Belo Horizonte são sistemas low stakes (com pouco em jogo), de boletins, envolvendo a publicação e disseminação de indicadores de desempenho, sem conseqüências materiais explicitas para a equipe da escola.

O estudo se propõe a salientar os detalhes proeminentes de cada sistema de responsabilização para determinar se a responsabilização encontrou resistência e, em caso positivo, explicar o que impediu tanto a implementação como a subseqüente manutenção das políticas de responsabilização no Brasil. Qualquer evidência do possível impacto das políticas existentes também será apresentada.

2. MÉTODOS

Os dados dos casos incluídos nesse estudo foram retirados de três fontes. Em primeiro lugar, de correspondência de caráter pessoal com os responsáveis pela gestão das políticas estaduais e municipais; em segundo lugar, de informações apresentadas em seminários ou disponíveis na internet; e, por fim, das raras publicações produzidas seja para as escolas participantes de programas de responsabilização ou por funcionários governamentais como registros de suas atividades. Os dados coletados através de correspondências foram obtidos por uma espécie de amostragem tipo bola de neve, na qual me baseei em referências de contatos iniciais para gerar novos informantes. Ao resumir e analisar essa informação, faço uso de minha própria experiência e observações como membro da Faculdade de Educação da Universidade Federal de Minas Gerais e, por nove anos,  como responsável pelo Programa de Educação da Fundação Ford no Rio de Janeiro. Não obstante a busca por informação secundária ter sido razoavelmente rigorosa, essa investigação não pretende ser exaustiva. A breve história de cada programa de responsabilização, baseada em suas características mais proeminentes, é qualitativa e projetada para ser muito mais uma descrição preliminar do que um resumo estruturado dos elementos comuns.

3. PROGRAMAS DE RESPONSABILIZAÇÃO HIG-STAKES

3.1. Estado do Rio de Janeiro

O programa Nova Escola é a política de responsabilização de maior duração no Brasil. Foi criada em janeiro de 2000, juntamente com o Sistema de Avaliação Permanente das Escolas Públicas do Estado do Rio de Janeiro, para atingir tanto os professores quanto os administradores escolares. A longa lista de mudanças desde a criação do programa dá uma idéia da dificuldade em se estabelecer um consenso em relação ao propósito e os métodos para comparar o desempenho das escolas.

O programa foi projetado conforme um modelo longitudinal para medir os ganhos de um determinado coorte, começando com os alunos da terceira série do ensino fundamental, de modo a conseguir uma medida mais precisa das contribuições da escola para o aprendizado dos alunos.  No entanto, a ausência de qualquer avaliação externa no terceiro ano do programa, 2002, devido a uma mudança de governo, ocasionou uma mudança de planos. Novos instrumentos, alinhados com a escala nacional do SAEB (para permitir comparações com outros estados), foram aplicados a 180.000 alunos da 4ª e da 8ª séries do ensino fundamental e da terceira série do ensino médio no final de 2003. Medidas de gestão e eficiência (baseadas em estatísticas de fluxo de alunos) das escolas foram incluídas, e foram criados cinco grupos de comparação contendo escolas com alunos em situações socioeconômicas similares.

Em 2004, o governo do estado entregou o contrato para o desenvolvimento e gestão do Nova Escola para uma organização de testes educacionais diferentes, que reformulou os critérios para se concentrar na administração da escola, no desempenho dos alunos e no fluxo de alunos. Os grupos de comparação também foram eliminados, mas se manteve o modelo SAEB de testar a 4ª, 8ª e 11ª séries, bem como a concessão de dois tipos de premiação , um por desempenho absoluto e outro por nível de progresso.

Os prêmios são dados às escolas baseado na acumulação de pontos. O maior número de pontos que uma escola pode acumular é 25, dos quais 10 se devem ao fluxo de alunos (90% ou mais dos alunos ainda matriculado no final do ano escolar), 5 à gestão da escola (com critérios relacionados a transparência, relações com a comunidade, assiduidade da equipe e gestão de matrículas), e 10 (ou 40%) ao desempenho dos alunos no sistema estadual de avaliação. No caso do desempenho dos alunos, a escola alcança o número máximo de pontos se 80% de seus alunos nas séries testadas atingir o nível de desempenho considerado satisfatório na escala do SAEB.

O prêmio dado à equipe da escola tem variado de acordo com o desempenho. Em 2004, o nível máximo de uma escala de cinco níveis equivalia a R$500,00 para professores de tempo integral e R$250,00 para pessoal auxiliar. O dinheiro da premiação, dois terços do qual foi distribuído pela nota geral do desempenho da escola e um terço pelo “progresso” da nota da escola entre os anos escolares, foi dividido entre um total de 58.008 professores e 19.443 funcionários auxiliares.

Um aspecto importante do programa é que ele é o único a ter sido avaliado por meio de uma comparação entre os resultados das escolas secundárias do Rio de Janeiro e aqueles de dois outros estados no sudeste brasileiro de 2000 a 2005 (Rodrigues, 2007). Os resultados em questão são a média das notas do SAEB para os três estados (coletadas a cada dois anos entre 1995 e 2005) e as médias da relação aprovação/reprovação e da taxa de evasão, coletadas todos os anos como parte do conjunto de dados do censo escolar. A despeito da falta de controles para outras possíveis diferenças de políticas educacionais ou para mudanças na situação econômica relativa dos três estados, o estudo mostra ganhos maiores no desempenho em Português no Rio de Janeiro em relação aos outros estados, invertendo uma posição de inferioridade vigente durante o período anterior à criação do programa Nova Escola (Rodrigues, 2007). Apesar de apresentar pioras ao invés de melhorias, as estatísticas de fluxo também mostram que a reprovação média dos alunos no final do ano cresce mais devagar no Rio de Janeiro do que nos outros estados. No entanto, outros resultados tornam essas descobertas menos conclusivas. Os resultados do desempenho em Matemática mostram tendência inversa à de Português, e o Rio de Janeiro perde terreno comparativamente aos outros estados. Como a Matemática é uma matéria mais “escolar” do que é o Português (Brandsmo e Knuver, 1989), o resultado esperado era o oposto. Também se mostra que o nível de evasão aumentou em comparação com os outros estados, levantando a possibilidade de as taxas de reprovação, menores do que o esperado, serem fruto de uma auto-seleção por parte dos alunos. A despeito do grande esforço em sujeitar o programa a uma avaliação objetiva, a ambigüidade dos resultados indica que outros estudos serão necessários.

Não obstante as mudanças recentes no programa, incluindo a redução do peso do critério de gestão e a implementação de critérios mais específicos em relação ao fluxo de alunos, a resistência ao programa é ainda alta, abundando críticas técnicas, políticas e doutrinárias. Uma dessas críticas diz que o programa reflete uma preocupação neoliberal com as necessidades dos empregadores: “O programa Nova Escola é um empobrecimento da educação. Ele é mais do que isso, é uma tentativa de satisfazer as demandas de um mercado de trabalho produtivo” (Gama, 2004). Até 2006 a continuidade do programa foi possível devido ao suporte dado na assembléia estadual por representantes dos setores populares, evangélicos e de baixa renda, que não tinham relação com os sindicatos de professores ou outros grupos sociais organizados. O governador recém-eleito ainda tem que declarar seu apoio ao programa, e há incertezas quanto à sua sobrevivência no novo ambiente político. Em agosto de 2005 o sindicato dos professores foi responsável por cinco ações legais movidas contra o governador da época, três das quais relacionadas ao programa Nova Escola e hostis a ele, principalmente devido à interferência do mesmo na carreira dos professores concursados e em suas escalas salariais. Se o novo governador enxergar a necessidade de obter apoio político dos representantes dos professores na assembléia estadual, o programa dificilmente sobreviverá em sua forma atual.

3.2. Estado de São Paulo

Entre os anos de 2001 e 2003 diretores e professores escolares no estado de São Paulo receberam um complemento único aos salários anunciado no fim do ano escolar, um pouco antes do Natal. Esse bônus foi calculado de acordo com a assiduidade média da equipe, o desempenho global da escola medido durante o ano escolar anterior através do sistema estadual de avaliação, o SARESP{2}, e outros indicadores de qualidade, principalmente o nível de retenção de alunos pelas escolas. Essa política de responsabilização, envolvendo cálculos para determinar pagamentos individuais, foi uma expressão da opinião declarada da Secretaria Estadual sobre a importância de tornar público o resultado das avaliações anuais:

“Os resultados do desempenho das escolas deverão ser amplamente divulgados, de forma que tanto a equipe escolar como a comunidade usuária seja capaz de identificar a posição da sua escola no conjunto das escolas de sua Delegacia, de seu bairro e de seu município. Isso possibilitará à escola a busca de forma diversificadas de atuação, com o objetivo de implementar a melhoria dos resultados escolares. Por outro lado, permitirá também à população acesso às informações, de modo que possa fiscalizar, participar e cobrar a qualidade do serviço que lhe deve ser prestado.” (São Paulo, 1995, p. 310).

Em 2002 o governo do estado pagou um total de R$370 milhões{3} para 170.974 professores e 18.744 diretores e supervisores, um aumento de 58% em relação ao ano anterior. O bônus mais alto para professores foi de R$4.500 e para diretores de R$5.500, e o mais baixo de R$1.000 e R$1.500, respectivamente, de acordo com qual dos seis níveis de desempenho era atingido pela escola. Em 2003, 42.000 funcionários escolares auxiliares também foram incluídos no programa, e receberam um bônus fixo de R$500 que não dependia de critérios de desempenho. Em 2004, o montante gasto subiu para R$514 milhões, pagos a 194.348 professores que receberam entre R$1.220 e R$6.000, a diretores e outros profissionais escolares que receberam entre R$1.200 e R$7.000, e à equipe de auxiliares que recebeu a mesma quantia estabelecida no ano anterior. No entanto, nesse ano os critérios foram modificados para, em primeiro lugar, incluir um mínimo de 200 dias de trabalho efetivo e o desenvolvimento de projetos envolvendo a comunidade da escola, e, em segundo lugar, para excluir o uso dos resultados de desempenho do SARESP. Em 2006, o SARESP foi suspenso e os resultados do desempenho dos alunos novamente retirados do cálculo do bônus. Isso se deveu, em grande medida, à aplicação no ano anterior do novo Prova Brasil, a avaliação do governo federal dos alunos de 4ª e 8ª série de todas as escolas urbanas de ensino fundamental (APEOESP, 2006). A decisão simultânea de realizar a prova do SARESP de dois em dois anos, ao invés de anualmente, torna incerto se, no futuro, se voltará a usar dados do desempenho de alunos no programa de bônus para determinar o valor dos pagamentos suplementares a professores.

A oposição aos bônus anuais tem sido forte. A mais vociferante, do Sindicato dos Professores do Ensino Oficial do Estado de São Paulo, expressou uma rejeição à “transferência abusiva da lógica de mercado” para a educação (Cavaliere, 2003, p.30) e à competição entre as escolas e os diretores das escolas, que seria fomentada por essa política (CDEP, 2006). Outras críticas tiveram mais a ver com problemas de trapaças, havendo meios de os professores ajudarem os alunos a preencher as folhas de respostas ou alterarem as respostas dos alunos, uma vez que são os professores que aplicam e corrigem as provas. Esses casos são “bem conhecidos” entre professores de escolas estaduais (Dissidência, 2006), bem como o são os problemas burocráticos associados ao cálculo e pagamento individual dos professores. Outro argumento, aparentemente bem justificado, diz respeito ao uso de resultados de desempenho médio dos alunos sem qualquer tentativa de se controlar por diferenças socioeconômicas entre as escolas ou pelo impacto de diferenças no nível anterior de aprendizagem.

A despeito das intenções iniciais, o programa de bônus parece ter se tornado mais uma maneira de justificar um benefício natalino do que a construção de uma conexão clara entre níveis de desempenho escolar e pagamentos suplementares às equipes. De fato, a Secretaria foi acusada de falta de transparência com relação ao método de calculo do bônus (Dissidência, 2006), o que também contradiz a idéia de que era sua intenção transformar o desempenho em um componente claro do pagamento dos professores. Portanto, sem nenhuma declaração nesse sentido ou quaisquer explicações a respeito dos resultados terem sido satisfatórios ou não, o programa de responsabilização que se iniciou em 2001 parece ter terminado. O uso contínuo de taxas mínimas de comparecimento em cursos de treinamento para os professores, tal como incluído entre os critérios de 2005, é um reflexo de problemas perenes de absenteísmo dos professores, e não a expressão de uma política destinada a atribuir responsabilidade por resultados escolares aos professores ou outros membros da equipe da escola (Fórum Estadual em Defesa da Escola Pública, 2003).

3.3. Estado do Ceará

A relação entre o sistema estadual de avaliação da educação, SPAECE{4}, e o Prêmio Escola do Novo Milênio foi legalmente estabelecida em 2001. As cem melhores escolas ganhariam um prêmio com base nos resultados médios de Matemática e Português dos estudantes incluídos na amostra do estado. Para as cinqüenta melhores escolas, em 2002, o prêmio valia R$800 para professores de tempo integral e R$300 para a equipe administrativa. Para as cinqüenta escolas seguintes os prêmios equivaliam à metade do valor apontado acima. Também havia prêmios para os melhores estudantes com base no seu desempenho nos testes. O propósito explícito desses prêmios era promover o reconhecimento das conquistas obtidas pelas escolas públicas e medidas pelo SPAECE, melhorar o ambiente escolar e influenciar seus resultados através de um clima de qualidade, e elevar o padrão da educação pública (Lei No 12.203, 21 de fevereiro, 2002).

Os resultados da avaliação do SPAECE de 2003 dos estudantes da 8ª série do ensino fundamental e da terceira série do ensino médio causaram preocupação considerável na medida em que mostraram uma queda acentuada no desempenho médio. Em Português, os resultados da 8ª série estavam 7,5% mais baixos se comparados a 2002, e, conquanto os resultados de Matemática de 2003 estivessem iguais aos de 2002, os das duas disciplinas estavam 9,4% mais baixos se comparados a 2001. Quanto ao nível do desempenho em Português, a proporção de alunos que a Secretaria considerou estar no nível crítico ou pior chegou a 60,8%, com uma queda correspondente na proporção de alunos que atingiram os níveis intermediários ou adequados. Em Matemática, 97,7% dos alunos foram classificados como estando no nível crítico ou abaixo, e apenas 0,2% chegou ao nível de desempenho considerado adequado para a série (Lima et al., 2005). Apesar de o governo não ter oferecido nenhuma explicação para esses resultados e nem ter discutido os possíveis impactos de seu programa de responsabilização, é evidente que o Prêmio Escola do Novo Milênio não conseguiu combater a tendência geral de  queda no desempenho dos alunos. Se isso se deve ao valor dos prêmios ou outros aspectos do programa, ou se o sistema de prêmios foi simplesmente irrelevante, são questões que não ficaram claras, mas o fato de a política de responsabilização ter sobrevivido indica que o governo acreditava que ela ainda tinha um papel a cumprir.

Como parte de uma revisão das políticas vigentes, em 2004 e 2005 o programa Prêmio Escola do Novo Milênio foi revisado através de leis que revogaram procedimentos anteriores, criaram um programa de certificação das escolas e, para as escolas certificadas, criaram o Prêmio Escola Destaque do Ano, com procedimentos novos para sua outorga. Esses procedimentos estipulavam que os prêmios seriam entregues às cinqüenta melhores escolas com base em uma variedade de indicadores, incluindo taxas de aprovação e evasão e o desempenho dos alunos em Matemática e Português como avaliado pelo SPAECE. Com esses novos procedimentos um total de 41 prêmios são agora outorgados a escolas com base na melhoria de um ano para o outro, e 9 prêmios com base em níveis absolutos do desempenho das escolas (Ceará, 2006).

A política reformulada tem como objetivo declarado “valorizar a gestão escolar comprometida com o sucesso dos alunos; promover o reconhecimento público das escolas estaduais pela qualidade de ensino; desenvolver uma cultura de acompanhamento e avaliação da escola, contribuindo para a melhoria do ensino e da aprendizagem” (Ceará, 2006, p.3). Três categorias (Fundamental, Fundamental e Médio, e Médio) foram criadas para permitir às escolas competirem com instituições similares quanto ao nível de educação oferecido, e dentro de cada categoria o número de indicadores de qualidade varia de 10 a 22, com os indicadores do desempenho dos alunos no SPAECE representando 60% do total. Outros indicadores incluem taxas médias de aprovação e de desistência para cada série. Cada categoria de escola é apta para concorrer a 3 dos prêmios de desempenho global e a um número de prêmios de melhoramento escolar que varia de 8 a 18, dependendo do número de escolas na categoria.

Com essas mudanças alguns dos problemas anteriores associados à comparação de escolas com diferentes níveis de educação foram amenizados. A outorga de prêmios por melhoramento escolar de um ano para outro também reduz outros riscos associados a abordagens transversais da responsabilização baseadas em uma única medida de desempenho médio, dado que a composição do corpo de estudantes provavelmente não mudará de modo significante entre uma medida e outra. No entanto, o grande problema de comparar escolas com alunos de diferentes origens socioeconômicas ainda não foi resolvido. Embora esse modelo de responsabilização de “mudança de status” reduza o impacto do nível anterior de aprendizado (Hanushek e Raymond, 2003), ele não oferece controles pelos  diferentes ritmos de aprendizagem de diferentes grupos sociais, ou pelas mudanças de um ano para outro nos outros fatores associados à aprendizagem dos alunos.

Não houve nenhuma avaliação externa das políticas de melhoramento escolar do governo do Ceará. Todavia, a permanência da idéia de concessão de prêmios, embora em versão reformulada, sugere que esse tipo de responsabilização, na qual as escolas não são obrigadas a participar, provoca menos resistência do que programas que abrangem o sistema todo e em que todas as escolas precisam ser comparadas, como no programa do estado de São Paulo, mesmo que não haja nenhuma conseqüência negativa para as escolas com as avaliações mais baixas.

3.4. O Município de Sobral (Ceará)

Durante o último ano da gestão de 1997-2000 do governo municipal, o nível de alfabetização das crianças na escola em Sobral foi medido duas vezes (INEP, 2005). O primeiro teste, realizado por um especialista da Universidade Federal do Ceará, mostrou que metade das crianças no final da segunda série ainda não conseguia ler. Na segunda avaliação, feita em todos os alunos da 1ª à 4ª séries pela Fundação Ayrton Senna, Sobral apareceu em penúltimo entre os mais de 400 municípios assessorados por essa Fundação em seu programa Acelera Brasil. Com base nesses resultados, o governo que entrou em seguida estabeleceu como seu principal objetivo o melhoramento do ensino da leitura e da escrita, e criou novas políticas baseadas na reorganização do sistema de apoio pedagógico da secretaria de educação e na maior autonomia das escolas. A primeira envolveu a definição de metas, o contínuo fornecimento de materiais e treinamento, a contratação de avaliações externas e a disseminação de uma nova cultura de monitoramento do progresso dos alunos. Com sua nova autonomia, as escolas poderiam selecionar os melhores professores para as aulas de alfabetização, lidar individualmente com os problemas de cada aluno e constantemente reavaliar os resultados e mobilizar as famílias dos alunos para a tarefa de atingir os objetivos da escola.

Um bônus mensal para professores de alfabetização no valor de R$100 (aproximadamente US$47) também foi criado, em 2001, como parte da nova política de melhorar os resultados da leitura e da escrita. Os professores tinham que atingir 75% de alfabetização na primeira série básica (alunos de seis anos) ou 90% de alfabetização na série seguinte (alunos de sete anos) ou 100% na 2ª à 4ª séries. A escola com 90% de alfabetização entre as crianças da 1ª à 6ª séries, desde que atingisse 75% na 1ª série básica e 70% na escola como um todo, também podia concorrer ao Prêmio Escola Alfabetizadora, criado em 2001.

Houve diversos problemas com esse sistema de incentivos, tais como a questão do que fazer com professores que atendessem aos critérios em um ano, mas não o fizessem no ano seguinte. Em resposta a isso foi aprovada uma nova lei municipal permitindo reduções de 25% e 50% no nível do bônus. Um segundo problema, criado pela pressão maior para mostrar notas altas, foi que as escolas começaram a impedir que alunos fizessem os testes, dizendo que eles haviam faltado ou que haviam sido transferidos (INEP, 2005). Isso foi atacado via a criação de uma nova lei que requeria que as escolas provassem que os estudantes haviam sido transferidos e demandava um mínimo de 98% de comparecimento no dia do teste externo.

O uso de avaliações externas, desenvolvidas por especialistas da Universidade Federal do Ceará e da Fundação Carlos Chagas, instituição respeitada na área de organização de testes, permitiu que se produzissem bons resultados globais com a política de alfabetização de Sobral. De acordo com uma fonte (INEP, 2005), entre 2001 e 2004 o nível de alfabetização na primeira série básica (alunos de seis anos) aumentou de 33,7% para 89,1%, e na primeira série regular, para alunos de sete anos, de 49,1% para 92,2%.

Como componentes de uma política mais ampla contendo diversos outros investimentos, as contribuições do bônus para professores de alfabetização e do Prêmio Escola Alfabetizadora são de difícil mensuração. Entretanto, como nem um relatório recente sobre a experiência de Sobral (INEP, 2006) nem o sítio na internet da Secretaria Municipal menciona o bônus aos professores, parece provável que, tendo criado amplo e disseminado descontentamento, essa parte da política de responsabilização foi agora abandonada. A continuação do Prêmio Escola Alfabetizadora indica que as autoridades consideram que ele tenha mais efeitos positivos do que negativos e que ele é uma contribuição válida para a política de alfabetização como um todo.

4. PROGRAMA LOW-STAKES, DE BOLETINS

4.1. Estado do Paraná

Um programa pioneiro de boletins, chamado Boletim da Escola, foi criado em 2001 pela Secretaria Estadual de Educação como parte de uma estratégia de aumentar a responsabilização das escolas e dar poder aos pais para demandar resultados (Ayres, 2003). Um propósito menos divulgado foi o de fortalecer as associações de pais e contrabalancear o poder do sindicato de professores que na época estava em desavença com o governo do estado{5}. A teoria por trás dessa estratégia parece ser a de que as escolas se sentiriam mais pressionadas em demonstrar bons resultados se os pais estivessem mais bem informados a respeito da sua escola em comparação com as outras.

Distribuído a todos os pais e membros da equipe da escola, o boletim era organizado em um informativo de quatro páginas que provia três blocos de informação. O primeiro bloco, com resultados do programa de avaliação estadual de 2000, continha a média das notas dos alunos de 4ª e 8ª série em Português e Matemática da escola, do município e do estado, classificados de acordo com quatro níveis de desempenho. O significado desses níveis de desempenho era explicado em um suplemento que descrevia as habilidades em Matemática e Português associadas a cada nível. Em 2002 o Boletim da Escola adicionou um indicador que informava se a escola tinha atingido ou não o nível de desempenho “esperado” para ela levando em consideração a condição socioeconômica média dos alunos de cada série. Os diferentes níveis foram estabelecidos para o estado todo com base nos dados socioeconômicos dos alunos retirados de um questionário aplicado a todos na mesma hora  da avaliação. Esse resultado foi então incluído no Boletim, e chamado a medida do “valor agregado” pela escola.

O segundo bloco de informações continha dados do censo escolar oficial, incluindo taxas de aprovação, reprovação e evasão, além de comparações municipais e estaduais. O terceiro bloco apresentava afirmações subjetivas em relação à escola, retiradas dos questionários aplicados a alunos, diretores e pais (Ayres, 2003). O questionário não-obrigatório para pais, também introduzido em 2001, representou a primeira tentativa de captar as opiniões e percepções dos pais quanto a elementos-chave do ambiente escolar, incluindo o envolvimento dos mesmos. Nas palavras do então secretário da educação, a intenção era “promover um processo através do qual os pais aumentariam a sua percepção de seu papel de educadores, de cidadãos e de consumidores de serviços educacionais – para seus filhos” (Saliba, 2003). Em 2001, 53.000 pais concordaram em visitar a escola de seus filhos para responder ao questionário, número este que aumentou em 50% quando a pesquisa foi repetida no ano seguinte.

Também se pediu aos pais para darem uma nota global para a escola, mas quando os diretores começaram a temer que essa nota poderia ter algum efeito sobre sua avaliação de desempenho, passaram a influenciar a resposta dos pais. Então, tal nota não mais podia ser considerada uma expressão verdadeira da opinião dos pais (Ayer, 2003). Com a mudança da administração estadual em 2003 e a nomeação de um Secretário da Educação com fortes laços com os sindicatos dos professores, o sistema de boletins foi completamente abandonado. As dificuldades em se informar os pais quanto à interpretação e uso do boletim, a falta de comunicação real entre pais e professores e a falta de confiança geral dos professores e diretores com relação ao propósito da política provavelmente levaram ao seu abandono precoce, apesar de nenhum estudo ter sido feito. A despeito de consideráveis esforços em treinar os pais e em se estabelecer um processo multiplicador no qual os pais já treinados treinariam outros, o fracasso do Boletim da Escola do Paraná mostra que, embora a associação de pais tenha sido um elemento-chave no desenvolvimento da estratégia de responsabilização, ela foi impotente para defender essa estratégia frente à oposição do sindicato de professores.

4.2. O Município de Belo Horizonte (Minas Gerais)

Criado em 2006 e desenvolvido para ser usado por administradores e professores escolares, o Informativo da Escola Municipal de Belo Horizonte é o exemplo mais recente do sistema de responsabilização educacional low-stakes sobre o qual se tem informação. Em sua primeira versão, o Informativo de quatro páginas foi distribuído apenas às escolas, e não aos pais, e só se deu treinamento prévio aos funcionários de enlace que agem como intermediários entre as escolas e a Secretaria Municipal de Educação.

O primeiro Informativo foi a tentativa inicial da secretaria de dar às escolas uma visão geral de seus próprios resultados bem como uma oportunidade de se comparar com outras escolas de características similares. Isso correspondeu ao propósito explícito do Informativo de prover as escolas com os dados necessários para que elas se auto-avaliassem, e assim promovessem uma revisão dos seus planos e objetivos, estabelecendo-se parâmetros para a comparação ao longo do tempo (SMED, 2006). Incluíram-se como indicadores gerais, de modo a contextualizar as escolas, o tamanho e nível de complexidade delas, a raça/etnia e condição socioeconômica dos estudantes, e também o número de questões administrativas/financeiras pendentes como um indicador de eficiência administrativa. As informações dos professores incluíam o nível e tipo de educação recebida, e, pela primeira vez, o número médio de dias por turma e por ano que foram perdidos pela escola devido a ausências de professores por motivos de saúde. A inclusão desse indicador, que ia de 3,3 dias/turma a surpreendentes 98,5 dias/turma, é mais um indício do problema do absenteísmo de professores do setor público.

Os indicadores pedagógicos incluíam resultados de avaliações externas estaduais (SIMAVE) e nacionais (Prova Brasil), mostrando a percentagem de alunos em cada um de quatro níveis de desempenho e fazendo-se comparações somente com escolas que tivessem condições socioeconômicas similares. Outros indicadores mostram os níveis de equidade socioeconômica e racial atingidos pela escola, calculados com base nos dados sobre o desempenho dos alunos para a cidade de Belo Horizonte como um todo. Esses indicadores foram considerados especialmente importantes, dado o objetivo de inclusão social da política educacional “Escola Plural” que a cidade desenvolve e que é reconhecida como a bandeira do governo do Partido dos Trabalhadores em Belo Horizonte. A diferença entre os níveis de desempenho para alunos de diferentes grupos socioeconômicos e de diferentes grupos raciais dentro da escola é comparada às diferenças na população estudantil da cidade como um todo. Informa-se às escolas se elas produziram um nível de igualdade que reflete a média da cidade ou se as diferenças entre seus alunos mostraram uma maior ou menor igualdade do que a da população como um todo. Ao colocar indicadores de equidade no boletim junto a indicadores tradicionais de desempenho de alunos, o município transformou a equidade em um componente de sua política de responsabilização, demonstrando a importância atribuída a estratégias de ensino social e racialmente inclusivas (SMED, 2006).

É muito cedo para avaliar o impacto do programa, mas apesar de um ambiente altamente politizado não há sinais de nenhuma reação contrária. Isso é relativamente surpreendente, dado que o sindicato local dos professores do setor público sempre foi um crítico das avaliações externas, e a cidade de Belo Horizonte foi palco de uma reforma educacional radical do Partido dos Trabalhadores para melhorar a inclusão social que eliminou as avaliações dos alunos de final de ano. Relatórios de inspetores escolares sugerem que tem havido interesse e engajamento no Informativo da Escola ao invés de indiferença, o que pode ser atribuído à ausência de quaisquer conseqüências explícitas para as escolas com desempenho abaixo da média e ao esforço meticuloso da secretaria em explicar a utilidade da informação para o planejamento da escola (SMED, 2006).

5. DISCUSSÃO/CONCLUSõES

A primeira observação a se fazer é que, a despeito do uso disseminado da avaliação externa de desempenho de alunos no Brasil, há muito poucos programas de responsabilização que usam esses dados de maneira a responsabilizar as escolas ou os professores por seus resultados. Para os programas de responsabilização existentes não há dados empíricos sobre suas possíveis conseqüências, exceto no caso do Rio de Janeiro. O estudo desses programas relativamente aos seus impactos nos resultados das escolas não deve ser tarefa fácil, dado que a maioria tem sofrido mudanças contínuas desde sua implementação e que três dos seis exemplos foram eliminados após dois a quatro anos de existência.

Quanto às características dos diferentes programas, vale notar que todas as quatro políticas de responsabilização high-stakes estabeleceram alguma forma de incentivo salarial relacionada aos resultados da escola e dos professores. Não há exemplos de programas que usam outras formas de incentivo, tais como recursos adicionais ou vantagens de carreira para membros da equipe escolar. Também não há exemplos de programas que usam desincentivos, tais como o fechamento da escola, avaliações de desempenho dos professores mais baixas ou métodos mais públicos para a disseminação dos resultados da escola. Todos os programas existentes escolheram dar recompensas pecuniárias a algumas escolas (ou professores, no caso de Sobral) e deixar outras escolas sem essas recompensas, sob a hipótese de que a equipe da escola faria um esforço adicional para garantir um prêmio ou bônus mais alto. A queda nos níveis de desempenho no Ceará certamente traz dúvidas quanto à eficácia até mesmo desse tipo de programa de responsabilização, mas à luz da queda nos resultados de outros estados também (Rodrigues, 2007), é possível que o Ceará tivesse resultados ainda piores sem o Prêmio Escola do Novo Milênio.

Dos quatro programas descritos de responsabilização high-stakes, dois assumem a forma de prêmios e um terceiro a forma de um bônus anual ao salário, distribuído perto do Natal. Isso parece sugerir que, apesar de os governos municipais ou estaduais se interessarem em estabelecer uma conexão entre o resultado dos alunos e o pagamento final dos professores, a maneira de criar uma conexão mais direta para todas as escolas, como no caso do Rio de Janeiro, ou não se apresentou ou não foi politicamente viável. Como os prêmios são uma parte crescente da cena educacional, e representam uma maneira de se recompensar desempenhos superiores sem o fomento de discórdia provocado por outras formas de cálculo de suplementos diferenciais de pagamento, é fácil ver como eles se tornaram um aspecto central da política de responsabilização.

Outra característica é que apenas as versões mais recentes dos programas do Ceará e do Rio de Janeiro incorporaram maneiras de se determinar mudanças no desempenho dos alunos e da escola ao longo do tempo. Mesmo sem serem medidas legítimas do “valor agregado” pela escola, uma vez que nenhum dos dois programas emprega um modelo longitudinal para acompanhar os mesmos alunos, o grau do progresso de uma escola ao longo do tempo é claramente uma indicação melhor de sua eficácia e uma base melhor para o cálculo de suplementos salariais do que médias de desempenho de um único ano escolar. Isso significa que os outros programas, bem como as versões antigas dos programas do Ceará e do Rio de Janeiro, estão todos sujeitos à críticas quanto à simplicidade com que tratam a medida crucial do desempenho acadêmico dos alunos. A coleta de dados sobre outros aspectos do desempenho da escola também tem sido bastante rudimentar. Tem havido, portanto, dificuldades em legitimar e manter procedimentos para a coleta de dados, bem como em estabelecer uma conexão entre indicadores das avaliações e suas conseqüências.

Uma razão para o avanço vagaroso e aparentemente hesitante da responsabilização é a oposição dos sindicatos de professores. Essa oposição tem sido tanto reativa, por exemplo, nos estados do Rio de Janeiro, Paraná e São Paulo, como preventiva. No caso do estado de Minas Gerais, o uso de informação proveniente da avaliação de alunos para o propósito de responsabilização é expressamente excluído pelo Artigo 126 da legislação de 2000 que criou o Sistema Mineiro de Avaliação da Educação Pública (SIMAVE){6}. Esse artigo proíbe o uso de resultados do sistema estadual de avaliação para o propósito de “classificar as escolas ou outros componentes do Sistema Mineiro de Educação com a intenção de alterar o processo educacional”. Nessa rejeição explícita do uso dos resultados de testes para o propósito da responsabilização parece que os legisladores estaduais foram influenciados pelo poder político do sindicato de professores e de outros críticos da avaliação externa.

Enquanto os professores do setor público e seus sindicatos fazem parte da base de poder dos governos, é pouco provável que as políticas de responsabilização baseadas no desempenho dos alunos sejam implementadas, devido a suspeitas constantes com relação à avaliação externa e devido à resistência ativa à avaliação do desempenho da escola. Mesmo os programas low-stakes podem ser combatidos por medo de conseqüências negativas. Quando os empregados do setor público, especialmente os professores, não representam fonte significativa de apoio ao governo, eles possam ser considerados até mesmo como opositores dos esforços do governo em melhorar a educação dos segmentos mais pobres da comunidade, como no caso do Rio de Janeiro, e a oposição desses funcionários ser ignorada. A sobrevivência da política Nova Escola no Rio não é uma medida de sua popularidade e nem de sua eficácia, mas sim de uma decisão do governo de procurar apoio político para suas políticas fora do setor educacional.

O precário desenho inicial das políticas estaduais e municipais de responsabilização, freqüentemente postas em práticas sem estudo e preparação adequados, parece indicar outro problema comum: a falta de assistência técnica e/ou financiamento a partir das autoridades educacionais federais. Como já foi dito, isso é conseqüência da divisão de responsabilidades entre as esferas do governo que perfazem a federação brasileira, o que inibe o envolvimento do governo federal no específico das políticas educacionais estaduais e municipais. Além de garantir a sua anuência com a Lei de Diretrizes e Bases aprovada em 1996, o Ministro da Educação no Brasil não exerce nenhum controle executivo ou legislativo sobre as secretarias de educação estaduais e municipais ou seus professores. A influência financeira que ele pode exercer também é limitada, sendo responsável por uma parte pequena do financiamento do ensino fundamental através da transferência de recursos federais de acordo com critérios de equalização fiscal. Sob a distribuição de deveres e responsabilidades atualmente aceita e o alto nível de autonomia local em termos políticos e financeiros, o Ministério tem buscado expandir suas próprias políticas de avaliação da educação sem tentar promover o uso da avaliação por outras esferas do governo. Sob essas regras nenhuma assistência técnica na criação de programas de responsabilização no âmbito estadual ou municipal foi pedida ou concedida.

Outra chave para se entender a incipiência da política de responsabilização é o nível de consciência em relação à qualidade da educação daqueles cujos filhos estão matriculados em escolas públicas do ensino fundamental ou médio. Não obstante a progressiva descentralização da administração escolar desde o retorno à democracia no princípio da década de 1980 e os conseqüentes esforços para envolver os pais em questões escolares, a fuga da classe média para o setor de educação privada (Chaui, 1999) significou menores níveis de mobilização e menor pressão por mudanças entre aqueles pais cujos filhos continuam a freqüentar a escola pública. Com a falta de provisão regular de informação na mídia para além da publicação dos resultados da avaliação nacional, refletindo a ausência de qualquer movimento político de maior vulto a favor de mudanças educacionais, os pais que mais têm mais a ganhar com programas de responsabilização que se concentram nos resultados dos alunos são justamente aqueles com menos condições de demandar tais políticas.

A despeito da ausência de um debate acadêmico e de apenas expressões limitadas de apoio popular às políticas de responsabilização existentes, tem havido sinais de interesse do Instituto Nacional de Estudos e Pesquisas Educacionais pertencente ao Ministério da Educação e Cultura (INEP/MEC). Esses sinais ainda estão longe de se tornar diretrizes para os governos estaduais e municipais, mas uma vez que o volume de recursos a ser transferidos para esses níveis de governo deve crescer em razão de legislação recém aprovada, é possível que o Ministério assuma um papel mais substancial na indução de políticas locais de responsabilização. Até agora o Ministério tem cumprido um papel completamente subsidiário na determinação de padrões educacionais, distribuindo livros-texto e outros recursos materiais e fomentando a adesão aos parâmetros curriculares nacionais. No entanto, se estiver interessado em assumir maior liderança ele poderia usar seus recursos de acordo com os resultados de desempenho dos alunos disponibilizados pela recém-criada Prova Brasil, de sua autoria, estabelecendo critérios para comparar o desempenho não só de escolas, mas também das secretarias de educação locais.

Embora o boletim do Paraná não tenha sobrevivido por muito tempo, a implementação bem-sucedida de um instrumento similar na cidade de Belo Horizonte, um ambiente potencialmente hostil, sugere que esse pode ser o caminho a se trilhar no Brasil. Ainda não há evidência objetiva de mudanças, mas é mais fácil imaginar a aceitação e uso de informação low-stakes para promover discussões sobre o desempenho no âmbito da escola do que exercícios externos de avaliação que logo perdem sua capacidade de diagnóstico em virtude da importância ofuscante dos benefícios a que são associados.

Conquanto muitas das críticas referentes às deficiências técnicas dos sistemas de responsabilização existentes parecem justificadas, é cedo para descartar as políticas por inapropriadas ou ineficazes. No Brasil, fontes legítimas de pressão pelo melhoramento de resultados escolares, sejam essas fontes os pais, os alunos ou os próprios professores, são quase inexistentes. Sem essas fontes primárias de pressão para o melhoramento do padrão educacional há boas razões para os governos estaduais e municipais continuarem a experimentar com o uso de políticas de responsabilização que oferecem a possibilidade de melhores resultados. Em um cenário dramático de desempenho escolar abaixo de qualquer padrão, com efeitos desproporcionais sobre as chances de vida da população pobre, os governos locais devem reavaliar suas próprias atividades além de assumir um papel de liderança no melhoramento de suas escolas.

REFERENCIAS BIBLIOGRÁFICAS

APEOESP (2006). Sindicato dos Professores do Ensino Oficial do Estado de São Paulo. Fax nº 48, 22/08/2006 At: http://www.apeoesp.org.br/teste/Fax/48_06.htm. Access 1/04/07

Ayres, S. (2003). Boletim da Escola: Diagnóstico Multidimensional das Escolas do Paraná. Ensaio, 38(11), jan-março. p. 33-44.

Brandsma, H. and Knuver, J. (1989). Effects of School Classroom Characteristics on Pupil Progress in Language and Arithmetic. International Journal of Educational Research, 13.

Brooke, N. (1992). The Equalization of Resources for Primary Education in Brazil, International Journal of Educational Development, 12(1) pp. 37-49.

Carnoy, M. e Loeb, S. (2004). A Responsabilidade Externa tem Efeito nos Indicadores Educacionais dos Alunos? Uma análise entre os estados dos E.U.A. Documento 29. Santiago de Chile: PREAL.

Carnoy, M., Loeb, S. y Smith, T. (2001). Do Higher State Test Scores in Texas Make for Better High School Outcomes? Consortium for Policy Research in Education, University of Pennsylvania (CPRE). Research Report Series RR-047.

Castro, M.H.G. (1999). Educação para o século XXI: o desafio da qualidade e da eqüidade. Brasilia : Instituto Nacional de Estudos e Pesquisas Educacionais.

Cavaliere, A.M. (2003). Entre o Pioneirismo e o Impasse: A reforma paulista de 1920. Educação e Pesquisa, 29(1),  pp.27-44.

CDEP (2006). Comitê em Defesa da Escola Pública. http://www.adusp.org.br/PEE/PEE.rtf Accessed:  12/12/2006.

Ferrer, G. (2006). Educational Assessment Systems in Latin America: Current practice and future challenges. Washington: PREAL.

Fórum Estadual em Defesa da Escola Pública (2003). Plano Estadual de Educação: Proposta da Sociedade Paulista. Fórum Estadual em Defesa da Escola Pública, São Paulo, 14 de outubro, 2003. At: http://www.adunicamp.org.br/noticias/educacao/PEE.pdf Accessed: 01/04/2007.

Gama, Z.J. (s.d.). Nova Escola: Erros e acertos do programa: Folha Dirigida, 18/03/ 2004 At: http://www2.uerj.br/~clipping/marco04/d18/dirigida_nova_escola.htm Accessed: 8/10/2005.

Gillard, D. (2004). Education in England: a brief history. At http://www.dg.dial.pipex.com/history/index.shtml Accessed 12/01/07.

Hanushek, Eric A. y Raymond, Margaret E. (2003). Lessons about the Design of State Accountability Systems. In Peterson, Paul E. and West, Martin R. (editors), No Child Left Behind? The Politics and Practice of School Accountability, Washington, Brookings Institution Press.

Hess, Frederick M. (2003). Refining or Retreating? High-Stakes Accountability in the States. En: Peterson, Paul E. and West, Martin R. (editors), No Child Left Behind? The Politics and Practice of School AccountabilityWashington, Brookings Institution Press, 2003.

INEP (2001). PISA 2000. Relatório Nacional. Brasília: INEP.

INEP (2005).Vencendo o desafio da aprendizagem nas séries iniciais: a experiência de Sobral/CE. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.

INEP (2006). Prêmio Inovação em Gestão Educacional 2006, A Política de Alfabetização como estratégia para elevação do desempenho escolar nas séries iniciais do Ensino Fundamental, Sobral / CE. Laboratório de Experiências Inovadoras em Gestão Educacional, Relatório de Avaliação em Loco, September 2006.

Jacob, Brian A. (2003). A Closer Look at Achievement Gains Under High-Stakes Testing in Chicago. In Peterson, Paul E. and West, Martin R. (editors), No Child Left Behind? The Politics and Practice of School Accountability, Washington, Brookings Institution Press, 2003.

Jones, Ken. (1989). Right Turn: The conservative revolution in education. London, Hutchinson Radius.
Lapointe, Archie E., Askew, Janice M. and Mead, Nancy A. (1992a). Learning Science. Report No. 22-CAEP-02, Educational Testing Service, Princeton, NJ, Feb.

Lapointe, Archie E., Askew, Janice M. and Mead, Nancy A. (1992b). Learning Mathematics. Report No. 22-CAEP-01, Educational Testing Service, Princeton, NJ, Feb.

Lawton, Dennis and Chitty, Clyde. (1988). The National Curriculum. Bedford Way Papers 33. Institute of Education, University of London.

Lima, Alessio C., Coelho, Sylvia M. and Soares, Lindomar da S., (2005). Sistema Permanente de Avaliação da Educação Básica do Ceará: uma leitura dos resultados. In Secretaria da Educação Básica do Ceará, Gestão para o sucesso escolar. Fortaleza, Edições SEDUC, 2005.

Linn, R. (2000).  Asessment and Accountability. Education Researcher. 25: 4-16

MEC (2003). Qualidade da Educação: uma nova leitura do desempenho dos estudantes da 4a série do Ensino Fundamental. Ministério da Educação/INEP, Brasília. Abril 2003.

MEC (2006). Tabelas do Censo Escolar 2006. Ministério da Educação/INEP, Brasília. At:  http://www.inep.gov.br/imprensa/noticias/censo/escolar/news07_02.htm

MEC (2007). SAEB – 2005 Primeiros Resultados: Médias de desempenho do SAEB 2005 em perspectiva comparada.

OECD (2004). Programme for International Student Assessment. Learning for Tomorrow’s World. First Results from PISA 2003. OECD, Paris, 2004.

Rodrigues, J.R.S. (2007). Responsabilização e Resultados Escolares no Rio de Janeiro. Master’s Degree Thesis. Pontifícia Universidade Católica, Rio de Janeiro.

Saliba, Alcyone V. (2003). Have You Heard About The Paraná (Brazil) School Report Cards? Mimeo.

Secretaria da Educação de São Paulo (1995). Coordenadoria de Estudos e Normas Pedagógicas. En: Rama, L. M. da S. et al. (org.). Legislação de ensino de 1º e 2º graus: compilação. São Paulo: Secretaría da Educação de São Paulo.

SMED (2006). Prefeitura Municipal de Belo Horizonte/Secretaria Municipal de Educação Monitoramento da Inclusão: Manual do Informativo de Contexto e Desempenho para as Escolas Municipais de Belo Horizonte. Belo Horizonte: SMED.

West, Martin R. y Peterson, Paul E.  (2003). The Politics and Practice of Accountability, (2003). In Peterson, Paul E. and West, Martin R. (editors), No Child Left Behind? The Politics and Practice of School Accountability, Washington: Brookings Institution Press.