A QUALIDADE DO PROGRAMA ESCOLA CAMPEÃ: AVALIAÇÃO EXTERNA DE GESTÃO E EFICIÊNCIA
Ligia Gomes Elliot, Christina Marília Teixeira da Silva y Angela Carrancho da Silva
1. INTRODUÇÃO O Programa Escola Campeã, desenvolvido por iniciativa do Instituto Ayrton Senna e da Fundação Banco do Brasil, completou quatro anos em dezembro de 2004. Sua proposta contemplou o aprimoramento da qualidade de ensino, a melhoria da eficiência na aplicação dos recursos públicos e o conseqüente aumento da eqüidade social. O Programa envolveu, assim, uma rede de trabalho que incluiu diferentes parceiros, desde Prefeituras e Secretarias Municipais de Educação (SME) até as próprias escolas das redes de ensino. A metodologia foi implementada inicialmente em 42 municípios distribuídos por 24 estados brasileiros. Caracterizado como inovador, o Programa pretendeu auxiliar tanto as SME participantes quanto as respectivas unidades escolares na concretização de seus projetos e aspirações, por meio do compromisso ético e da competência técnica das próprias equipes. As ações do Programa visavam a melhorar, na escola, os indicadores de eficiência (evasão e repetência, por exemplo) e, com isso, o desempenho dos alunos{1}. Os resultados obtidos pelo sistema educacional público, ao final dessa experiência, poderão servir como referência para o desenvolvimento de novas ações a serem multiplicadas em outros municípios brasileiros. A capacitação de um grande número de gestores educacionais nos municípios participantes, que poderão se tornar agentes para uma disseminação nacional de uma nova metodologia de gestão, também era esperada pelo Programa. Em seu desenvolvimento, o Programa considerou as especificidades de cada município e viabilizou o investimento paralelo na superação das dificuldades na área educacional. Seu eixo principal consistiu na mudança de paradigma que excluiu imposições e buscou adesões no sentido de se atingir uma gestão de qualidade. O Programa contemplou a diversidade da realidade dos municípios parceiros e, em seu âmbito interno, pressupôs a dimensão da importância da gestão escolar para promover a qualidade de ensino. Para tanto, definiu, com clareza, os indicadores e os papéis de todos os participantes do processo, assumindo que a gestão participativa deve ser parte do fazer cotidiano da instituição. Nela, cada indivíduo é capaz de buscar, em sua atividade, aquilo que pode e que deve fazer para melhorar o seu desempenho e o da instituição como um todo. No início de 2004, após três anos de execução, com o objetivo de oferecer isenção na análise das ações desenvolvidas pelos municípios parceiros do Programa Escola Campeã, a Fundação Cesgranrio foi contratada para realizar a avaliação externa do Programa, focalizando seu desempenho e possíveis impactos. Por sua extensa e consistente experiência na área da avaliação e entendendo a própria avaliação como um instrumento valioso de crescimento institucional, a Fundação Cesgranrio buscou contribuir para a melhoria das ações implementadas pelo Programa. Os resultados dessa avaliação levaram a uma nova contratação, dessa vez para avaliar as ações de 2004, o que foi feito de janeiro a março de 2005. Assim, em 2004, o desempenho dos 42 municípios parceiros foi avaliado, tomando como referência os indicadores de gestão e de eficiência. Em 2005, a avaliação em gestão consistiu na análise das normas elaboradas e aprovadas pelos 34 municípios que  permaneceram no Programa, tratando apenas dos indicadores nos quais não haviam alcançado a média máxima na avaliação anterior, referente a 2003. No que se refere aos 20 indicadores de eficiência, foram analisadas as planilhas das escolas de 33 SME, pois uma SME deixou de enviar as planilhas (Elliot, et al. 2003; 2004). A avaliação permitiu, então, apreciar a trajetória das Prefeituras e de suas SME, em quatro anos de Programa, o que foi registrado em relatórios individuais para cada município e também em Relatório Geral entregue ao Instituto Ayrton Senna e à Fundação Banco do Brasil. A principal questão que norteou essa avaliação foi a de buscar resultados, consistentes ou não, no que se refere ao atendimento do que o Programa preconizou sobre gestão e eficiência, de modo a verificar sua relevância e possível impacto. 2. AVALIAÇÃO DA GESTÃO 2.1. Procedimentos Metodológicos. Para realizar a avaliação da gestão municipal e escolar, o modelo adotado pela Fundação Cesgranrio foi o mesmo construído pelo Programa e que abrange 22 indicadores para gestão, a saber: Definição da Escola.- define tipos de escola e lotação de pessoal, por tipo de escola, e ainda os insumos básicos. Autonomia administrativa.- delimita a autoridade do diretor sobre pessoal, decisões que pode tomar em matérias administrativas e prazo para apresentação do Plano de Desenvolvimento da Escola (PDE), informações periódicas e relatórios a serem enviados para a SME. Autonomia financeira.- assegura a cada escola recursos compatíveis com os insumos básicos de forma eficiente, que estimule melhor uso de recursos de forma equânime, com critérios objetivos para alocar recursos. Delimita autoridade do diretor para receber e alocar recursos da SME e de outras fontes. Autonomia pedagógica.- delimita a autonomia da escola sobre proposta pedagógica, métodos, meios e materiais de ensino e define responsabilidades da escola em assuntos relacionados com desenvolvimento e capacitação do pessoal. Estabelece mecanismos de acompanhamento, controle e avaliação do desempenho dos alunos. Otimização da Rede Urbana.- norma que otimiza tamanho e utilização das escolas e salas de aula na rede urbana e maximiza proximidade da escola com a residência dos alunos. Nucleação da Rede Rural.- norma que estabelece escolas-núcleo ligadas a escolas nucleadas na zona rural, maximizando a proximidade da escola com a residência dos alunos. Colegiado.- funções de colegiado são explícitas e suficientes para assegurar autonomia escolar, explicitam responsabilidades deliberativas, recursais e de fiscalização. Regras para escolha de colegiado são adequadas para assegurar representatividade e evitar distorções. Matrícula.- a matrícula assegura igualdade de acesso aos alunos. Os critérios para matrícula maximizam a proximidade da escola e casa do aluno, minimizam uso de transporte, maximizam o uso da capacidade instalada nas escolas da rede municipal. Calendário escolar.- apresenta conceito de dia letivo que considere o currículo, a carga horária das várias disciplinas e a freqüência obrigatória. Contempla 200 dias letivos e pelo menos 5 dias extras em caso de necessidade. Diagnóstico e enturmação de novos alunos.- norma que estabelece obrigatoriedade para escolas diagnosticarem novos alunos (transferidos). SME oferece sugestão de instrumentos para diagnóstico de alfabetização e de critérios e instrumentos para enturmação de alunos, respeitada a autonomia escolar. Alfabetização.- há programa de alfabetização detalhado de forma adequada para a 1ª série ou 1º ano do ciclo ou etapa. Norma prevê instrumentos da SME ou das escolas para avaliar resultados da alfabetização ao final da 1ª série. Há normas relativas à designação de professores alfabetizadores para classes de alfabetização. SME possui critérios para identificar ou certificar competências de professor alfabetizador. Escolha de Diretores.- a escolha inclui critérios de aferição objetiva de conhecimentos considerados relevantes e experiência também relevante. Provimento do cargo de Professor efetivo.- há concurso com regras adequadas, definindo vagas, nível de escolaridade, turnos de contratação, salários iniciais atrativos etc. Há programa de trabalho e mecanismos adequados de supervisão dos professores durante o estágio probatório (prazo de carência). Contratação de professores temporários.- o município tem instrumento formal que lhe permite contratar professores em caráter temporário. Regras para contratação de professores temporários asseguram aferição de competências básicas do professor. Informações que a Escola deve enviar para a SME.- norma especifica periodicidade de envio de informações da escola à SME sobre freqüência de alunos e professores  e desempenho dos alunos. Regimento Escolar.- normas da SME definem regras básicas comuns a todas as escolas, incluindo direitos e deveres de alunos, pais e escolas, critérios de promoção, acesso e normas disciplinares básicas, funções do colegiado, etc. Elaboração do Plano de Desenvolvimento da Escola.- existe norma especificando: prioridades da SME que a escola deverá incorporar no seu PDE, necessidade de diagnosticar e priorizar as questões de aprendizagem e ações prioritárias compatíveis com o diagnóstico e recursos. Programa de Ensino.- a SME especifica conteúdos e objetivos que compõem o Programa de Ensino de cada série escolar e estabelece norma que obriga as escolas a comunicarem aos pais seu Programa de Ensino de forma a permitir-lhes o acompanhamento deste e de seus filhos. Acompanhamento financeiro pela Secretaria.- a SME possui instrumentos e competências adequadas para acompanhar e analisar a entrada e saída dos recursos do Ensino Fundamental. Plano de Carreiras.- o Plano é economicamente eficiente, incluindo salários o mais elevado possível para iniciantes, minimiza ou elimina aumentos salariais para titulação adicional e tempo de serviço, e cria incentivos relacionados com o desempenho do professor ou da escola. O Plano contempla salários atrativos no início de carreira, estágio probatório devidamente supervisionado e avaliado como condição para efetivação, possibilidade de incentivos para atividades prioritárias da SME, pagamento por nível de atuação e não por nível de formação. Plano Municipal de Educação.- o Plano contém diagnóstico, prioridades compatíveis com diagnóstico e recursos e reflete prioridades assumidas no PAT, especifica metas, prazos, recursos e responsáveis relacionados com as atividades prioritárias, prevê mecanismos de avaliação e revisão e é realizado de forma articulada e participativa. Articulação municipal.- o calendário escolar reflete características do município e articulação entre redes, otimização da rede urbana municipal realizada em articulação com rede estadual. O Plano Municipal da Educação reflete a articulação entre redes de ensino e a maximização do uso de recurso. Seguindo as orientações fornecidas pelos Coordenadores de Gestão que visitavam cada Prefeitura e sua Secretaria de Educação e trabalhavam com os técnicos da área, cada município parceiro do Programa desenvolveu legislação própria no que diz respeito à gestão municipal e escolar. Os instrumentos legais foram copiados e organizados em diversos volumes, pelas respectivas Prefeituras Municipais ou SME e remetidos à Coordenação Geral do Programa, que os encaminhou à Fundação Cesgranrio, para apreciação. A partir da análise da documentação normativa encaminhada pela Prefeitura Municipal e do exame da planilha de avaliação dos indicadores de gestão municipal organizada pelo Coordenador de Gestão do Programa Escola Campeã, verificou-se o atendimento, pelo município, aos itens de cada indicador. A cada item foi então atribuída uma nota que variava de zero a 3, conforme o atendimento constatado nas normas e documentos  elaborados e apresentados pelo município. Os critérios de atendimento às normas e as notas correspondentes foram os mesmos adotados pelo Programa: inexistência da norma – nota 0; norma minimamente adequada – nota 1; norma adequada – nota 2; norma próxima do ideal – nota 3. Para cada indicador, foi calculada a média aritmética simples das notas atribuídas aos itens, sendo lançada em um quadro que reproduz o instrumento de avaliação dos indicadores de gestão utilizado pelo Programa. Esse quadro especifica não só os indicadores, seus itens e notas, mas inclui também um comentário que explica ou justifica as notas atribuídas e/ou as médias calculadas, e aponta aspectos que não foram atendidos, para cada município. Os quadros foram então remetidos à Coordenação Geral do Programa que, além de revisar a propriedade da redação dos comentários sobre cada indicador, encaminhou o quadro de cada município ao respectivo Coordenador de Gestão, para validação. Essa etapa da avaliação externa se configurou como a de triangulação entre a análise feita pelos Avaliadores da Fundação Cesgranrio, a revisão realizada pela Coordenação Geral e a validação dos Coordenadores de Gestão. A triangulação permitiu verificar as consistências e as inconsistências na avaliação realizada. Após a triangulação, os Avaliadores ajustaram os aspectos onde houve concordância com as observações e justificativas apresentadas pelos Coordenadores. Assim, o quadro de resultados da avaliação em gestão foi analisado e pôde ser incorporado ao Relatório de cada Município. Os dados empíricos provenientes da avaliação de 2004, ou seja, as médias obtidas pelos municípios, por indicador de gestão e as médias finais, foram classificados pelos critérios de julgamento anteriormente definidos. A primeira categoria ficou restrita aos municípios que alcançaram nota máxima, sendo dela excluído o município com média 2,99 em 2003, pois não apresentou melhoria em 2004. O Quadro 1 apresenta os critérios que qualificam os resultados, os que descrevem o alcance dos objetivos e os que categorizam o desempenho final, além da média final com os limites correspondentes a cada critério. Quadro 1. Critérios de Julgamento para os Resultados dos Indicadores de Gestão Média Final Resultados Atingimento de objetivos Desempenho 3  extremamente positivos todos excelente 2,99 a 2,45  bastante positivos todos ou quase todos ótimo 2,44 a 2,00  positivos maior parte bom 1,99 a 1,50  quase satisfatórios cerca da metade regular Na primeira categoria encontram-se os municípios que atingiram média final 3 em gestão, ou seja, média máxima nos 22 indicadores. Seus resultados foram apreciados como extremamente positivos com todos os objetivos do Programa alcançados, assim apresentando um excelente desempenho no que concerne às normas apresentadas. Por outro lado, na quarta categoria estão os municípios com média abaixo de 2, com resultados julgados quase satisfatórios em cerca da metade dos objetivos, com desempenho apenas regular. 3. RESULTADOS Os resultados obtidos em 2004 pela avaliação externa da gestão dos municípios parceiros do Programa Escola Campeã foram analisados a partir dos itens dos 22 indicadores, como foi feito no ano anterior. Foi analisada a documentação complementar de 31 municípios, pois, do total de 42, quatro alcançaram média 3 em gestão no ano de 2003 e não precisaram enviar documentação, e sete deixaram de apresentar documentação nova, tendo as notas repetidas na avaliação em 2004. Na  Tabela 1 encontra-se um resumo da avaliação em gestão. Os municípios de números 1, 2, 3 e 4, com média 3 em gestão no terceiro ano do Programa, assim como os de números 7, 26, 31, 38, 39, 41 e 42  que não apresentaram legislação complementar em 2004, mantiveram, em 2004, a mesma média de 2003. Tabela 1. Freqüência da Média dos Indicadores e Média Final em Gestão Município Média final em 2003 Freqüência da Média dos Indicadores de Gestão 2004 Média Final em 2004 3 2,9 a 2 1,9 a 1 0,9 a 0   3 22 - - - 3   3 22 - - - 3   3 22 - - - 3   3 22 - - - 3 * 2,70 21 - - - 3 * 2,95 21 - - - 3   2,99 21 1 - - 2,99   2,92 21 1 - - 2,98   2,73 21 1 - - 2,98   2,92 21 1 - - 2,98   2,92 21 1 - - 2,97   2,87 21 1 - - 2,96   2,93 19 3 - - 2,95   2,68 18 4 - - 2,94   2,93 20 2 - - 2,93   2,72 19 3 - - 2,93   2,78 20 2 - - 2,91   2,82 20 2 - - 2,91   2,90 19 2 1 - 2,90   2,77 20 1 - 1 2,89   2,75 17 5 - - 2,89   2,56 19 1 2 - 2,89   2,55 18 4 - - 2,87   2,54 18 3 1 - 2,85   2,45 18 3 - 1 2,83   2,78 19 2 - 1 2,78   2,63 18 2 2 - 2,78   2,48 17 3 1 1 2,74 * 2,50 16 3 1 1 2,74   2,20 16 2 4 - 2,69   2,61 16 4 1 1 2,61   2,36 13 6 3 - 2,61 * 1,99 11 8 1 1 2,61   2,27 9 11 2 - 2,56   2,49 15 4 1 2 2,56 * 2,12 14 5 2 - 2,54   2,23 12 7 1 2 2,46   2,18 12 4 2 4 2,18   2,09 11 3 5 3 2,09   1,98 6 10 4 2 2,06   1,94 7 7 3 5 1,94   1,50 5 5 5 7 1,50 Média Geral 2,58 - - - - 2,74 * Municípios com apenas 21 indicadores avaliados. Os resultados indicam que 6 municípios alcançaram resultados avaliados como extremamente positivos e desempenho excelente (os de números 1 a 6), que há uma concentração de 31 com resultados considerados bastante positivos e ótimo desempenho (do número 7 a 37), 3 com resultados considerados positivos e bom desempenho (do número 38 a 40), e apenas 2 permaneceram com resultados julgados quase satisfatórios e desempenho regular (número 41 e 42). Dos 42 municípios avaliados, 40 obtiveram média máxima ou adequada na avaliação das normas produzidas pela SME, que têm a função de orientar a gestão municipal. Esse resultado evidencia um ganho de 6,2% em relação a 2003, com a média geral passando de 2,58 para 2,74, em 2004, confirmando a trajetória positiva em gestão dos municípios parceiros do Programa. A comparação entre as médias indicadas nas colunas de 2003 e 2004 permite verificar os ganhos de cada município, em gestão. Coube ao município de número 3 o maior incremento de média (0,62), passando de 1,99 em 2003 para 2,61 em 2004, seguido dos municípios de números 30 (de 2,20 para 2,69) e 36 (de 2,12 para 2,54). Os municípios de números 25, 22, 23 e 24 compõem o grupo seguinte, apresentando ganhos que variam de 0,38 a 0,31. Mesmo o município de número 40, com um dos desempenhos mais baixos, conseguiu diminuir o número de médias inadequadas e atingir média na faixa adequada. Para cada município, em relatório personalizado, foi traçado um gráfico com as médias nos indicadores de gestão, alcançadas no primeiro e no quarto ano do Programa, de modo a se verificar os ganhos de 2004 em relação a 2001. Isto pode ser exemplificado pelos gráficos 1 e 2. Gráfico 1. Médias do Município 2 nos Indicadores de Gestão – 2001 e 2004 O Gráfico 1 mostra os resultados obtidos pelo município de número  2, que já havia alcançado média máxima em 2003. Constata-se o crescimento ideal no que se refere à elaboração dos documentos legais para atender às recomendações constantes em todos os indicadores de gestão (Elliot et al., 2004b). Tal resultado confere um impacto altamente positivo ao Programa Escola Campeã, observável na comparação do traçado de 2001 com o de 2004. Gráfico 2.  Médias do Município 39 nos Indicadores de Gestão – 2001 e 2004 O município de número 39 apresentou média final próxima ao valor 2 e está incluído no terceiro grupo de desempenho considerado bom conforme explicitado no Quadro 1. O traçado do Gráfico 2, bem irregular, destaca os ganhos e os aspectos sofríveis do desempenho em gestão. Há dois indicadores com médias minimamente adequadas: Diagnóstico e enturmação de novos alunos e Plano de Carreiras e três com médias inadequadas: Otimização da Rede Urbana, Acompanhamento financeiro pela Secretaria e Articulação Municipal. Aqui estão os pontos que necessitam receber apoio ou reforço, para que o município possa mostrar melhor desempenho futuramente (Elliot et al., 2004c). 4. EVOLUÇÃO DOS INDICADORES DE GESTÃO A evolução do desempenho dos 22 indicadores pode ser acompanhada ao longo do tempo, pelas médias obtidas nos quatro anos de execução do Programa Escola Campeã. A Tabela 2 e o Gráfico 3 resumem o desempenho dos indicadores. Além de mostrarem a evolução os indicadores, as médias possibilitam afirmar que, em 2004, o desempenho de todos os indicadores atingiu um padrão adequado, acima do valor 2, que é um resultado estimulante para todos os participantes do Programa Escola Campeã. O indicador 20 – Plano de Carreiras foi o que obteve a média mais baixa: 2,21. É importante observar, pelas médias finais dos quatro anos do Programa, o crescimento de 1,38 no primeiro ano para 2,74, no quarto ano. O Gráfico 3 permite que se acompanhe a trajetória ascendente das médias dos indicadores de gestão obtidas pelos municípios parceiros do Programa Escola Campeã de 2001 a 2004. A quase simetria verificada no desempenho de 2001 para 2002 foi substituída por ganhos em 2003, que se acentuaram em 2004, como fica evidente nos dados da Tabela 2. O traçado de 2004 apresenta-se sempre superior ao de 2003, indicando valores acima de 2,6, exceto para os indicadores 20 (Plano de Carreiras), 21 (Plano Municipal de Educação) e 22 (Articulação Municipal) que exibem as médias mais baixas em comparação com as obtidas pelos outros indicadores. Tabela 2. Médias Finais Alcançadas pelos Indicadores de Gestão  2001 a 2004 Indicador 2001 2002 2003 2004 1. Definição de escola 1,33 2,22 2,68 2,85 2. Autonomia administrativa 1,41 2,46 2,86 2,94 3. Autonomia financeira 1,47 2,19 2,86 2,96 4. Autonomia pedagógica 1,46 2,40 2,94 2,99 5. Otimização da rede urbana 1,72 2,31 2,68 2,70 6. Nucleação da rede rural 1,87 2,18 2,70 2,80 7. Colegiado 1,25 1,73 2,69 2,82 8. Matrícula 1,70 2,17 2,80 2,90 9. Calendário Escolar 1,78 2,48 2,70 2,86 10. Diagnóstico e enturmação de novos alunos 1,12 1,49 2,43 2,60 11. Alfabetização 0,69 1,07 2,38 2,75 12. Escolha de diretores 1,27 2,02 3,00 3,00 13. Provimento do cargo de professor efetivo 0,97 1,58 2,53 2,69 14. Contratação de professores temporários 1,56 1,96 2,60 2,75 15. Informações que a escola deve enviar à Secretaria 1,41 2,32 2,95 2,98 16. Regimento Escolar 1,95 2,34 2,60 2,71 17. Elaboração do PDE 0,76 1,92 2,57 2,77 18. Programa de Ensino 0,81 1,25 2,32 2,62 19. Acompanhamento Financeiro pela SME 1,39 1,64 2,31 2,70 20. Plano de Carreiras 0,99 1,38 2,17 2,21 21. Plano Municipal de Educação 1,99 1,99 2,17 2,33 22. Articulação Municipal 1,47 1,72 2,10 2,39 Média 1,38 1,94 2,59 2,74 Gráfico 3. Evolução das Médias dos Indicadores de Gestão - 2001 a 2004 5. DESAFIOS QUE RESTAM EM GESTÃO Após a Avaliação Externa do desempenho dos municípios parceiros do Programa Escola Campeã em 2004, foram poucos os desafios do ano anterior que se mantiveram. Os aspectos que se apresentaram insuficientes ou que mostraram necessidade de maior empenho por parte das SME correspondem a aqueles que não alcançaram médias adequadas, acima de 2, nos indicadores. No âmbito do Programa, devem orientar a reformulação de políticas e ações da gestão municipal. Pela análise tanto dos dados da Tabela 2, quanto do Gráfico 3, os indicadores de desempenho mais baixo foram identificados. O indicador 20, Plano de Carreiras, trata dos salários e cargos para os profissionais da rede. Já o indicador 21, Plano Municipal de Educação, se qualifica como o instrumento que norteia o planejamento das ações educacionais do Município, em todas as fases. E o indicador 22, Articulação Municipal, prevê o relacionamento necessário entre as diversas redes de ensino, procurando racionalizar ações e processos integrados. Esses indicadores, possivelmente por sua complexidade, continuam requerendo maior cuidado na reformulação ou formulação das normas e instrumentos legais de gestão. Em relação a cada município, uma análise mais minuciosa do gráfico correspondente com a evolução durante os quatro anos do Programa, possibilitará discriminar quais os indicadores cruciais para o desenvolvimento da gestão, balizando as ações que precisarão ser tomadas pela respectiva SME. 6. AVALIAÇÃO DA EFICIÊNCIA 6.1. Procedimentos Metodológicos. Para realizar a avaliação dos indicadores de eficiência, o modelo adotado também foi o elaborado pelo Programa que inclui 21 indicadores: Cumprimento de 200 dias letivos, Freqüência dos professores, Dias letivos ministrados pelo professor principal, Freqüência dos alunos, Taxa de abandono, Taxa de transferências expedidas,  Taxa média de reprovação de 1a à 4a série, Taxa de média de reprovação  de 5a à 8a série, Idade dos alunos da 1a série, Idade dos alunos da 4a série, Idade dos alunos da 8a série, Percentual de atendimento aos alunos não alfabetizados defasados, Percentual de atendimento aos alunos defasados de 1a à 4a série, Percentual de atendimento aos alunos defasados de 5a à 8a série, Relação de número de professores/turno pelo número de turmas, Relação entre salário inicial dos professores de 1a à 4a série e o valor per capita do FUNDEF, Relação entre salário inicial dos professores de 5a à 8a série e o valor per capita do FUNDEF, Percentual dos recursos para professores da folha do Ensino Fundamental, Percentual dos recursos para técnicos da folha do Ensino Fundamental, Percentual dos recursos para funcionários administrativos/folha do Ensino Fundamental, e 21.Percentual de recursos para custeios/gastos totais com Ensino Fundamental. Dos 34 municípios parceiros do Programa, foram recebidos quadros e planilhas preenchidas por 33 municípios, pois um deles não enviou esse material para a avaliação externa de 2004. O indicador 14 - Percentual de atendimentos aos alunos defasados de 5ª a 8ª não foi considerado nesta avaliação, o que reduziu o número de indicadores para 20, embora a numeração tenha permanecido como a original. Inicialmente, foram verificados os cálculos dos dados das planilhas realizados pelas escolas e da planilha de resultados consolidados pela SME. Como o instrumento de eficiência foi o mesmo utilizado em 2003, os critérios de atribuição de notas aos indicadores permanecem os mesmos. Para os indicadores de número 1, 7, 8, 16, 17, 18, 19 e 20, os critérios admitiam nota 0 ou 3 apenas e para os demais (2, 3, 4, 5, 6, 9, 10, 11, 12, 13, 15, 21, 22), os critérios abrangiam as notas 0, 1, 2 ou 3, de acordo com o resultado atingido. Nessa escala, a nota 3 só foi atribuída a quem atendeu plenamente o solicitado pelo Programa, enquanto o não atendimento correspondeu à nota zero{2}. Pelo resultado obtido em cada item do indicador, foi então atribuída uma nota. As limitações que ocorreram e não permitiram que alguns indicadores fossem julgados, foram categorizadas em: B/C – cálculo inadequado na planilha das escolas e na planilha consolidada da SME; C – cálculo inadequado na planilha consolidada da SME; e D – ausência de informação no indicador. Do mesmo modo que em 2003, os critérios para a atribuição de notas, as notas atribuídas aos indicadores e comentários sobre o julgamento feito foram lançados em um quadro que reproduz o instrumento de avaliação dos indicadores de eficiência utilizado pelo Programa e que faz parte do Relatório do Município. 7. RESULTADOS À semelhança do que ocorreu em gestão, a análise dos resultados da avaliação de eficiência também foi orientada pelos 20 indicadores já apresentados na metodologia. O Gráfico 4 apresenta a distribuição dos indicadores de eficiência com notas 3 e 2. Nele constata-se que apenas 2 dos 20 indicadores de eficiência avaliados foram atendidos pela maioria dos 33 municípios, merecendo nota máxima (3). São os indicadores 1 – Cumprimento de 200 dias letivos, com 29 municípios apresentando nota 3, e 15 – Relação do número de professores/turno pelo número de turmas, em que 22 municípios alcançaram 3. Esses indicadores são os mesmos que em 2003 apresentaram o maior número de notas máximas. Permanece, aqui, o empenho da rede escolar desses municípios em cumprir o que determina a lei a respeito da duração do ano escolar e a manter um número adequado de professores atuando na escola, de acordo com o número de turmas nela existentes. Gráfico 4. Indicadores de Eficiência com Nota 3 e Nota 2 Se o número de municípios que tiraram nota 2 for somado ao dos que alcançaram 3, mais quatro indicadores mostram um atendimento por mais da metade dos 37 municípios. São eles: 9 – Idade dos alunos da 1ª série; 5 – Taxa de abandono; 2 – Freqüência dos professores; e 12 – Percentual de atendimento aos alunos não alfabetizados defasados, atendidos respectivamente por 25, 21, 20 e 19 municípios. Os indicadores 9, 5 e 12 repetem o desempenho apresentado em 2003. Os dados de 2004 revelam indicadores que, pela implementação das normas, provavelmente foram mais simples de serem atendidos adequadamente pelas escolas do que os demais. Verifica-se, nesses quatro indicadores, a coerência do esforço empreendido pelas escolas tanto em efetuar a matrícula dos alunos da 1ª série na idade correta, como em conter a taxa de abandono, diminuindo-a satisfatoriamente. Constata-se também esforço semelhante em conseguir uma alta freqüência dos professores nas escolas, e ainda, em prestar apoio a alunos não alfabetizados, mas fora da idade correta para a série. Por outro lado, há indicadores que necessitam de estratégias para a melhoria de seu desempenho, tendo em vista as diretrizes do Programa Escola Campeã, como os que tratam da freqüência de alunos (indicador 4), das taxas de transferência e de reprovação dos alunos (indicadores 6, 7 e 8), da defasagem idade-série na 4ª e na 8ª série (indicadores 10 e 11), e ainda do atendimento de alunos não defasados de 1ª à 4ª série (indicador 13). Continuam dependendo, como no ano anterior, alguns da mobilização da comunidade escolar, outros de metodologias mais apropriadas aos alunos, de acordo com suas características e necessidades individuais. O conjunto de indicadores de 16 a 21, que abordam a relação dos salários dos professores e o valor per capita do FUNDEF, os recursos destinados a professores, técnicos e funcionários administrativos e ainda o custeio e gastos com o Ensino Fundamental, apresentam resultados que incluem alta incidência de municípios sem avaliação. Esses indicadores tiveram suas notas computadas somente para a composição da Tabela 5 e dos dois gráficos subseqüentes. São indicadores de responsabilidade da própria SME, pois tratam de aspectos financeiros e de seu gerenciamento. Com a mudança da administração política municipal, de 2004 para 2005, não foi possível para vários municípios consolidar os dados referentes a esses indicadores e encaminhá-los à Fundação Cesgranrio para a avaliação. Por esse motivo, os indicadores de 16 a 21 deixaram de ser incluídos no cálculo da média de eficiência de todos os municípios. 8. EVOLUÇÃO DOS INDICADORES DE EFICIÊNCIA A trajetória dos indicadores de eficiência ao longo dos quatro anos do Programa pode ser visualizada na Tabela 3 e no Gráfico 6. Tabela 3. Médias Finais dos Indicadores de Eficiência - 2001 a 2004 Indicador 2001 2002 2003 2004* 1. Cumprimento de 200 dias letivos 1,80 2,29 2,57 2,64 2. Freqüência dos professores 0,98 1,31 0,95 1,76 3. Dias letivos ministrados pelo professor principal 1,28 1,88 1,89 1,27 4. Freqüência dos alunos 0,15 0,38 0,02 0,03 5. Taxa de abandono 0,74 1,12 1,33 1,57 6. Taxa de transferências expedidas 0,73 0,86 0,45 0,51 7. Taxa média de reprovação de 1ª a 4ª série 0,45 0,44 0,51 0,36 8. Taxa média de reprovação de 5ª a 8ª série 0,31 0,33 0,31 0,09 9. Idade dos alunos da 1ª série 1,67 1,88 2,05 2,06 10. Idade dos alunos da 4ª série 1,00 1,28 0,86 1,15 11. Idade dos alunos da 8ª série 0,45 0,80 0,47 0,57 12. Percentual de atendimento alunos não alfabetizados defasados 1,23 1,30 1,86 1,51 13. Percentual de atendimento alunos não defasados de 1ª à 4ª série 0,56 0,68 1,37 0,94 15. Relação nº de professores/turno pelo nº de turmas 1,45 2,10 2,14 2,27 16. Relação entre salário inicial profs. 1ª à 4ª e valor per capita FUNDEF 0,86 1,07 0,54 - 17. Relação entre salário inicial profs. 5ª à 8ª e valor per capita FUNDEF 0,83 1,28 0,35 - 18. Percentual dos recursos para professores do EF 1,07 1,74 1,32 - 19. Percentual dos recursos para técnicos do EF 1,19 1,32 1,50 - 20. Percentual dos recursos para funcionários administrativos do EF 1,19 1,36 1,55 - 21. Percentual dos recursos para custeio/gastos totais com EF 0,51 0,70 1,00 - Média 0,93 1,21 1,15 1,20 * Médias calculadas com notas de 33 municípios. As médias alcançadas pelo indicador 1 e 15 confirmam o que já foi observado, são os indicadores com médias mais altas, acima de 2, e por isso apresentam trajetória ascendente. O indicador 9 mantém praticamente o padrão de desempenho de 2003. Há 5 indicadores com médias entre 1 e abaixo de 2, em 2004; os demais ficaram na faixa de médias abaixo de 1. Não foi calculada média para os indicadores de número 16 a 21, pela razão já exposta. Gráfico 6. Evolução das Médias dos Indicadores de Eficiência - 2001 a 2004 O Gráfico 6 exibe o traçado das médias dos indicadores de eficiência nos quatro anos do Programa. A proximidade das linhas de cada ano é conseqüência dos ganhos reduzidos que os indicadores puderam mostrar, confirmando o que foi comentado para os dados da Tabela 3. Considerando os indicadores de eficiência, observa-se que, dos 33 municípios, a grande maioria apresenta dificuldades na implementação das normas, pois os dados provenientes de sua aplicação não se revelaram adequados. Tal resultado vai demandar do Programa, das SME e das escolas um esforço concentrado, voltado para o cumprimento do aparato legal formalmente delineado, pois certamente a eficiência da escola encontra-se dependente da execução, na prática, de normas voltadas para garantir e promover a qualidade do ensino. A média geral dos municípios em eficiência (1,20) retrata o estágio ainda incipiente em que se encontra a implementação das normas em 2004. Em 2003 a média foi apenas 1,15. 9. DESAFIOS QUE RESTAM EM EFICIÊNCIA Os desafios que restam, como no ano anterior, se referem aos indicadores que receberam nota 1, 0 ou não puderam ser avaliados. Apenas os indicadores 1 – Cumprimento de 200 dias letivos, 9 – Idade dos alunos na 1a série e 15 – Relação entre o número de professores/turno pelo número de turmas atingiram médias finais acima de 2. Alguns dos desafios são recorrentes e revelam a dificuldade que ainda existe em lidar com dados estatísticos, cálculos e planilhas. Nesse sentido, recomenda-se especial atenção em relação a: Tempo de coleta.- a coleta dos dados sobre a eficiência escolar necessita ser contínua, no momento em que ocorre, ela faz parte da história da escola e do aluno. Deixar o registro para depois pode levar ao esquecimento ou omissão de dados importantes. Precisão na informação dos dados.- os dados de eficiência precisam ser informados pela escola à SME com exatidão, de forma a terem credibilidade. Precisão no preenchimento dos quadros.- tanto as escolas quanto a SME precisam ter cuidado com o preenchimento dos números necessários aos cálculos dos indicadores de eficiência. Se o preenchimento for feito à mão, que seja feito com números legíveis, de preferência à tinta. Precisão no cálculo da taxas.- a grande incidência de erros nos cálculos constantes da planilha (por exemplo, percentuais e razões) leva a sugerir que alguma forma de verificação interna dos cálculos seja adicionada aos quadros e planilhas. Conferência pela SME dos quadros enviados pelas escolas antes de elaborar a planilha consolidada dos dados – é fundamental que haja uma crítica dos dados informados pelas escolas, por parte da SME, para então compor o seu consolidado. 10. CONCLUSÃO O relatório final foi encerrado enfatizando o fato de que a avaliação externa do Programa Escola Campeã havia representado uma experiência enriquecedora para todos nela envolvidos. A avaliação externa de 2004 deu continuidade a essa experiência, rica da mesma forma, embora tenha ocorrido em um prazo bem mais reduzido. Pode-se afirmar que a relevância do Programa se consolidou no seu propósito de atuar para melhorar a qualidade da educação de municípios brasileiros com realidades tão diversas e geograficamente distantes e dispersos. A comparação entre os resultados da avaliação de 2003 e 2004 permite afirmar que os diversos municípios parceiros efetuaram mudanças no planejamento, elaboração e organização das normas de gestão municipal de modo a conduzi-los ao alcance das diretrizes do Programa, merecendo nota máxima na grande maioria dos indicadores de gestão. O maior impacto do Programa aqui reside. O embate permaneceu na área da eficiência escolar, que concentrou as dificuldades que as SME e as escolas ainda têm em relação ao registro de dados estatísticos, como foi constatado nas planilhas enviadas pelas SME para análise. É importante dizer que esses resultados pouco expressivos não estão apenas ligados às dificuldades demonstradas no campo da estatística. Entretanto, a má interpretação desses dados pode comprometer a eficiência das práticas de gestão escolar. Se alguns municípios conseguiram percorrer a metade do caminho, outros ainda se encontram em seu primeiro patamar. A avaliação externa aponta os aspectos mais frágeis dessa área, que demanda atenção concentrada por parte das SME interessadas. Não basta ter as normas formalmente redigidas e aprovadas, elas precisam ter vida na prática diária das escolas e ter validade nos resultados por elas obtidos e demonstrados. Os resultados dessa avaliação, com certeza, subsidiaram os elaboradores do Programa fornecendo dados sobre o cotidiano escolar no que se refere a aspectos relativos à gestão e eficiência. A divulgação dos resultados às SME e a conseqüente correção dos fluxos no que diz respeito aos indicadores de eficiência poderão contribuir para a qualidade da educação, foco principal das avaliações desenvolvidas no campo educacional.     Referencias bibliográficas Elliot, L.G., et al. (2003). Programa Escola Campeã: avaliação externa dos indicadores de gestão e eficiência – Relatório Final. Rio de Janeiro: Fundação Cesgranrio. Elliot, L.G., et al. (2004a). Programa Escola Campeã: avaliação externa dos indicadores de gestão e eficiência – Relatório Final. Rio de Janeiro: Fundação Cesgranrio. Elliot, L.G., et al. (2004b). Relatório da avaliação externa do Programa Escola Campeã – Município 2. Rio de Janeiro: Fundação Cesgranrio. Elliot, L.G., et al. (2004c). Relatório da avaliação externa do Programa Escola Campeã – Município 39. Rio de Janeiro: Fundação Cesgranrio.     {1} A avaliação do desempenho dos alunos das escolas das SME participantes do Programa Escola Campeã foi realizada por outra instituição, não constando do âmbito do presente estudo avaliativo. {2} O detalhamento de cada critério, por indicador, encontra-se na documentação pertencente ao Programa Escola Campeã, do Instituto Ayrton Senna.